Qu’est-ce que la segmentation sémantique ? La technologie de l’appareil photo du smartphone expliquée
Qualcomm a récemment annoncé sa dernière plate-forme phare pour smartphones, la Snapdragon 8 Gen 2.
L’une des plus grandes mises à jour ici était le nouveau Cognitive ISP, un processeur de signal d’image intelligent qui fournit des images jusqu’à 200 mégapixels, une détection de visage plus intelligente à partir de la caméra Always-Sensing et tous les avantages de la segmentation sémantique en temps réel.
Mais qu’est-ce que la segmentation sémantique et qu’est-ce que cela signifie pour l’appareil photo de votre téléphone ?
Qu’est-ce que la segmentation sémantique ?
La segmentation sémantique est une technologie d’imagerie qui permet à une caméra de reconnaître des aspects individuels dans un cadre, tels que des visages, des cheveux, des vêtements, des arrière-plans, etc. Ces aspects peuvent ensuite être optimisés séparément, ce qui signifie que l’appareil photo modifiera la couleur, le ton, la netteté et la quantité de bruit dans l’image au cas par cas.
Pensez à la segmentation sémantique comme les calques Photoshop dans l’appareil photo de votre téléphone, permettant à différentes parties d’une image d’être ajustées individuellement plutôt que l’appareil photo éditant l’image dans son ensemble.
La segmentation sémantique en temps réel est exactement ce à quoi cela ressemble – comme ci-dessus, mais tout se passe lorsque vous utilisez l’appareil photo et non après avoir pris la photo ou terminé l’enregistrement de la vidéo.
Il existe de nombreux cas dans lesquels la segmentation sémantique en temps réel peut améliorer votre photographie mobile.
La technologie peut être utilisée pour lisser la peau, éliminer les reflets des lunettes, aiguiser les cheveux et la fourrure, apporter plus de bleu au ciel et améliorer la lisibilité du texte sur les écrans et dans les livres, pour ne citer que quelques utilisations réelles.
Vous pouvez voir la segmentation sémantique en action dans la vidéo ci-dessus.
Quelle est sa précision ?
Nous avons eu l’occasion de tester la segmentation sémantique en temps réel lors du sommet Snapdragon de Qualcomm à Hawaï cette année et avons constaté qu’elle séparait la peau des cheveux, des vêtements et de l’arrière-plan derrière nous, mais ce n’était pas parfait.
Dans la démo, la caméra a été réglée pour transformer tout ce qu’elle supposait être vert peau pour nous donner une idée de sa précision.
L’appareil photo a bien mis en évidence toute la peau de l’image, à l’exception d’une petite section qui dépasse derrière les lunettes. Cependant, il a beaucoup lutté avec des éléments de couleur similaire, mettant en évidence par erreur la robe beige et l’iPhone orange comme peau parce que leurs tons correspondaient trop étroitement au visage et aux bras de l’image.
Dans une autre démo, nous avons testé la fonction de lissage de la peau et l’avons trouvée très subtile et naturelle, ce qui donne quelque chose d’un peu plus convaincant que certains des effets de lissage les plus zélés trouvés sur TikTok, Instagram et certains logiciels de caméra Android d’OEM.
En fin de compte, il appartient à chaque OEM de régler les fonctionnalités activées par le FAI cognitif comme il le souhaite, nous a déclaré le vice-président de la gestion des produits pour la caméra Judd Heape lors du sommet, ce qui signifie que nous devrons attendre le premier lot de 8 Gen 2 téléphones pour voir comment la segmentation sémantique en temps réel améliorera les images avec une utilisation dans le monde réel.