Le logiciel AR Glasses de Snapchat a des années-lumière avant la compétition

SNAP pourrait être surtout connu pour la populaire application Snapchat, mais après avoir prévisualisé le nouveau SNAP OS 2.0 de la société, en raison de son expédition sur ses lunettes AR axées sur le consommateur l'année prochaine, cela pourrait bientôt changer.

Je suis récemment descendu au siège de Snap à Londres pour avoir un avant-goût de ce à quoi s'attendre – en termes de logiciels – des prochains lunettes AR de l'entreprise, et j'ai été agréablement surpris, pour le moins.

Contrairement aux expériences AR assez basiques que nous avons vues jusqu'à présent, les esprits derrière Snapchat ont créé ce que je ne peux décrire que comme l'expérience AR la plus complète que j'ai vue à ce jour. Et, avec les lunettes de consommation confirmées pour le lancement en 2026, nous n'avons pas que longtemps pour en faire l'expérience pour nous-mêmes non plus.

Snap pourrait-il être prêt à renommer en tant que leader sur le marché des lunettes intelligentes? Après avoir passé du temps avec les derniers logiciels, je suis tranquillement confiant.

Le logiciel AR est assez basique en ce moment

J'ai essayé quelques paires de «vraies» lunettes intelligentes avec des écrans intégrés cette année, y compris les réalités populaires G1 populaires et, plus récemment, les lunettes Rokid AR. Cependant, il y a un thème commun: le logiciel est relativement basique par rapport à ce à quoi nous sommes habitués à partir des téléphones et même des montres intelligentes.

Bien sûr, les réalités uniformes G1 donne accès aux notifications, aux actions, aux instructions de la carte et même à l'IA, le chatbot propriétaire de la société propulsé par Chatgpt, mais l'expérience est statique. Les informations sont affichées dans une position fixe sur les spécifications, accessible lorsqu'elle regarde les yeux, et agit plus comme une superposition qu'une véritable expérience de réalité augmentée qui brouille les lignes entre ce qui est réel et ce qui ne l'est pas.

C'est une histoire similaire avec les lunettes Rokid. Ils ont des fonctionnalités similaires, avec l'ajout d'une traduction en temps réel alimentée par des microphones de formation de faisceau qui ont réussi à travailler sur une émission de salon très fréquentée sans trop de problème, et son application de navigation est alimentée par l'API Google Maps – mais comme le G1, c'est une expérience statique.

Ce n'est pas seulement la nature statique du logiciel AR Glasses; La plupart des écrans affichent uniquement une seule couleur, généralement verte. C'est très matriciel, mais encore une fois, c'est limité. Vous ne pouviez pas exactement regarder un film avec ces spécifications.

Certains verres se concentrent sur l'optique de haute qualité, comme le Xreal Air 2 Pro, mais ce ne sont pas des lunettes que vous pouvez porter jour après jour. Je les comparerais davantage à un casque VR que de vraies lunettes intelligentes, conçu pour regarder la télévision et me connecter à votre PC pour travailler, mais pas une utilisation générale.

Ne vous méprenez pas, ces spécifications intelligentes sont une première étape solide pour les lunettes AR conviviales, en particulier en termes de matériel et de conception, mais le logiciel est encore trop basique pour que la plupart puissent justifier les étiquettes de prix haut de gamme.

Et c'est ce qui fait que le nouveau Snapchat Snap OS 2.0 donc passionnant.

Snap OS 2 propose l'expérience de science-fiction qui nous a promis

Le logiciel de Snapchat est si loin sur la compétition que cela semble vraiment de l'avenir.

Mais là encore, je ne devrais pas être aussi surpris; La société a été l'une des premières à démarrer le développement sur des lunettes intelligentes avec la sortie des Snapchat Spectacles d'origine en 2016, et il a pivoté à AR peu de temps après. Cela signifie qu'il a eu assez Quelque temps pour perfectionner le logiciel pour ses lunettes AR tant attendues axées sur le consommateur, et cela se voit vraiment.

Enfilant les lunettes axées sur les développeurs de cinquième génération qui ont été lancées pour les développeurs l'année dernière au siège de London de Snap, j'ai été immédiatement impressionné par la façon dont la nouvelle mise à jour SNAP OS 2.0 est avancée.

D'une part, il offre la véritable expérience de réalité mixte promise par les films de science-fiction du début des années 2000, avec des graphismes en couleur qui s'intégraient au monde qui m'entoure de manière naturelle. De plus, ces éléments virtuels ont été ancrés dans le monde réel, ce qui signifie que je pouvais regarder ou même repartir, puis les retourner et les voir au même endroit que je les ai mis.

Il n'y a pas de gestes de robinet ou de balayage sur les lunettes de développement, simplement parce que le logiciel prend en charge les fonctionnalités de suivi des mains. Je n'avais qu'à regarder la paume de ma main et utiliser mon autre main pour appuyer sur les différents boutons qui sont apparus. Cela semble non seulement futuriste, mais le fait que je tape sur ma main et non sur un bouton invisible l'a fait sentir plus «réel».

Cela signifiait également que je pouvais déplacer ou redimensionner les applications simplement en les saisissant, en les étirant et en les déplaçant dans ma position préférée. Pas de menus, pas de boutons ou quoi que ce soit de façon délicate; Juste une expérience physique rafraîchissante.

Cette expérience de base a été renforcée par de nouveaux ajouts dans Snap OS 2.0, y compris un navigateur redessiné qui vous permet de naviguer sur le Web et de regarder du contenu tout en laver la vaisselle ou tirer un tutoriel YouTube tout en réparant un vélo. Il prend également en charge WebXR, ouvrant potentiellement la porte à des expériences axées sur l'AR sans avoir besoin de télécharger une application.

Il y a aussi, sans surprise, une intégration étroite avec l'application et la fonctionnalité Core Snapchat.

Le nouvel objectif Spotlight donne accès au flux de projecteurs de Snapchat, vous permettant de regarder du contenu à partir de créateurs Snap sans votre téléphone, tandis que l'objectif de galerie mis à jour vous permet de regarder vos captures de spectacle sur un écran beaucoup plus grand que votre smartphone.

En fait, il existe déjà de nombreuses applications, ou «  lentilles '', disponibles pour les spécifications, à la fois auprès de SNAP lui-même et des développeurs créant déjà du contenu pour la plate-forme – mais plus sur ce dernier un peu plus tard.

Et, en utilisant les caméras intégrées, vous pouvez, bien sûr, capturer du contenu directement à partir de vos lunettes pour publier sur Snapchat.

Maintenant, c'est déjà une expérience AR assez fantastique par rapport à ce qui est disponible en ce moment – mais c'est l'utilisation de Genai par Snap qui vraiment m'a impressionné.

Probablement la meilleure utilisation de Genai à ce jour

Si vous êtes comme moi, vous avez probablement une touche de fatigue de l'IA à ce stade. Genai est poussé dans la technologie de toutes formes et tailles, des smartphones et des montres intelligentes aux appareils de maison intelligents – et si nous sommes honnêtes, ce n'est pas toujours que utile.

Ce n'est certainement pas le cas avec l'intégration de l'IA de SNAP, cependant. En fait, j'irais jusqu'à dire que c'est probablement la meilleure utilisation la plus intuitive de l'IA.

Snap l'appelle des conseils spatiaux, et il permet essentiellement à l'IA de l'entreprise de voir non seulement ce que vous voyez via des écrans intégrés, mais aussi d'intégrer ses réponses dans le monde réel.

Pour obtenir une saveur de ce qu'il pouvait faire, j'ai simplement demandé à étiqueter ce qu'il voit, et il l'a fait – à la fois plus rapide que prévu, et bien plus précisément. Il a même marqué des paires de rechange de spécifications de développeur de Snap en tant que lunettes de réalité augmentées, ainsi que des éléments d'étiquetage comme des ordinateurs portables, des chaises, des tables et toute autre chose à l'époque.

Cependant, c'est quand j'ai commencé à poser des questions plus spécifiques que les choses sont vraiment excitantes. J'ai regardé une planche à roulettes et j'ai demandé à l'IA comment faire un Ollie. Plutôt que de souscrire une longue réponse à la voix qui ne fait pas grand-chose pour vous guider, il a superposé les marches sur la planche à roulettes elle-même, me montrant où placer mes pieds à chaque étape pour effectuer un ollie correctement.

Imaginez pouvoir regarder un pack plat IKEA et recevoir des instructions étape par étape sur la façon de l'assembler, ou d'être guidé en fixant quelque chose sous le capot de votre voiture. C'est tellement plus intuitif que ce qui est fourni par Gemini ou Chatgpt, et abandonne complètement le besoin de manuels d'instructions et les diagrammes déroutants qui les accompagnent.

C'est l'utilisation tueur de l'IA – c'est concis, clair et avec des aides visuelles qui vous guident, cela pourrait vraiment faire une différence dans votre vie quotidienne.

L'IA alimente également l'objectif super voyage, ce qui traduit des signes, des menus et plus, simplement en décrivant ce que vous voulez traduire avec votre doigt. Actuellement, il fournira une image traduite, mais Snap espère le superposer directement avec du texte du monde réel par lancement.

Il existe également des capacités de traduction fantastiques, avec la possibilité de traduire jusqu'à 40 langues en temps réel, avec des légendes fermées sous chaque haut-parleur qui leur «restent» à leur avance. Cela changera également la donne pour la malentendue, avec ce qui pourrait être un dispositif de légende fermé universel.

À venir en 2026, et les développeurs créent déjà des applications

La chose la plus excitante à propos de tout cela est que les lunettes AR axées sur le consommateur de Snap sont prévues pour la sortie en 2026 – donc nous ne sommes pas que Loin de l'expérimenter nous-mêmes. Ne soyez pas rebuté par les grands spectacles grossiers que je portais au cours de mon expérience – Snap a confirmé que ses spécifications de consommation seront beaucoup plus compactes.

De plus, avec du matériel de développement entre les mains de développeurs du monde entier, il existe déjà une liste croissante d'applications et d'expériences conçues pour la plate-forme. Cela signifie qu'il devrait y avoir une abondance de choses à faire avec les lunettes du premier jour, sans phase maladroite avec une disponibilité limitée de l'application – je vous regarde, Apple Vision Pro.

À un moment où nous voyons soit des prototypes AR coûteux ou des spécifications intelligentes avec des capacités AR assez limitées, les lunettes AR de Snap pourraient vraiment se démarquer – et j'ai hâte de les essayer par moi-même en 2026.