L’histoire derrière la fonctionnalité de plateforme mobile d’HoloLens 2

Les casques de réalité mixte peuvent être vraiment utiles, mais leur capacité est limitée lorsqu’ils sont utilisés dans un scénario spécifique : un environnement en mouvement. Microsoft et Volkswagen ont trouvé une solution à cela grâce à un effort commun qui nous a apporté le mode « plate-forme mobile » pour HoloLens 2.

Volkswagen envisage la réalité augmentée comme un élément majeur des futurs concepts de mobilité. Ainsi, il a commencé différentes étapes pour explorer la technologie. En 2015, elle a mené un projet de recherche utilisant des véhicules autonomes et la réalité augmentée pour son Système Race Trainer enseigner la conduite sur un circuit automobile. Il a également introduit le affichage tête haute en réalité augmentée dans son identifiant. famille de voitures électriques en 2020, dans laquelle différentes informations sur l’environnement devant le véhicule (comme les flèches de navigation et les marquages ​​au sol) sont projetées sur le pare-brise.

« Nous pensons que les informations de réalité mixte sont les informations les plus intuitives que nous puissions fournir pour améliorer l’expérience utilisateur de nos clients », a déclaré à Microsoft Andro Kleen, responsable de l’équipe Data Science du Dr Volkswagen Group Innovation. « Parce que ce que vous voyez là-bas, et ce que vous devez traiter, est très proche de ce que les humains voient et traitent normalement. Ce n’est pas si abstrait.

Aspirant à tirer le meilleur parti de la technologie, le constructeur automobile allemand a utilisé l’HoloLens pour un autre projet de recherche, où il a été placé dans un véhicule en mouvement. Les choses ne se sont pas bien passées, malheureusement. Les capteurs perdaient leur capacité de suivi et les hologrammes disparaissaient. Le problème indiquait que les deux capteurs liés au mouvement de l’appareil connaissaient une confusion dans les signaux qu’ils captaient pendant que le véhicule se déplaçait. Avec cela, Volkswagen a demandé l’aide de Microsoft et le voyage des entreprises a commencé en 2018.

« Nous avons eu des discussions approfondies », explique Marc Pollefeys, directeur scientifique de Microsoft et expert en vision par ordinateur 3D et en apprentissage automatique, et maintenant directeur du Mixed Reality and AI Lab de Microsoft à Zurich, en Suisse. « Ils ont présenté leurs cas d’utilisation et ce qu’ils espéraient permettre. Ils étaient impatients de travailler avec nous pour trouver une solution et pouvoir utiliser HoloLens dans ces situations.

La pandémie causant des ravages dans le monde entier, la recherche a apparemment été confrontée à divers problèmes. Les restrictions de Covid-19 en Suisse ont empêché l’équipe de tester la technologie à l’intérieur d’un véhicule avec d’autres passagers, donc Joshua Elsdon – un ingénieur logiciel senior de Microsoft faisant partie du projet – a dû travailler dessus et effectuer des tests dans son appartement de Zurich.

« Nous avons dû faire beaucoup de tests dans mon appartement. Ce ne sont pas des conditions de développement idéales », déclare Elsdon. « Tout cela a été fait à distance et distribué dans différents pays, ce qui était intéressant. »

Plus tard, l’équipe a testé le prototype sur Puget Sound en conduisant des bateaux de plaisance, puis avec Volkswagen à l’intérieur de véhicules.

« Nous avons connecté un système de positionnement qui suit l’emplacement du véhicule », explique Michael Wittkämper, l’expert en réalité augmentée de Volkswagen. « De cette façon, nous avons également pu placer des éléments 3D tels que des informations sur des points d’intérêt à l’extérieur de la voiture. Cela ouvre de toutes nouvelles possibilités non seulement d’afficher des hologrammes dans le champ de vision du conducteur orienté vers l’avant, mais aussi partout où l’utilisateur portant les lunettes regarde.

Tout est devenu un succès, permettant à Microsoft de déployer la fonctionnalité de plateforme mobile. Actuellement, la technologie est une grande attraction pour les entreprises maritimes, qui utilisent HoloLens pour connecter les équipes de maintenance sur le navire afin de consulter des experts d’autres endroits. Microsoft a de plus grands projets pour la nouvelle fonctionnalité à l’avenir, en particulier lorsque des environnements mobiles sont impliqués. Pollefeys a également déclaré que la société espère le rendre fonctionnel dans la vie quotidienne grâce à des lunettes intelligentes portables. Cependant, avec le courant étiquettes de prix de HoloLens 2 (3 500 $ à 5 199 $), le plan est peut-être encore loin de la réalité, surtout si Microsoft veut que l’appareil atteigne les consommateurs ordinaires du marché.