Comment le rendu Foveated du PSVR 2 pourrait transformer la VR

La réalité virtuelle a parcouru un long chemin depuis l’Oculus Rift original, mais il y a place à amélioration. Le rendu Foveated est une technologie avancée que l’on trouve dans peu de casques, mais la rumeur veut que le prochain casque PSVR 2 de Sony l’ait en standard.

Qu’est-ce que le rendu « foveated » ?

Nous avons souligné le rendu fovéal depuis 2018 comme une partie importante de l’avenir de la réalité virtuelle, mais des années plus tard, il s’agit toujours d’un concept obscur. Le principal indice de ce qu’est le rendu fovéé vient de son nom. Les fovéa est la partie centrale de la rétine. La rétine est la partie de l’anatomie de votre œil qui convertit la lumière en signaux nerveux, traités par le cerveau en images que vous voyez.

Seule la fovéa offre une vision nette et détaillée. La fovéa ne représente qu’entre un et deux pour cent de votre champ visuel, alors comment est-il possible que nous percevions notre champ visuel avec autant de clarté ? La réponse est que nos yeux se déplacent constamment selon un schéma de balayage connu sous le nom de « saccade ». En scannant l’éclat net de notre vision de l’environnement, notre cerveau assemble une image haute résolution. Vous, bien sûr, n’êtes pas conscient de ce processus.

C’est là que le rendu fovéé (littéralement) entre en jeu. Pourquoi restituer toute la scène à l’écran avec un maximum de détails alors que le spectateur ne peut voir ce détail que dans une infime partie de l’écran à la fois ? En suivant l’endroit où la fovéa du spectateur est pointée à un moment donné, le GPU peut rediriger les ressources vers cet endroit. Cela signifie que le spectateur voit une image rendue de bien meilleure qualité que la puissance de l’ordinateur disponible est réellement capable de le faire.

Le rendu fovéat est encore rare

Les casques VR sont la plate-forme parfaite pour le rendu foveated. Parce que l’écran est attaché à votre tête dans une position fixe, il rend le suivi de la position de la fovéa relativement simple. Cela dit, cela nécessite toujours l’intégration d’une technologie de suivi oculaire relativement coûteuse dans le casque, l’écriture d’API logicielles (interfaces de programmation d’applications) et le développement de moteurs de jeu pouvant tirer parti des informations.

Comme vous pouvez l’imaginer, peu de casques VR que vous pouvez acheter aujourd’hui ont un suivi oculaire intégré pour le rendu fovéal. Malgré cela, les développeurs de matériel et de logiciels VR s’y préparent clairement.

Par exemple, le kit de développement logiciel (SDK) Oculus Quest prend en charge le rendu fovéat fixe. Il s’agit d’une version connexe du rendu fovéal qui ne repose pas sur le suivi oculaire mais réduit les détails de rendu à la périphérie de l’image dans son ensemble. Tant que l’utilisateur regarde la partie centrale de l’écran, cela fonctionne assez bien, mais regarder autour du monde VR sans tourner la tête révélera des éléments de moins bonne qualité de l’image.

Tirer le meilleur parti de la puissance de la console

Pourquoi une fonctionnalité aussi haut de gamme dans le monde de la réalité virtuelle figurerait-elle sur une plate-forme de console de réalité virtuelle grand public ? La réponse principale est que les consoles comme la PS5 doivent survivre pendant des années avec un pool fixe de puissance de traitement. En ce qui concerne PC VR, il est possible de continuer à passer à un matériel plus puissant, en utilisant la force brute pour obtenir la qualité d’image souhaitée.

Avec le PSVR d’origine pour la PS4, Sony a déjà démontré que vous pouvez créer des expériences de réalité virtuelle triple AAA avec un minimum de matériel si vous travaillez intelligemment. Bien que les spécifications de la PS5 soient impressionnantes aujourd’hui, elles seront piétonnes d’ici un an ou deux, donc la construction d’un multiplicateur de performances efficace tel que le rendu fovéal dans le matériel est une décision judicieuse même si cela augmente les coûts matériels initiaux.

Si nous voyons une autre mise à niveau de mi-génération dans la même veine que la PS4 Pro, cela ne résout toujours pas le problème. Après tout, même si vous disposez d’une actualisation de la console plus puissante, tous les logiciels publiés pour la plate-forme doivent toujours fonctionner correctement sur le modèle d’origine.

Une nouvelle façon d’interagir en réalité virtuelle

Le rendu Foveated qui utilise le suivi oculaire apporte plus à la table qu’un simple rendu plus efficace et des visuels de meilleure qualité. Il permet une nouvelle façon d’interagir avec les mondes VR. Si le logiciel sait exactement où l’utilisateur regarde dans la scène, cette information peut être utilisée comme entrée. Par exemple, cela peut aider les personnages à réagir à votre regard ou à déclencher des événements, comme la découverte d’un indice dans un jeu d’aventure. Ce n’est certainement que la pointe de l’iceberg en ce qui concerne les utilisations potentielles proposées par les développeurs. Pourtant, avant que les expériences et les jeux VR puissent intégrer ces mécanismes, le rendu fovéal suivi par les yeux nécessite une large base d’installation.

Et si… le rendu fovéal devenait grand public ?

Lorsque le PSVR 2 est enfin révélé dans sa forme finale, et qu’il intègre effectivement le suivi des yeux et le rendu fovéal, cela pourrait changer radicalement la réalité virtuelle. Les consoles définissent efficacement les exigences minimales pour le développement multiplateforme. Le premier PSVR représente l’une des plus grandes bases d’installation de VR, et la PS5 se vend aussi vite que Sony peut le faire. Si PSVR 2 se vend au moins aussi bien que son prédécesseur, les développeurs de jeux VR sont fortement incités à tirer parti de la prise en charge au niveau du système pour le rendu foveated.

Si tous ces développements se mettent parfaitement en place, il ne serait pas surprenant que la prochaine génération de casques autonomes et PC VR intègre également un rendu fovéal suivi par les yeux. Si le PSVR 2 peut introduire cette fonctionnalité de nouvelle génération dans le grand public, cela profitera à l’ensemble de l’industrie de la VR.