Instant NeRF peut transformer des images 2D en une scène 3D en quelques millisecondes
C’est vraiment l’ère de la technologie moderne où les choses peuvent être faites en quelques secondes. C’est ce que prouve Instant NeRF, qui a pu restituer une scène 3D avec un mannequin habillé comme Andy Warhol dans une démo réalisée par NVIDIA L’équipe de recherche. Il n’a fallu que des dizaines de millisecondes au processus pour le faire en utilisant des photos fixes prises sous différents angles.
Selon Nvidiale concept d’Instant NeRF est assez simple : utiliser le rendu inverse et l’appliquer à champs de rayonnement neuronal, ou NeRF, on peut transformer un ensemble d’images 2D en une œuvre 3D en un clin d’œil. C’est loin des méthodes traditionnelles de rendu d’une scène 3D, qui prennent généralement des heures à des jours selon les détails que vous souhaitez inclure. Les premiers modèles NeRF qui utilisent l’IA raccourcissent d’une manière ou d’une autre la période de rendu, mais pas si significative. Puis voici l’Instant NeRF, la méthode qui peut le faire en quelques millisecondes.
« Si les représentations 3D traditionnelles comme les maillages polygonaux s’apparentent à des images vectorielles, les NeRF sont comme des images bitmap : elles capturent de manière dense la façon dont la lumière rayonne depuis un objet ou dans une scène », déclare David Luebke, vice-président de NVIDIA Graphics Research. « En ce sens, Instant NeRF pourrait être aussi important pour la 3D que les appareils photo numériques et la compression JPEG l’ont été pour la photographie 2D, augmentant considérablement la vitesse, la facilité et la portée de la capture et du partage 3D. »
L’Instant NeRF comprend un processus de capture d’image 2D rapide pour capturer les images fixes, car les mouvements des sujets peuvent se traduire par une scène 3D floue. Après cela, le NeRF recréera la scène en fournissant les informations manquantes et en prédisant la couleur de la lumière rayonnant dans n’importe quelle direction dans l’espace 3D.
« Il repose sur une technique développée par NVIDIA appelée codage de grille de hachage multi-résolution, qui est optimisée pour fonctionner efficacement sur les GPU NVIDIA », écrit Isha Salian, membre de l’équipe de communication d’entreprise de NVIDIA, dans un article de blog. « En utilisant une nouvelle méthode de codage d’entrée, les chercheurs peuvent obtenir des résultats de haute qualité en utilisant un minuscule réseau de neurones qui s’exécute rapidement… Le modèle a été développé à l’aide de la boîte à outils NVIDIA CUDA et de la bibliothèque Tiny CUDA Neural Networks. Puisqu’il s’agit d’un réseau de neurones léger, il peut être formé et exécuté sur un seul GPU NVIDIA – fonctionnant plus rapidement sur des cartes avec NVIDIA Tensor Cores.
Selon NVIDIA, l’Instant NeRF peut être utile à des fins très diverses, notamment la création d’avatars et de mondes virtuels ou la reconstruction de scènes et d’événements sous forme 3D. Il peut également être utilisé pour aider et entraîner les robots à apprendre la taille, la forme et les dimensions réelles des objets.
