La traduction en temps réel époustouflante de ChatGPT-4o devrait terrifier Google

Alors que Google I/O est prêt à se concentrer demain sur les talents croissants de l’application Gemini AI, OpenAI entre en premier en lançant la dernière version de Chat-GPT – ChatGPT-4o.

Le nouveau Chat GPT-4o – le « o » signifie « omni » en raison de sa capacité à gérer l'audio, les images, la vidéo et le texte – se distingue en partie par la vitesse de traduction en temps réel.

Pour l'itération de ChatGPT-4, la société affirme avoir « formé un nouveau modèle unique de bout en bout pour le texte, la vision et l'audio, ce qui signifie que toutes les entrées et sorties sont traitées par le même réseau neuronal. Étant donné que GPT-4o est notre premier modèle combinant toutes ces modalités, nous ne faisons qu’effleurer la surface de l’exploration de ce que le modèle peut faire et de ses limites.

Pour les personnes parlant des langues différentes, ce système pourrait rapporter d’incroyables récompenses. Il agit comme un intermédiaire en temps réel avec très peu de latence entre l’audition et la répétition des énoncés dans la langue prévue.

Si la démonstration présentée lors de la présentation d'OpenAI aujourd'hui est l'expérience que les utilisateurs obtiennent, elle lance le défi à Google – le roi de longue date de la traduction mobile grâce à sa puissante et brillante application Translate.

L'une des vidéos ci-dessous (il existe également d'autres exemples) montre un homme demandant à ChatGPT d'agir en tant que traducteur.

L’homme demande à l’IA de traduire tout ce qu’elle entend en anglais vers l’italien, puis inversement. Ensuite, Mira Murati, CTO d'OpenAI, parle en italien et la réponse en anglais arrive très rapidement, avec un ton de conversation impressionnant.

Il est intéressant de noter que l’IA fait référence au locuteur de la langue originale à la troisième personne (« elle a dit que… ») plutôt que de simplement traduire l’énoncé. Il s'inspire des nuances de la voix de l'utilisateur et peut générer des voix dans « une gamme de styles émotionnels différents ». OpenAI affirme également surpasser ses concurrents comme Google et Meta en termes de vitesse.

Ailleurs, des vidéos publiées par la société montrent que les utilisateurs sont capables d'intervenir et de corriger l'IA, de lui faire changer rapidement de cap et de répondre de la même manière. Regardez par exemple la vidéo de comptage plus rapide ci-dessous. La société a également démontré sa capacité à avoir un ton de conversation incroyablement réaliste et sa capacité à reconnaître son environnement.

OpenAI indique que la saisie de texte et d'image pour GPT-4o arrive aujourd'hui, tandis que la saisie vocale et vidéo sera ajoutée à l'API dans les semaines à venir.