Les résultats de recherche ChatGPT ne sont pas fiables
Après avoir analysé environ 200 citations provenant de 20 publications différentes, le Tow Center for Digital Journalism de Columbia a découvert que la recherche ChatGPT a du mal à attribuer correctement les sources.
Les chercheurs ont demandé à ChatGPT de trouver les sources de chaque citation. L'enquête a révélé que certaines réponses étaient correctement attribuées aux bonnes sources en ligne, mais que d'autres étaient en proie à des inexactitudes. Concrètement, plus d'un tiers des requêtes utilisaient des sources fabriquées au lieu de préciser que la source correcte du devis n'avait pas pu être trouvée, ou que le chatbot n'avait pas pu la récupérer via le fichier robots.txt. Pire encore, ChatGPT a attribué à tort des articles provenant de publications partenaires et de ceux qui n'avaient pas d'accord de licence existant avec OpenAI, plagiant même parfois le contenu des actualités.
Les résultats ne surprennent pas quiconque a passé du temps avec des chatbots comme ChatGPT, qui continuent d'halluciner et de servir une combinaison de faits et de désinformation. Lancée en octobre, la recherche ChatGPT promet de vous permettre d'effectuer des recherches sur le Web « d'une manière bien meilleure qu'auparavant », en fournissant « des réponses rapides et opportunes avec des liens vers des sources Web pertinentes, pour lesquelles vous auriez auparavant eu besoin d'accéder à un moteur de recherche. «
Un porte-parole d'OpenAI a minimisé le rapport, soulevant des problèmes avec les méthodes de test. « Nous avons collaboré avec des partenaires pour améliorer la précision des citations en ligne et respecter les préférences des éditeurs, notamment en permettant leur apparition dans les recherches en gérant OAI-SearchBot dans leur robots.txt », a déclaré le porte-parole. « Nous continuerons à améliorer les résultats de recherche. »
La fonction de recherche ChatGPT d'OpenAI collecte des données de la même manière que Google ou n'importe quel moteur de recherche classique. Ses robots téléchargent et indexent le contenu de partout sur le Web, ignorant les sites qui bloquent les robots avec des fichiers robots.txt. Dans les résultats de recherche, ChatGPT fournit des liens vers des sources Web pertinentes, telles que des articles d'actualité et des articles de blog, pour un contexte supplémentaire.
Certaines publications, comme le New York Times (qui a traîné OpenAI et Microsoft devant les tribunaux pour violation du droit d'auteur), se sont retirées. Avec beaucoup d’autres, dont le géant européen des médias Axel Springer (propriétaire de Politico), OpenAI a conclu des accords de licence commerciale pour permettre à ses robots d’exploration de passer au crible leurs immenses archives journalistiques.
Si vous aviez l'illusion que les résultats de ChatGPT étaient fiables à 100 % ou que ChatGPT pourrait remplacer la recherche Web traditionnelle, c'est votre signal d'alarme. Je ne dis pas que les chatbots n’ont aucune utilité. Ils peuvent être utiles, mais uniquement comme outil supplémentaire dans votre arsenal. Ce que vous ne devriez pas faire, c'est faire confiance à la recherche basée sur l'IA pour attribuer des sources ou fournir des informations factuelles. Si vous devez utiliser un tel outil dans votre prochain projet, assurez-vous de toujours vérifier les réponses pour vous assurer qu'elles sont correctes (ce qui va à l'encontre de l'attrait principal de la recherche basée sur l'IA).
