Name: Tremplin Numérique
Price range: $$$

Une étude récente de la BBC a révélé que des inexactitudes majeures dans les réponses des nouvelles fournies par les assistants de l'IA. Les chercheurs ont testé quatre assistants d'IA bien connus – chatpt, copilote, gemini et perplexité – en leur permettant d'utiliser le site Web de la BBC pour leurs réponses.

L'étude a révélé que ces assistants d'IA populaires ont souvent donné des informations incorrectes et déformé les faits dans leurs réponses. Un ensemble de 100 questions a été posé aux assistants de l'IA sur différents sujets d'information à tendance. Les journalistes de la BBC ont évalué les réponses en fonction de sept critères: la précision, le fait de donner des sources appropriées, d'être impartiale, de distinguer l'opinion et de fait, d'éviter les points de vue personnels, de fournir du contexte et d'inclure le contenu de la BBC de manière appropriée.

L'évaluation a révélé que plus de la moitié (51%) des réponses avaient des problèmes importants dans ces domaines. De plus, 91% des réponses avaient au moins quelques inexactitudes. Avec quelque chose comme des nouvelles, être même un peu faux est un gros problème.

De nombreuses erreurs étaient dues à des faits incorrects. Environ 19% des réponses qui mentionnaient le contenu de la BBC comprenaient des erreurs telles que de mauvaises déclarations, des nombres ou des dates. De plus, 13% des devis soi-disant des articles de la BBC ont été modifiés ou ne provenaient pas de la source d'origine. Certains exemples incluent les assistants de l'IA indiquant incorrectement le statut d'anciens politiciens, la déformation des conseils du NHS sur le vapotage et les conflits erronés au Moyen-Orient.

L'étude a souligné les problèmes avec la façon dont les sources ont été utilisées et le contexte fourni. Les assistants de l'IA ont souvent choisi d'anciens articles ou des pages Web actuelles comme sources, ce qui a provoqué des inexactitudes. Parfois, les informations étaient correctes mais ont été à tort à tort à la BBC. De plus, l'IA n'a pas fourni suffisamment de contexte dans ses réponses, ce qui a conduit à des malentendus.

Apparemment, l'IA a eu du mal à faire la différence entre l'opinion et le fait. Cela l'a conduit à traiter souvent les opinions comme des faits, et cela a souvent omis un contexte important, ce qui a entraîné des réponses biaisées ou incomplètes.

Ce qui est le plus intéressant, c'est que la recherche a révélé que différents assistants d'IA ont des problèmes différents. Par exemple, Gemini a eu le plus de problèmes de précision et a également eu du mal à fournir des sources fiables. Le copilote et la perplexité ont eu des difficultés représentant avec précision le contenu de la BBC. Cela prouve par inadvertance l'IA de différentes entreprises ne sont pas interchangeables, et la qualité de l'une peut être meilleure que les autres – mais elles ne sont toujours pas aussi bonnes que les humains.

Un grand sujet qui a été soulevé dans l'étude a été la grande préoccupation quant à la facilité avec laquelle ces mauvaises informations peuvent se propager sur les réseaux sociaux. Les recherches de la BBC montrent que les assistants de l'IA ne sont pas fiables pour des reportages précis en ce moment. Bien que beaucoup d'entre eux avertissent les utilisateurs qu'il pourrait y avoir des erreurs, il n'y a pas de système en place pour corriger les erreurs comme le font les médias traditionnels.

La BBC appelle à plus de contrôle sur la façon dont les entreprises d'IA utilisent leur contenu, plus de transparence sur le fonctionnement de l'IA et une meilleure compréhension des inexactitudes qui peuvent se produire. La BBC prévoit de répéter cette étude à l'avenir pour voir si les choses s'améliorent et peuvent également inclure d'autres éditeurs et organisations de médias dans leur recherche.