L’IA de Bing fait la même erreur que celle de Google
« L’erreur est humaine », dit le dicton. Mais il semble que faire des erreurs factuelles et créer des faits à partir de rien ne soit pas une caractéristique exclusivement humaine. Les chatbots AI ChatGPT et Google Bard ont tous deux documenté des histoires de mensonges. Maintenant, il semble que Bing AI de Microsoft ait la même mauvaise habitude.
Dans un article de blog, le chercheur en intelligence artificielle Dmitri Brereton a documenté les nombreuses erreurs commises par le nouveau chatbot de Microsoft lors de sa démo, des erreurs que personne n’avait remarquées à l’époque. Brereton commence par mettre en évidence les inexactitudes factuelles affichées par Bing AI dans la formulation de recommandations d’aspirateur pour animaux de compagnie. Le chatbot a déclaré que l’aspirateur portatif Bissell Pet Hair Eraser avait une puissance d’aspiration limitée, un cordon court et était suffisamment bruyant pour effrayer les animaux domestiques. Cependant, rien de tout cela n’est vrai. L’aspirateur pour animaux de compagnie en question n’a pas de cordon, et la revue citée ne dit rien sur le prétendu bruit ou la puissance d’aspiration limitée.
De plus, lorsque le chatbot AI a généré un itinéraire pour une escapade de cinq jours au Mexique, il a donné des recommandations totalement inexactes, selon Brereton. Les recommandations des boîtes de nuit semblent avoir été faites à partir de rien, avec des informations critiques réelles manquantes.
Mais les erreurs les plus préoccupantes sont peut-être survenues dans le résumé des finances de Gap Inc de Bing AI. Dans la démo, l’IA a affiché la marge brute déclarée de Gap à 37,4 %. Cependant, c’est la marge brute non ajustée. La marge brute ajustée était de 38,7 %. Cela peut ne pas sembler un gros problème pour les personnes qui ne comprennent pas le jargon financier, mais c’est une énorme erreur pour ceux qui manipulent des dollars et des cents chaque jour. Bing AI a également mal déclaré la marge d’exploitation de la société, le bénéfice dilué par action et la croissance attendue des ventes nettes. De nombreux chiffres produits par l’IA semblent avoir été créés à partir de tissu entier.
Bing AI a également résumé les finances de Lululemon et, selon Brereton, les résultats sont tout aussi mauvais. L’IA a mal évalué la marge brute de l’entreprise à 58,7 % alors que la valeur réelle est de 55,9 %, sa marge d’exploitation à 20,7 % alors qu’elle est en réalité de 19 %, et le bénéfice dilué par action était de 1,65 $ alors qu’il est en réalité de 2,00 $. Encore une fois, cela peut sembler être un détail pour certains, mais lorsqu’il s’agit de documentation financière, l’exactitude est plus que critique. Et encore une fois, bon nombre de ces chiffres semblent être des fabrications pures et simples plutôt que des erreurs.
Cependant, tout cela doit être pris dans le contexte d’une toute nouvelle technologie. Google et Wikipédia ont été sévèrement critiqués pour avoir fourni des informations non fiables lorsqu’ils sont arrivés sur les lieux. Il faudra un certain temps aux ingénieurs pour comprendre comment et pourquoi les chatbots IA produisent des résultats inexacts. Mais jusque-là, ne vous fiez à rien de ce qu’ils disent sans avoir d’abord vérifié par vous-même.
Source : Blog DKB
