Ne faites pas confiance à ChatGPT pour faire des calculs

Il est essentiel de vérifier tout ce qui provient de ChatGPT, Bing Chat, Google Bard ou de tout autre chatbot. Croyez-le ou non, c’est particulièrement vrai pour les mathématiques. Ne présumez pas que ChatGPT peut faire des calculs. Les chatbots d’IA modernes sont meilleurs en écriture créative qu’en comptage et en arithmétique.

Les chatbots ne sont pas des calculatrices

Comme toujours, lorsque vous travaillez avec une IA, une ingénierie rapide est importante. Vous voulez donner beaucoup d’informations et rédiger soigneusement votre invite de texte pour obtenir une bonne réponse.

Mais même si vous obtenez une réponse logique impeccable, vous pourriez plisser les yeux au milieu et réaliser que ChatGPT a fait une erreur du type 1 + 1 = 3. Cependant, ChatGPT se trompe souvent de logique et n’est pas non plus très efficace pour compter.

Demander à un grand modèle de langage de fonctionner comme une calculatrice, c’est comme demander à une calculatrice d’écrire une pièce de théâtre – à quoi vous attendiez-vous ? Ce n’est pas pour ça.

Notre message principal ici : il est essentiel de vérifier deux fois ou trois fois le travail d’une IA. Cela vaut pour plus que les mathématiques.

Voici quelques exemples de ChatGPT tombant à plat sur son visage. Nous avons utilisé le ChatGPT gratuit basé sur gpt-3.5-turbo pour cet article ainsi que Bing Chat, qui est basé sur GPT 4. Ainsi, alors que ChatGPT Plus avec GPT 4 fera mieux que la version gratuite de ChatGPT, vous ferez l’expérience ces problèmes même avec un chatbot IA haut de gamme.

ChatGPT ne peut pas compter

ChatGPT et Bing ne semblent pas fiables pour compter les listes d’éléments. Cela semble être une tâche de base, mais ne comptez pas sur l’obtention d’une réponse fiable.

Nous avons fourni à ChatGPT une colonne de nombres et lui avons demandé de compter les occurrences de l’un des nombres. (Vous n’êtes pas obligé de vous compter : la bonne réponse est que le nombre 100 apparaît 14 fois.)

Même lorsque vous corrigez ChatGPT et qu’il s’excuse et propose une nouvelle réponse, vous n’obtiendrez pas nécessairement une réponse correcte.

ChatGPT agit souvent comme une personne essayant frénétiquement de dissimuler une erreur et de vous donner une réponse – n’importe quelle réponse – pour vous sortir de son dos. C’est vraiment très réaliste !

Comme d’habitude, l’un des gros problèmes est de savoir à quel point ChatGPT est sûr de toutes ses réponses, même lorsqu’il vous mitraille différentes réponses.

Nous avons essayé GPT 4 via Bing Chat de Microsoft et avons rencontré un problème similaire. Bing a décidé d’écrire du code Python pour résoudre ce problème délicat, mais il n’a pas non plus réussi à obtenir la bonne réponse. (Bing n’a pas réellement exécuté le code.)

ChatGPT lutte avec des problèmes de logique mathématique

Si vous donnez à ChatGPT un « problème de mot » mathématique, vous verrez souvent d’étranges rebondissements de logique qui ne vous donneront pas la bonne réponse.

Nous avons fourni à ChatGPT un problème mathématique basé sur les fruits qui reflète ce que quelqu’un pourrait demander s’il essayait de rééquilibrer un portefeuille d’investissement en allouant une contribution entre différents fonds – ou peut-être simplement acheter beaucoup de fruits et s’en tenir à un portefeuille basé sur les fruits pour l’investisseur affamé.

ChatGPT commence bien mais déraille rapidement dans une logique qui n’a aucun sens et ne donnera pas de réponse correcte.

Vous n’avez pas besoin de suivre chaque rebondissement pour vous rendre compte que la réponse finale est incorrecte.

ChatGPT creusera souvent et discutera également avec vous de ses réponses. (Encore une fois, c’est un comportement très humain.)

Dans ce cas, ChatGPT a fait valoir qu’hé, cela ne vous a pas donné la bonne réponse, mais cela vous a rapproché du ratio souhaité qu’auparavant ! C’est assez drôle.

Pour mémoire, Bing Chat de Microsoft basé sur GPT 4 a également rencontré ce problème, nous donnant une réponse clairement incorrecte. La logique de GPT 4 déraille rapidement ici aussi.

Nous vous recommandons de ne pas essayer de suivre tous les rebondissements de la logique – il est clair que la réponse est incorrecte.

Lorsque nous avons souligné que la réponse de Bing était incorrecte, il a continué à se disputer avec nous en cercles, offrant une mauvaise réponse après une mauvaise réponse.

ChatGPT ne peut pas non plus faire d’arithmétique de manière fiable

Il convient de noter que ChatGPT s’emporte parfois et énonce également l’arithmétique de base de manière incorrecte. Nous avons vu des réponses logiques à des problèmes d’arithmétique incorrecte similaires à 1 + 1 = 3 en plein milieu de la réponse bien raisonnée.

Assurez-vous de vérifier, revérifier et triple-vérifier tout ce que vous obtenez de ChatGPT et d’autres chatbots IA.