Les machines de pensée continue pourraient être la prochaine étape de l'IA

Sommaire

Toggle

Résumé

• Le modèle de machine à pensée continue (CTM) intègre du temps dans les réseaux de neurones pour une résolution de problèmes plus humaine.

• CTMS comble le fossé entre les modèles d'apprentissage de l'IA comme les LLM et l'adaptabilité de type humain, mais nécessite plus de ressources.

• Le modèle CTM fait face à des défis tels que des temps de formation plus longs, une inférence plus lente et une précision inférieure par rapport aux modèles actuels.

Les modèles AI « pensent-ils »? C'est une question importante, car pour quelqu'un qui utilise quelque chose comme Chatgpt ou Claude, c'est sûr regard Comme le bot le pense. Nous avons même de petites invites qui apparaissent qui disent «penser» et ces jours-ci, vous pouvez même lire la «chaîne de pensée» d'un bot pour voir comment il a raisonné son chemin vers une conclusion.

La vérité, cependant, est que, bien que les LLM et autres modèles d'IA imitent certains aspects de la pensée, ce n'est toujours pas tout à fait la même chose qu'un cerveau naturel faisant le travail. Cependant, de nouvelles recherches sur Machines de pensée continue (CTMS) pourrait changer cela.

Qu'est-ce qu'un CTM?

Une machine à pensée continue (CTM) est un nouveau type de réseau neuronal qui intègre littéralement le temps dans sa pensée. Au lieu du calcul d'un coup habituel, chaque neurone CTM garde une trace de son activité passée et utilise cette histoire pour décider quoi faire ensuite. En mai 2025, Sakana AI a détaillé le modèle CTM dans un document de recherche et un article de blog.

Sakana affirme qu'il s'agit d'un nouveau type de réseau de neurones artificiels qui imite plus étroitement le fonctionnement des cerveaux naturels. Les neurones dans un CTM ne tirent pas seulement une fois et sont terminés; Ils ont une courte «mémoire» et peuvent synchroniser leurs modèles de tir avec d'autres neurones. L'état interne du réseau est défini par ces modèles de synchronisation au fil du temps.

Cela ressemble beaucoup à la synchronicité des cerveaux biologiques qui conduit à des ondes cérébrales. Cela rend CTMS très différent des filets ou transformateurs profonds standard. Par exemple, un modèle basé sur un transformateur typique traite un morceau de texte (ou une image) dans un nombre fixe de couches, tout en même temps. Fondamentalement, il pense dans une rafale de courte durée, puis va à la mort du cerveau en attendant votre prochaine invite.

Les implications ici sont profondes. Si je comprends même ce que cela signifie – et c'est très possible, je ne le fais pas! Cette citation du Post concernant la résolution des labyrinthes et le regard sur des photos m'a vraiment frappé:

Remarquablement, bien qu'il n'ait pas été explicitement conçu pour le faire, la solution qu'il apprend sur les labyrinthes est très interprétable et semblable à un humain où nous pouvons le voir tracer le chemin à travers le labyrinthe tel qu'il «pense» à la solution. Pour les images réelles, il n'y a aucune incitation explicite à regarder autour de lui, mais il le fait de manière intuitive.

De plus, cela résume assez bien:

Nous appelons le modèle d'IA résultant la machine à pensée continue (CTM), un modèle capable d'utiliser cette nouvelle dimension temporelle, une dynamique de neurone riche et des informations de synchronisation pour «réfléchir» à une tâche et à un plan avant de donner ses réponses. Nous utilisons le terme «continu» dans le nom car le CTM fonctionne entièrement dans une «dimension de pensée» interne lors du raisonnement. Il est asynchrone en ce qui concerne les données qu'il consomme: il peut raisonner sur les données statiques (par exemple, les images) ou les données séquentielles de manière identique. Nous avons testé ce nouveau modèle sur un large éventail de tâches et constaté qu'il était capable de résoudre divers problèmes et souvent de manière très interprétable.

Je ne veux pas trop surhyper cette idée avant de voir plus de parties indépendantes, mais une partie de ce que je lis ici se met légèrement dans le domaine de la conscience rudimentaire.

Pourquoi est-ce meilleur que les réseaux de neurones actuels?

L'ensemble du concept du CTM se débarrasse essentiellement de l'idée de problèmes de «co-shot», qui est souvent considéré comme une étalon-or avec des modèles d'IA, où vous en avez besoin pour obtenir la bonne réponse la plupart du temps dans la fenêtre fixe, il doit pousser le problème à travers son réseau de transformateur – qui est le type de réseau neuronal qui alimente le chat de chatte, par exemple.

C'est l'une des raisons pour lesquelles les LLM actuelles n'ont pas vraiment un bon moyen de corriger le pourcentage relativement faible de fois, ils se trompent. Il y a eu des améliorations avec la chaîne de pensées, l'auto-réparation et le rebond de quelque chose entre deux modèles jusqu'à ce qu'il soit mieux, mais il semble que l'approche CTM pourrait combler une lacune importante dans la précision et la fiabilité.

Sur la base de la promesse que Sakana décrit dans ses articles, cela pourrait signifier combiner les forces de modèles comme les LLM avec l'adaptabilité et la croissance du cerveau biologique. Je pense aussi que cela a des implications pour la robotique, et aider les machines incarnées à apprendre, à grandir et à exister dans le monde physique plus comme nous.

Les inconvénients de la réflexion

La pensée continue est puissante, mais elle est livrée avec des compromis. Premièrement, CTMS est plus complexe et avide de ressources que les réseaux simples pour les aliments pour animaux. Permettre à chaque neurone de transporter son histoire élargit massivement l'état interne du réseau. Dans la pratique, la formation d'un CTM peut exiger une puissance et une mémoire beaucoup plus calculaires. Ils peuvent prendre plus de temps à s'entraîner et peuvent avoir besoin de plus de données ou d'itérations pour converger. L'inférence peut également être plus lente si le modèle choisit de nombreuses étapes de réflexion pour une entrée difficile.

De plus, tous les outils et bibliothèques actuels sont basés sur des modèles statiques, pas des CTM, pour des raisons évidentes. Donc, s'il y a vraiment quelque chose, il faudra un certain temps pour que les outils se rattrapent.

L'autre gros problème est assez évident – quand devrait-il arrêter de penser? Il y a un risque de « Runaway » en pensant où le CTM se déroule dans un cercle. Il doit donc y avoir des règles assez sophistiquées pour l'aider à savoir quand c'est fait. Si vous ne le faites pas, vous pouvez obtenir une amplification des erreurs et le même type d'hallucinations que nous avons déjà en tant que modèle éloigné du sol qui a commencé avec.

Le dernier problème principal, et c'est un biggie, c'est que ce premier modèle CTM est encore assez loin de correspondre aux meilleurs modèles de transformateurs actuels en matière de précision. Selon un rapport de VentureBeat, il est bien à court de repères de précision en ce moment.

Nos esprits restent un mystère

Tandis que ce que j'ai vu de CTMS jusqu'à présent basé sur les papiers de Sakana Ai parcelle Comme ce que nous voyons dans le cerveau humain, la vérité est que nous ne savons toujours pas vraiment le fonctionnement de notre propre esprit. Il se peut que les chercheurs d'IA soient tombés sur une solution similaire à ce que la sélection naturelle a créé pour nous et d'autres espèces animales, mais il se pourrait également que nous ayons créé quelque chose sur une piste parallèle qui pourrait éventuellement être de la même manière.

---

Je me sentais comme des modèles actuels ne sont qu'une partie du puzzle d'une IA plus généralisée depuis un certain temps maintenant, comme un LLM ressemble plus au centre de langue d'un cerveau que le tout, et à première vue, CTMS ressemble à une autre partie du puzzle. Je vais donc suivre les progrès de Sakana avec un grand intérêt.