Le «MU» de Microsoft alimentera plus d'améliorations Windows 11
Les modèles de grandes langues (LLMS) sont le discours de la ville, mais les modèles de petits langues sont également importants pour certaines tâches, en particulier sur des appareils à puissance limités comme les téléphones et les ordinateurs portables. Microsoft vient de révéler son nouveau modèle de langue MU, et il alimente déjà certaines fonctionnalités de Windows 11.
Microsoft utilise déjà un petit modèle de langue appelé PHI Silica dans Windows 11, permettant aux fonctionnalités Copilot + PC de fonctionner sans ralentissement sur des chipsets comme le Snapdragon X Plus. Les chatbots d'IA populaires comme Chatgpt, Copilot et Gemini utilisent des LLM plus avancées qui nécessitent des GPU puissants, mais des modèles plus petits comme Phi Silica et MU peuvent obtenir des résultats similaires avec une fraction de la puissance de traitement, au prix de moins de polyvalence.
MU est un «modèle de langage spécifique à la tâche de taille micro» conçu pour s'exécuter efficacement sur une unité de traitement neuronal, ou NPU, comme ceux trouvés dans les ordinateurs Copilot + PC récents. Microsoft a utilisé de nombreuses techniques d'optimisation différentes pour obtenir des performances élevées sur une puissance limitée, y compris une architecture de coder-transformateur-détecteur, le partage de poids dans certains composants pour réduire le nombre total de paramètres et uniquement en utilisant des opérations accélérées par le matériel. Microsoft dit que MU peut fonctionner à plus de 200 jetons par seconde sur un ordinateur portable de surface 7, ce qui est une réponse plus rapide que vous n'obtiez généralement des versions gratuites de Chatgpt ou Gemini dans un navigateur Web.
Le modèle MU est d'abord utilisé pour la barre de recherche dans l'application de paramètres Windows 11, qui s'est déroulée récemment aux initiés Windows sur Snapdragon PCS. Il peut comprendre des invites comme «comment contrôler mon PC par voix» ou «mon pointeur de souris est trop petit» et localiser le paramètre correct. Il n'est pas clair si MU sera utilisé pour d'autres fonctionnalités Copilot + PC.
Microsoft a déclaré dans un article de blog: «La gestion de la vaste gamme de paramètres Windows posait ses propres défis, en particulier avec les fonctionnalités qui se chevauchent. tâches. «
Les modèles de langage léger qui s'exécutent localement sont quelques-unes des meilleures utilisations de l'IA générative, car la réactivité et la confidentialité des données sont beaucoup plus faciles lorsqu'il n'y a pas de serveurs cloud impliqués. Cela n'a pas empêché le rappel d'être presque une catastrophe de sécurité, cependant.
