Copilot sur Windows peut maintenant voir votre écran

Microsoft déploie une grande mise à jour de sa vision de copilote pour Windows Insiders qui permet à l'outil d'IA de tout voir sur votre écran. Il s'agit d'un changement assez significatif, car il ne pouvait examiner que deux applications à un moment précédent. Copilot verra votre bureau, ou un navigateur ou une fenêtre d'application spécifique.

Cette nouvelle fonctionnalité « Partage de bureau » vous donne la possibilité de partager votre bureau avec Copilot chaque fois que vous en avez besoin. Une fois que vous l'avez fait, il peut voir ce que vous voyez et même vous en parler en temps réel. C'est une idée similaire à la façon dont l'application Chatgpt fonctionne sur Windows et Mac, et comment Gemini peut voir votre écran si vous le laissez.

J'ai utilisé cette fonctionnalité dans l'IA, et elle est assez précise pour Chatgpt et Gemini. J'imagine que Copilot aura la même précision que ces chatbots, ce qui pourrait être utile dans les bonnes circonstances. Copilot peut analyser le contenu, fournir des informations et répondre à vos questions, tout en vous entraînant à haute voix.

La seule chose que vous devez faire est de cliquer sur l'icône des lunettes du compositeur. Ensuite, sélectionnez le bureau que vous souhaitez partager et demandez de l'aide à Copilot sur tout ce sur quoi vous travaillez. Lorsque vous avez terminé, appuyez simplement sur «Stop» ou «X» dans le compositeur pour arrêter de partager votre écran avec l'IA.

Il est important de noter que ce n'est pas comme le rappel, qui prend automatiquement des instantanés réguliers de votre écran en arrière-plan. L'utilisation de Copilot Vision avec Desktop Share ressemble plus à un partage d'écran lors d'un appel vidéo. Vous choisissez activement de l'allumer et de l'éteindre, et les captures d'écran ne sont pas prises et stockées ailleurs.

Cette mise à jour facilite également l'accès à la vision à partir de vos conversations vocales. Si vous parlez déjà avec Copilot et réalisez que vous devez le montrer quelque chose sur votre écran pour plus de contexte, vous pouvez maintenant cliquer simplement sur l'icône des lunettes et partager votre écran à l'époque. Il s'agit d'une fonctionnalité que vous ne pouvez pas utiliser tout le temps, mais qui est incroyablement utile lorsque vous en trouvez une utilisation.

Gardez à l'esprit qu'il a toujours les limites que l'IA a tendance à avoir dans une conversation régulière. J'ai utilisé cela pour vérifier les devoirs et j'ai reçu de nombreuses suggestions incorrectes de Gemini malgré le fait de voir exactement ce que j'ai vu. Même encore, il y avait plusieurs fois, il valait mieux montrer à l'écran l'IA pour obtenir les informations dont j'avais besoin de documents au lieu de jouer avec la barre de recherche Find.

Cette nouvelle mise à jour de l'application Copilot se déroule progressivement aux initiés Windows sur tous les canaux via le Microsoft Store. Donc, vous devrez peut-être être patient car il se dirige vers votre ordinateur. Quiconque ne fait pas partie de ce programme devra attendre la version complète pour utiliser cette fonctionnalité, mais le temps entre les deux sera consacré aux bogues et à s'assurer qu'il fonctionne correctement.