Nouvelles fonctionnalités Microsoft Copilot : explication de la vision, de la voix, du clic pour faire et de la super résolution

Microsoft a annoncé une série de mises à jour pour sa suite Copilot AI, notamment la possibilité pour l'assistant de comprendre le contexte de ce qui est sur votre écran.

Une série de nouvelles fonctionnalités basées sur l'IA, dont certaines sont en avant-première, sont déployées sur les PC Copilot+ dans le cadre d'une nouvelle mise à jour de Windows 11. Des applications mobiles remaniées sont également disponibles aujourd'hui.

Les fonctionnalités incluent Copilot Vision susmentionnée, une nouvelle fonctionnalité Copilot Voice disponible dans les applications iOS et Android remaniées, ainsi que des outils utiles tels que Click To Do, la recherche Windows améliorée et la super résolution pour améliorer vos photos.

Microsoft prépare également le public au lancement de la fonctionnalité controversée de capture d'écran Recall.

Examinons de plus près la sélection des nouvelles fonctionnalités Copilot que Microsoft prévisualise et lance pour les propriétaires de PC Copilot+ dans le cadre du déploiement de Windows 11 version 24H2, ainsi que pour les nouvelles applications mobiles.

Vision copilote

La nouvelle fonctionnalité Copilot Vision, disponible en version bêta dans Copilot Labs, est conçue pour le navigateur Web Microsoft Edge.

Microsoft affirme que cette extension de la fonctionnalité Copilot comprend ce que vous regardez à l'écran, vous permettant de poser des questions sur le contenu avec un ton naturel.

Dans une vidéo présentant la nouvelle fonctionnalité publiée le 1er octobre, Microsoft a utilisé l'exemple de la façon dont Copilot Vision pourrait aider les utilisateurs à trouver un logement à partir d'un site de réservation, en demandant : « Hey Copilot, je cherche un logement ». pour démarrer une conversation.

De là, l'assistant vous emmènera dans une propriété particulière et vous demandera ce que vous en pensez. Si vous dites « c'est un peu cher », Copilot pourrait vous trouver quelque chose de moins cher, ou avec un peu plus de couleur, ou ce que vous voulez, jusqu'à ce que vous tombiez finalement sur quelque chose que vous aimeriez réserver.

Microsoft déclare dans un article de blog : « Ici, votre Copilot se trouve au sein de Microsoft Edge. Si vous le souhaitez, il peut comprendre la page que vous consultez et répondre aux questions sur son contenu. Il peut suggérer les prochaines étapes, répondre aux questions, vous aider à naviguer dans tout ce que vous voulez faire et vous aider dans les tâches. Pendant ce temps, vous lui parlez simplement en langage naturel. Il s'agit d'une nouvelle fonctionnalité qui porte la facilité et l'utilisation pratique de Copilot à un nouveau niveau.

Microsoft affirme que la fonctionnalité sera facultative et que les tests sont actuellement limités aux sites Web pré-approuvés et populaires auprès du public.

Voix du copilote

Les capacités conversationnelles s'étendent avec Copilot Voice pour les nouvelles applications iOS et Android, permettant aux utilisateurs de discuter naturellement avec l'assistant IA pour obtenir un peu d'aide dans une situation difficile.

L'exemple que Microsoft utilise aujourd'hui est l'achat d'un cadeau de pendaison de crémaillère pour une personne qui ne boit pas de vin, alors que vous êtes déjà en route pour la fête. L'IA à la voix douce suggérait un bouquet de thés artisanaux ou des huiles d'olive raffinées. Vous obtiendrez également une explication sur les raisons pour lesquelles l'huile d'olive raffinée est nécessaire et agréable à avoir en premier lieu.

Microsoft déclare : « Nous facilitons plus que jamais la connexion avec votre compagnon grâce à Copilot Voice. C'est le moyen le plus intuitif et le plus naturel de réfléchir en déplacement, de poser une question rapide ou même simplement de se défouler à la fin d'une journée difficile. Votre compagnon vous sera personnel, avec quatre options vocales parmi lesquelles choisir.

Cliquez pour faire

Ailleurs, de nombreuses autres nouvelles fonctionnalités sont déployées pour les utilisateurs de Windows 11 possédant des PC Copilot+. L'un d'entre eux est Click to Do, qui place une superposition sur l'ensemble de votre écran, ce qui peut suggérer des actions rapides. Dans Photos, par exemple, vous pouvez effectuer une recherche visuelle avec Bing, effacer des objets avec Photos ou supprimer un arrière-plan avec l'application Paint – rien qu'à partir de ces suggestions.

Microsoft explique : « Click to Do est contextuel et accessible depuis n'importe quel écran de PC Copilot+ – appuyez simplement sur la touche Windows et cliquez sur votre souris pour trouver Click to Do dans l'outil de capture ou l'écran d'impression pour commencer. En mettant clairement l’accent sur l’amélioration de la productivité, les clients verront des actions supplémentaires enrichies ajoutées dans les mois à venir.

Recherche Windows améliorée

L’IA s’améliore dans la recherche de détails grâce à de simples recherches de mots. Par exemple, sur les PC Copilot+, vous pourrez rechercher « soirée barbecue », en affichant les éléments associés sans avoir à vous souvenir des noms de fichiers, de l'emplacement, de l'orthographe et bien plus encore. il arrive d'abord dans l'Explorateur de fichiers, puis dans Windows Search.

Photos obtient un copilote

Quelques nouvelles fonctionnalités de photographie annoncées aujourd'hui incluent la Super Résolution, qui utilisera l'IA sur l'appareil pour transformer une photo floue, pixellisée ou basse résolution en quelque chose qui semble avoir été prise avec un nouvel appareil photo assez génial à haute résolution.

Microsoft déclare : « Utilisez simplement le curseur pour augmenter la résolution jusqu'à 8X, et contrôlez et ajustez avec précision la sortie. Et ce travail ne prendra pas toute la nuit. Grâce à la puissance du NPU 40+ TOPS, la super résolution des photos peut convertir une photo jusqu'à 4K en quelques secondes, gratuitement.

Les utilisateurs de Windows disposent également d'outils similaires à Magic Eraser et Magic Editor de Google. Ils aideront les utilisateurs à supprimer les éléments indésirables du cadre et à ajouter des éléments qui n'étaient pas là au départ, comme un chien sur la banquette arrière d'une voiture, par exemple.