Copilot Vision est la nouvelle fonctionnalité de Microsoft Copilot intégrée à Windows 10 et 11 qui permet notamment à l’IA de voir l’écran de l’utilisateur en temps réel afin de mieux l’assister.
Microsoft a annoncé dans un billet sur son blog que Copilot s’améliorait en proposant
« Vision », une fonction entièrement optionnelle qui permet d’analyser ce qui se passe à l’écran : applications ouvertes, contenu affiché, navigation, etc. L’IA peut ensuite guider, expliquer, montrer où cliquer ou proposer tout autre actions adaptées au contexte. Elle est capable de prendre en charge plusieurs applications ouvertes simultanément pour aider de manière transversale et contextualisée.
Enfin, la fonction « Highlights » offre la possibilité de demander à Copilot de montrer comment faire une tâche précise, étape par étape. Microsoft évoque d’ailleurs des cas d’usage précis comme l’accompagnement dans un jeu vidéo, la planification de voyage, la retouche photo, etc.
Microsoft espère faire de Copilot un véritable compagnon intelligent du quotidien et proactif. Il s’inscrit dans l’approche Copilot Labs, dédiée à l’expérimentation et à l’évolution continue des fonctionnalités IA sur Windows. L’expérience utilisateur est pensée pour être fluide, naturelle et assistée en continu, un peu à la manière d’un second cerveau porteur de lunettes…
Confidentialité
Bien entendu, c’est l’utilisateur qui active ou non cette fonctionnalité, par le biais d’une icône en forme de lunettes. Il garde le contrôle et choisit quelle fenêtre ou application partager. Il a la possibilité d’arrêter le partage à tout moment.
Copilot Vision est disponible sous Windows 10 et 11 aux Etats-Unis et il faudra attendre pour un déploiement dans les pays européens.
