Microsoft a débuté mercredi le déploiement de Copilot Vision au sein de son navigateur Edge, avec la promesse d’une fonctionnalité accessible gratuitement à tous les utilisateurs. La promesse ? Avec Copilot Vision, l’intelligence artificielle générative de Microsoft est capable de voir ce qui est affiché à l’écran, ce qui permet à l’utilisateur d’échanger avec le logiciel, en langage naturel, pour par exemple obtenir un résumé, affiner une sélection de produits, etc. L’accès à Copilot Vision, pour l’instant réservé aux internautes basés aux États-Unis, ne se fait que sur consentement préalable (opt-in).
« Copilot Vision est disponible gratuitement sur Edge. Il peut voir ce que vous voyez à l’écran (si vous l’activez). Incroyable ! Il réfléchit à voix haute avec vous lorsque vous naviguez en ligne », s’enthousiasme Mustafa Suleyman, CEO de Microsoft AI, dans un message d’annonce. « Ajoutez-le à une page de recette pour cuisiner sans écran. Copilot vous guidera pas à pas, vous dépannera ou vous expliquera la signification de « julienne » », illustre-t-il encore.
La fonction avait initialement été déployée en décembre dernier, mais uniquement sur le parc des utilisateurs disposant d’un abonnement payant à Copilot. Cette fois, Microsoft ouvre donc plus largement les vannes, en indiquant tout de même que « pour commencer, Vision n’interagira qu’avec une sélection de sites Web », parmi lesquels Wikipédia, Amazon ou Tripadvisor.
Pour activer la fonction (depuis une IP américaine), il suffit de se rendre, via Edge, sur la page dédiée, et d’entrer dans le programme. Pour activer Vision, il suffit ensuite d’ouvrir la barre dédiée à Copilot, et de lancer une interaction vocale avec le logiciel par le biais du bouton micro. Une paire de lunettes rouge et un effet de couleur sur l’interface du navigateur confirment alors la mise en œuvre de la reconnaissance visuelle.
« Les réponses du modèle Copilot sont enregistrées afin de permettre la surveillance des interactions et des sorties dangereuses », prévient Microsoft, qui se veut cependant rassurant quant aux aspects liés à la vie privée. « Les images, les voix et le contexte des utilisateurs ne seront ni enregistrés ni stockés. Votre conversation avec Vision est retranscrite dans votre historique de conversation. Vous pouvez supprimer l’historique de discussion à tout moment. »