Windows 11 Copilot s'étend avec des fonctionnalités d'agent IA, des capacités vocales et visuelles

Introduction

Microsoft améliore considérablement son assistant IA Copilot sur Windows 11 avec des capacités révolutionnaires qui transforment la façon dont les utilisateurs interagissent avec leurs ordinateurs. Le déploiement mondial introduit trois fonctionnalités majeures : Copilot Vision pour l'analyse d'écran, l'activation vocale « Hey Copilot » pour une utilisation mains libres, et Copilot Actions qui permet une véritable fonctionnalité d'agent IA directement sur votre bureau.

Capacités des agents IA grâce à Copilot Actions

Copilot Actions représente un bond en avant dans les plateformes d'automatisation IA, permettant à l'assistant d'effectuer des tâches complexes par commandes vocales. Les utilisateurs peuvent maintenant demander à Copilot d'ouvrir des applications, de taper du texte, de faire défiler des pages ou d'exécuter des workflows en plusieurs étapes comme modifier des documents ou envoyer des e-mails. Ces actions opèrent dans un « Espace de travail de l'agent » sécurisé avec des permissions limitées, garantissant qu'une confirmation de l'utilisateur est toujours requise avant d'accéder aux fichiers locaux ou de modifier le système – une mesure de sécurité cruciale pour les agents et assistants IA.

Activation vocale mains libres

La fonction de réveil « Hey Copilot » permet une interaction complètement mains libres, similaire aux applications de chat vocal populaires. Après avoir prononcé la phrase d'activation, les utilisateurs entendent un carillon de confirmation et voient une petite fenêtre de microphone prête pour les commandes. Cette fonctionnalité nécessite une activation manuelle dans les paramètres et dépend à la fois de la disponibilité du microphone et de la connectivité Internet, la rendant idéale pour les utilisateurs qui préfèrent la productivité pilotée par la voix.

Analyse d'écran avancée avec Copilot Vision

Désormais disponible dans le monde entier, Copilot Vision permet aux utilisateurs de partager leur bureau entier ou des applications spécifiques pour une analyse IA en temps réel. Le système peut interpréter le contenu à l'écran, répondre à des questions contextuelles et guider les utilisateurs à travers des processus complexes en utilisant la fonctionnalité Highlights. Lorsqu'il est intégré à des applications Microsoft 365 comme Word ou PowerPoint, Copilot peut analyser des documents complets plutôt que seulement les sections visibles. Microsoft teste également un mode « Texte en entrée, texte en sortie » pour les interactions tapées pendant les sessions Vision, améliorant l'accessibilité pour diverses préférences des utilisateurs.

Intégration améliorée de la barre des tâches

Windows 11 intègre maintenant de manière transparente Copilot dans la fonctionnalité de recherche de la barre des tâches, servant à la fois de lanceur d'applications et d'assistant IA. La recherche améliorée offre un accès rapide aux applications, fichiers et paramètres du système tout en proposant des raccourcis vers la boîte à outils croissante de Copilot. Microsoft souligne que ces intégrations n'accordent pas à Copilot un accès direct aux données personnelles, s'appuyant plutôt sur les API existantes de recherche Windows et nécessitant une autorisation explicite de l'utilisateur pour les interactions avec les fichiers ou applications.

Avantages et inconvénients

Avantages

• L'activation vocale mains libres améliore l'accessibilité
• L'automatisation en plusieurs étapes économise du temps sur les tâches complexes
• L'analyse d'écran fournit une aide contextuelle instantanément
• L'espace de travail sécurisé de l'agent protège la vie privée de l'utilisateur
• Une intégration transparente avec les applications Microsoft 365
• La disponibilité mondiale garantit un accès étendu
• La recherche améliorée de la barre des tâches booste la productivité

Inconvénients

• Nécessite une activation manuelle des fonctionnalités vocales
• Dépend d'une connexion Internet pour une fonctionnalité complète
• Limitié aux utilisateurs de Windows 11 uniquement
• Préoccupations de confidentialité avec les capacités de partage d'écran
• Courbe d'apprentissage pour les fonctionnalités d'automatisation avancées

Conclusion

L'expansion de Copilot par Microsoft représente une étape significative vers la transformation de l'IA en une partie intégrante de l'expérience Windows. La combinaison de l'activation vocale, des capacités de vision et de la véritable fonctionnalité d'agent crée un environnement informatique plus intuitif et puissant. Bien que nécessitant une certaine adaptation de l'utilisateur et abordant des considérations de confidentialité, ces fonctionnalités positionnent Windows 11 comme un leader dans l'intégration des chatbots IA et l'automatisation de bureau. Alors que Microsoft continue d'affiner ces outils, les utilisateurs peuvent s'attendre à une assistance IA encore plus sophistiquée qui transforme la façon dont nous interagissons quotidiennement avec nos ordinateurs.