GitHub Copilot ajoute l’aperçu de l’utilisation d’ordinateur pour automatiser les applications de bureau

GitHub a lancé une version d'aperçu public des capacités d'utilisation de l'ordinateur (« computer use ») pour GitHub Copilot, permettant à l'outil d'IA d'interagir directement avec des applications de bureau sous macOS et Windows. Accessible via l'interface en ligne de commande (CLI) de GitHub Copilot ainsi que l'application de bureau autonome GitHub Copilot, cette fonctionnalité étend l'automatisation des tâches au-delà des éditeurs de code et des environnements de terminal habituels.

Automatisation d'interface graphique sans API sur mesure

Cette nouvelle capacité d'utilisation de l'ordinateur permet à Copilot d'exécuter des actions sur l'interface utilisateur pour le compte du développeur. Il peut lire le contexte visuel accessible et le contenu de l'écran, saisir du texte, activer des commandes, cliquer sur des éléments d'interface, faire glisser des composants et gérer des frappes au clavier dans des flux de travail logiciels à plusieurs étapes. Cette fonctionnalité vise à automatiser des tâches au sein de programmes hérités et de logiciels uniquement dotés d'une interface graphique qui ne disposent pas d'interfaces en ligne de commande natives, d'API ou d'intégrations du protocole MCP (Model Context Protocol).

Activation et contrôles administratifs

Les développeurs peuvent activer la fonctionnalité dans la CLI de GitHub Copilot en utilisant la commande /computer on, vérifier son statut opérationnel avec /computer show ou la désactiver avec /computer off. Dans l'application de bureau GitHub Copilot, les utilisateurs peuvent activer l'utilisation de l'ordinateur en se rendant dans les Paramètres pour y activer la fonction.

Des mécanismes de sécurité obligent Copilot à demander une autorisation explicite avant de prendre le contrôle d'une application, tandis que les utilisateurs conservent la possibilité de vérifier ou de réinitialiser les autorisations des applications configurées pour un accès toujours autorisé. Les entreprises peuvent désactiver cette fonctionnalité au niveau des paramètres d'entreprise. Sur les plateformes macOS, la fonction nécessite la configuration manuelle des autorisations système d'enregistrement d'écran et d'accessibilité.

Flux de travail pris en charge et limites de fonctionnement

Selon GitHub, l'utilisation de l'ordinateur fonctionne de manière optimale lorsque les invites précisent clairement le résultat visé, les applications concernées et les contraintes opérationnelles. Les cas d'usage suggérés comprennent l'extraction de résumés de notifications depuis des navigateurs web, la mise à jour de diapositives dans des logiciels de présentation ou le transfert d'informations structurées entre plusieurs applications de bureau.

Illustration éditoriale générée par IA ; ce n’est pas une photographie documentaire.

Source: GitHub Copilot can now interact with desktop apps with computer use