GitHub Copilot adiciona prévia do recurso “computer use” para automação de aplicativos desktop

O GitHub lançou uma prévia pública do recurso "computer use" para o GitHub Copilot, permitindo que a ferramenta de IA interaja diretamente com aplicativos desktop no macOS e no Windows. Disponível por meio da CLI do GitHub Copilot e do aplicativo desktop autônomo do GitHub Copilot, a funcionalidade expande a automação de tarefas para além dos editores de código e ambientes de terminal padrão.

Automação de interface gráfica sem APIs personalizadas

A nova capacidade de "computer use" permite que o Copilot realize ações de interface de usuário em nome do desenvolvedor. A ferramenta consegue ler contextos visuais acessíveis e conteúdos da tela, inserir texto, acionar controles, clicar em elementos da interface, arrastar componentes e gerenciar pressionamentos de teclas em fluxos de trabalho de software com várias etapas. Essa funcionalidade tem como foco a automação de tarefas em programas legados e softwares exclusivos de interface gráfica (GUI) que não possuem interfaces de linha de comando nativas, APIs ou integrações com o Model Context Protocol.

Ativação e controles administrativos

Os desenvolvedores podem ativar o recurso na CLI do GitHub Copilot usando o comando /computer on, inspecionar seu status operacional com /computer show ou desativá-lo usando /computer off. No aplicativo desktop do GitHub Copilot, os usuários podem ligar o "computer use" navegando até as Configurações (Settings) e ativando a funcionalidade.

Mecanismos de segurança exigem que o Copilot solicite aprovação explícita antes de assumir o controle de um aplicativo, enquanto os usuários mantêm a capacidade de revisar ou redefinir permissões de programas definidos para sempre permitir acesso. As organizações podem desativar a funcionalidade de "computer use" no nível de configurações empresariais. Em plataformas macOS, o recurso exige a configuração manual das permissões de sistema para Gravação de Tela (Screen Recording) e Acessibilidade (Accessibility).

Fluxos de trabalho suportados e limitações operacionais

De acordo com o GitHub, o recurso "computer use" funciona de maneira mais eficaz quando os comandos (prompts) especificam claramente o resultado pretendido, os aplicativos envolvidos e as restrições operacionais. Os casos de uso sugeridos incluem extrair resumos de notificações de navegadores web, atualizar slides em softwares de apresentação ou transferir informações estruturadas entre vários aplicativos desktop.

Ilustração editorial gerada por IA; não é uma fotografia documental.

Fonte: GitHub Copilot can now interact with desktop apps with computer use