GitHub Copilot añade una vista previa del uso de ordenador para automatizar aplicaciones de escritorio

GitHub ha presentado una vista previa pública de las capacidades de uso de ordenador para GitHub Copilot, lo que permite a la herramienta de inteligencia artificial interactuar directamente con aplicaciones de escritorio en macOS y Windows. Disponible a través de la CLI de GitHub Copilot y de la aplicación independiente de escritorio de GitHub Copilot, esta función amplía la automatización de tareas más allá de los entornos de terminal y editores de código habituales.

Automatización de interfaz gráfica sin API personalizadas

La nueva capacidad de uso de ordenador permite a Copilot ejecutar acciones en la interfaz de usuario en nombre del desarrollador. Puede leer el contexto visual accesible y el contenido en pantalla, introducir texto, activar controles, hacer clic en elementos de la interfaz, arrastrar componentes y gestionar pulsaciones de teclas a lo largo de flujos de trabajo de software multietapa. Esta función está orientada a automatizar tareas en programas heredados y software basado únicamente en interfaz gráfica que carecen de interfaces de línea de comandos nativas, API o integraciones con el protocolo Model Context Protocol.

Activación y controles administrativos

Los desarrolladores pueden activar la función en la CLI de GitHub Copilot mediante el comando /computer on, inspeccionar su estado operativo con /computer show o desactivarla con /computer off. En la aplicación de escritorio de GitHub Copilot, los usuarios pueden activar el uso de ordenador accediendo a Settings y habilitando la opción correspondiente.

Los mecanismos de seguridad exigen que Copilot solicite una aprobación explícita antes de tomar el control de una aplicación, mientras que los usuarios conservan la posibilidad de revisar o restablecer los permisos de aquellas aplicaciones configuradas para permitir siempre el acceso. Las organizaciones pueden desactivar la funcionalidad de uso de ordenador a nivel de ajustes empresariales. En plataformas macOS, la función requiere la configuración manual de los permisos del sistema de Grabación de pantalla y Accesibilidad.

Flujos de trabajo compatibles y limitaciones operativas

Según indica GitHub, el uso de ordenador funciona de manera más eficaz cuando las indicaciones especifican con claridad el resultado deseado, las aplicaciones involucradas y las restricciones operativas. Entre los casos de uso sugeridos se incluye recopilar resúmenes de notificaciones en navegadores web, actualizar diapositivas dentro de software de presentaciones o transferir información estructurada a través de múltiples aplicaciones de escritorio.

Ilustración editorial generada con IA; no es una fotografía documental.

Fuente: GitHub Copilot can now interact with desktop apps with computer use