Cómo Devin utiliza un entorno de escritorio completo para interactuar con interfaces gráficas de usuario (GUI), probar aplicaciones y verificar visualmente los cambios
Devin tiene acceso a un entorno de escritorio Linux completo, no solo a un navegador. Puede mover el ratón, hacer clic en elementos de la interfaz de usuario, escribir con el teclado, tomar capturas de pantalla e interactuar con cualquier aplicación que se ejecute en un escritorio Linux. Esta capacidad se llama Computer Use, y le permite a Devin probar e interactuar con tu software de la misma manera que lo haría una persona.
Computer Use le da a Devin acceso directo a un entorno de escritorio gráfico con ratón y teclado. Esto va más allá de la automatización del navegador: Devin puede interactuar con cualquier aplicación que se muestre en pantalla, incluidas:
Aplicaciones web en Chrome (hacer clic en botones, completar formularios, navegar por páginas)
Aplicaciones de escritorio que se ejecutan en Linux (aplicaciones Electron, GUI nativas, IDE)
Interfaces de terminal (programas TUI, CLI interactivas)
Cualquier interfaz visual que se pueda mostrar en el escritorio
Devin ve la pantalla como una de 1024×768 píxeles y puede realizar acciones como hacer clic, escribir, desplazarse, arrastrar y tomar capturas de pantalla, igual que una persona sentada frente al ordenador.
Una vez habilitado, Devin usará su entorno de escritorio durante las sesiones, en particular durante los flujos de trabajo de pruebas en los que necesite interactuar con la interfaz de usuario de tu aplicación.
Desktop mode está disponible en todos los planes. Solo los administradores de la organización pueden cambiar esta opción.
Cuando Devin crea un PR, ofrece un botón Test the app. Al hacer clic se ejecuta el flujo de pruebas completo: Devin inicia tu aplicación, usa Computer Use para interactuar con el escritorio, prueba los cambios y te envía una grabación.
Puedes pedirle a Devin que realice pruebas en cualquier momento durante una sesión; no necesitas ninguna sintaxis especial, solo lenguaje natural. Por ejemplo:
“Prueba los cambios que acabas de hacer y envíame una grabación”
“Abre la aplicación en el navegador y verifica que la página de inicio de sesión funcione”
“Inicia la aplicación de escritorio y comprueba que el nuevo elemento del menú aparezca”
Devin decide de forma autónoma cuándo la interacción con el escritorio es la herramienta adecuada para la tarea. Si una tarea implica hacer clic en elementos de la interfaz, navegar por una aplicación, completar formularios o verificar visualmente algo, Devin usará Computer Use sin que se le pida explícitamente. No necesitas decirle a Devin cómo interactuar con la pantalla: solo dile qué debe hacer.
Devin puede iniciar tu aplicación localmente, abrirla en Chrome y recorrer flujos de usuario completos — inicio de sesión, navegación, envío de formularios, proceso de compra — para comprobar que todo funciona como se espera.
Cualquier aplicación que se ejecute en Linux se puede probar. Devin puede iniciar la aplicación, interactuar con su interfaz gráfica (GUI) y verificar su comportamiento. Esto incluye aplicaciones Electron, aplicaciones Java Swing/AWT, aplicaciones GTK/Qt y más.
Devin puede tomar capturas de pantalla en puntos específicos durante las pruebas para verificar que los diseños, estilos y elementos de la interfaz de usuario tengan el aspecto correcto. Puede comparar lo que ve en pantalla con el comportamiento esperado y detectar problemas visuales.
Interactuar con flujos de interfaz de usuario complejos
Algunos escenarios de prueba requieren interacciones de varios pasos en la interfaz gráfica de usuario (GUI) que van más allá de simples llamadas a APIs o de la automatización del navegador — cosas como arrastrar y soltar, menús contextuales, atajos de teclado o navegación entre múltiples ventanas. Computer Use se encarga de todo esto.
Devin puede grabar su pantalla mientras realiza pruebas, anotando momentos clave en el vídeo. Luego, la grabación se procesa y se te envía para que puedas ver a Devin interactuar con tu aplicación y confirmar que los cambios funcionan. Consulta Pruebas y grabaciones de vídeo para obtener más detalles sobre el flujo de trabajo de grabación.
Cuando Devin usa Computer Use durante una sesión, sigue este proceso:
Toma una captura de pantalla de la pantalla actual para entender qué hay en pantalla
Identifica elementos interactivos — botones, campos de texto, menús, enlaces — y decide con qué interactuar
Realiza una acción — hace clic, escribe, desplaza la pantalla o usa atajos de teclado
Espera y observa — toma otra captura de pantalla para ver el resultado de la acción
Repite hasta que la tarea esté completa
Este ciclo de captura de pantalla y acción permite que Devin se adapte a lo que haya en la pantalla, manejando contenido dinámico, estados de carga, ventanas emergentes y cuadros de diálogo inesperados tal como lo haría una persona.
Computer Use es la base del flujo de trabajo de Testing & Recordings de Devin. Cuando Devin prueba tu aplicación después de crear una pull request (PR):
Configuración — Devin instala las dependencias, inicia tu aplicación y prepara el entorno
Planificación de pruebas — Devin lee el diff y crea un plan de pruebas específico
Ejecución mediante Computer Use — Devin usa su escritorio para interactuar con tu aplicación, siguiendo el plan de pruebas paso a paso
Grabación — Todo el proceso se captura en video con anotaciones y luego se te envía para revisión
La diferencia clave entre Computer Use y el flujo de trabajo de Testing & Recordings es el alcance: Computer Use es la capacidad subyacente (interacción con el escritorio), mientras que Testing & Recordings es el flujo de trabajo estructurado que utiliza Computer Use para probar tus PR y proporcionarte pruebas en video.
“Abre la aplicación, haz clic en el botón de Configuración en la esquina superior derecha, activa el modo oscuro y comprueba que todo el texto siga siendo legible”
“Inicia la aplicación de Electron, crea un nuevo documento, escribe algo de texto y comprueba que se guarde cuando cierres la ventana”
Dile a Devin qué significa tener éxito
“El panel debe mostrar tres gráficos sin mensajes de error”
“Después de enviar el formulario, debe aparecer un banner verde de éxito en la parte superior de la página”
Si tu aplicación requiere autenticación, configura los secrets con anticipación para que Devin pueda iniciar sesión sin pedirte credenciales durante la sesión. Completa la configuración del repositorio para asegurarte de que Devin pueda instalar las dependencias e iniciar tu aplicación sin problemas.
Para las aplicaciones que pruebas con frecuencia, crea una Skill que le indique a Devin exactamente cómo configurar y probar tu aplicación. Esto ahorra tiempo en sesiones repetidas y garantiza pruebas consistentes. Consulta Testing & Video Recordings — Skill Suggestions para ver ejemplos.
Devin no puede encontrar un elemento de la interfaz de usuario
Si Devin no puede localizar un botón o elemento en pantalla, intenta ser más específico en tus instrucciones: describe la ubicación del elemento, su etiqueta o el contexto que lo rodea. Por ejemplo, «haz clic en el botón azul Save en la esquina inferior derecha del modal» es mejor que «haz clic en Save».
La aplicación no se renderiza en el escritorio de Devin
Devin se ejecuta en un entorno Linux. Si tu aplicación solo se ejecuta en macOS o Windows, no estará disponible para pruebas de escritorio. Las aplicaciones web funcionan independientemente de la plataforma, ya que se ejecutan en Chrome. Para las aplicaciones de escritorio, asegúrate de que tengan un build para Linux.
Si Devin interactúa de forma incorrecta con tu UI, proporciona una entrada de Skill o Knowledge con instrucciones de navegación específicas para tu aplicación. Describir los pasos exactos (“haz clic en el menú de hamburguesa en la esquina superior izquierda y luego haz clic en Settings en el menú desplegable”) reduce la ambigüedad.
