Saltar al contenido principal
Devin puede probar tu aplicación de extremo a extremo después de crear un PR: ejecutando la aplicación localmente, interactuando con ella a través del navegador y grabando un vídeo de todo el proceso. La grabación se envía directamente como archivo adjunto para que puedas verificar que los cambios funcionan sin tener que hacer pull tú mismo de la rama.

Cómo funciona

Después de que Devin crea un PR, puede entrar en modo de pruebas: un flujo de trabajo estructurado donde Devin:
  1. Configura el entorno: instala dependencias, inicia servicios, inicia sesión en las cuentas necesarias
  2. Planifica la prueba: lee el diff y el código base para crear un plan de prueba mínimo y enfocado
  3. Graba un video: inicia una grabación de pantalla, ejecuta el plan de prueba en el escritorio y anota los momentos clave
  4. Te envía el resultado: detiene la grabación, procesa el video y te lo envía como archivo adjunto en un mensaje
El objetivo es una grabación breve que una persona que revisa código mire y piense de inmediato “sí, funciona”, y luego fusione el PR.

Iniciar una prueba

Después de crear un PR, Devin se ofrecerá a probar la aplicación por ti. Haz clic en Test the app para que Devin inicie el flujo de trabajo de pruebas.
Botón Test the app
Próximamente habrá una configuración para ejecutar automáticamente las pruebas después de crear un PR, sin necesidad de hacer clic en el botón.
También puedes pedirle a Devin que haga pruebas en cualquier momento durante una sesión; por ejemplo: “prueba los cambios que acabas de hacer y envíame un video” o “verifica que la página de inicio de sesión funciona y envíame un video”.

El flujo de trabajo de pruebas

Cuando Devin pasa al modo de pruebas, sigue un proceso estructurado de tres fases:

Fase 1: Configuración

Antes de que comience cualquier prueba, Devin prepara el entorno:
  • Lee el PR y la base de código para entender qué se debe probar
  • Comprueba si hay skills relevantes en el repo (en .agents/skills/) y los sigue si los encuentra
  • Inicia sesión en los servicios necesarios y resuelve problemas de acceso
  • Comprueba los entornos disponibles (staging, dev, local) y verifica la conectividad
  • Solicita los secretos que falten si es necesario — Devin pedirá las credenciales por adelantado y las guardará para sesiones futuras
Completar Repo Setup con anticipación hace que las pruebas sean mucho más rápidas — Devin puede omitir la instalación de dependencias, la configuración de servicios y el inicio de sesión al comienzo de cada sesión.
Cuando Devin solicita credenciales durante las pruebas, las guarda como secrets para futuras sesiones, por lo que solo necesitas proporcionarlas una vez.

Fase 2: Planificación de pruebas

Una vez completada la configuración, Devin redacta un breve plan de pruebas:
  • Identifica el flujo de extremo a extremo más importante que demuestre que la funcionalidad funciona correctamente
  • Escribe pasos concretos y no ambiguos (por ejemplo, «haz clic en el botón etiquetado Save en la parte superior derecha», no «encuentra la opción de guardar»)
  • Basa el plan en código real: recorre el frontend para encontrar la ruta exacta en la interfaz de usuario hasta la funcionalidad
  • Solo agrega flujos de prueba adicionales si hay un caso límite realmente crítico
Devin te envía el plan como un mensaje corto antes de ejecutarlo, para que puedas corregir el rumbo si es necesario.

Fase 3: Grabación y ejecución

Una vez que el CI está en verde y se han atendido todos los comentarios de revisión, Devin ejecuta la prueba:
  1. Inicia la grabación — captura la pantalla completa
  2. Anota momentos clave — añade etiquetas de texto en puntos importantes (p. ej., «Probando flujo de inicio de sesión», «Funcionalidad verificada») que aparecen en el video final
  3. Ejecuta el plan de prueba — interactúa con la aplicación a través del navegador, siguiendo cada paso
  4. Detiene la grabación — el video se procesa automáticamente con anotaciones y ajustes de velocidad alrededor de los momentos clave
  5. Envía el video — adjunta la grabación a un mensaje para que puedas reproducirla directamente

Detalles de las grabaciones de vídeo

Las grabaciones de pantalla de Devin tienen varias funciones que las hacen útiles para su revisión:
  • Anotaciones — Aparecen etiquetas de texto en momentos clave del vídeo, marcando lo que Devin está probando. El vídeo se ralentiza alrededor de los puntos anotados para que puedas ver los detalles.
  • Zoom automático — El vídeo hace zoom automáticamente hacia donde Devin hace clic e interactúa, desplazándose suavemente para seguir el cursor y alejándose durante los momentos de inactividad.
  • Procesamiento automático — Las grabaciones sin procesar se tratan para resaltar las acciones importantes y comprimir el tiempo de inactividad.
  • Enviados como archivos adjuntos — Los vídeos se adjuntan a los mensajes de tu sesión y se pueden ver directamente en la aplicación web de Devin o en Slack.
Las grabaciones están diseñadas para ser breves y enfocadas: una verificación rápida con un único flujo principal de extremo a extremo que demuestra que la funcionalidad funciona correctamente. Si necesitas una cobertura más exhaustiva, usa tus suites de pruebas y CI existentes en lugar de las grabaciones visuales.

Sugerencias de Skills

Después de probar tu app, Devin anota lo que intentó y lo que funcionó — pasos de configuración, configuración del entorno, cómo iniciar la app — y propone crear o actualizar un Skill mediante un PR. Puedes fusionar el PR tal como está o ajustarlo para perfeccionar las instrucciones. Con el tiempo, esto significa que Devin mejora al probar tu proyecto: los aprendizajes de cada sesión se basan en los de la anterior. También puedes pedirle a Devin que haga esto en cualquier momento (por ejemplo, «crea un Skill sobre cómo probar esta app»). Consulta la guía de Skills para ver todos los detalles sobre cómo crear y gestionar Skills. Aquí tienes un ejemplo de un Skill de pruebas:
---
name: test-before-pr
description: Run the local dev server and verify pages before opening any PR that touches frontend code.
---

## Setup

1. Install dependencies: `npm install`
2. Start the database: `docker-compose up -d postgres`
3. Run migrations: `npx prisma migrate dev`
4. Start the dev server: `npm run dev`
5. Wait for "Ready on http://localhost:3000"

## Verify

1. Read the git diff to identify which pages changed
2. Open each affected page in the browser
3. Check for: console errors, layout issues, broken links
4. Screenshot each page at desktop (1280px) and mobile (375px) widths

## Before Opening the PR

1. Run `npm run lint` and fix any issues
2. Run `npm test` and confirm all tests pass
3. Include screenshots in the PR description
Cuando escribas o mejores habilidades, sé específico sobre qué hay que verificar:

Buenas instrucciones

  • “Prueba el flujo de compra: añade un artículo al carrito, ve al checkout, completa el formulario y verifica que la página de confirmación del pedido muestre el total correcto”
  • “Verifica que el interruptor de modo oscuro funcione en la página de configuración — el texto debe ser legible y ningún elemento debe desaparecer”
  • “Prueba que la exportación a CSV descargue un archivo con los encabezados correctos”

Instrucciones vagas

  • “Prueba todo”
  • “Asegúrate de que la aplicación funcione”
  • “Comprueba que nada falle”

Solución de problemas

Devin no se ofreció a hacer pruebas

El modo de pruebas está disponible en las sesiones en las que Devin crea una pull request (PR) con cambios de código. Si Devin no se ofreció, siempre puedes pedírselo directamente: «¿Puedes probar estos cambios y grabar un vídeo?»

Error en la grabación

Si la grabación no llega a procesarse, Devin te lo hará saber. Entre las causas más comunes están que la aplicación se bloquee durante las pruebas o que caduque el tiempo de espera del procesamiento del vídeo. Devin puede volver a intentarlo; solo pídele “Try recording again.” Los archivos de las grabaciones se almacenan en la máquina de Devin, y puede enviártelos en cualquier momento si se lo pides.

Devin no puede acceder a la aplicación

Si Devin no puede acceder a tu aplicación en las pruebas (por ejemplo, por pantallas de inicio de sesión o requisitos de VPN), te pedirá ayuda. Proporciona credenciales usando secrets, usa el Interactive Browser para completar manualmente los pasos de autenticación o completa el Repo Setup para preconfigurar el acceso y evitar que Devin se encuentre con estos problemas.