¿Qué es Session Insights?
Session Insights es una función de análisis que te ayuda a entender qué pasó en tus sesiones con Devin y te proporciona recomendaciones prácticas para mejorar. Cuando activas un análisis, Session Insights examina la sesión para identificar patrones, problemas y oportunidades para mejorar la colaboración. Session Insights está disponible para todas las sesiones completadas de Devin sin costo adicional. Cuando una sesión finaliza, Devin genera automáticamente una clasificación ligera (categoría, lenguajes y herramientas). En las sesiones grandes (L o XL), también se genera automáticamente un análisis completo al cierre. En las sesiones más pequeñas, puedes activar un análisis completo manualmente a través de la interfaz de usuario o mediante la API.Cómo acceder a Session Insights
Paso 1: Completa una sesión
Ejecuta una sesión de Devin y deja que termine. Session Insights funciona mejor con sesiones que tengan resultados claros, tanto si fueron exitosas como si no. Las sesiones demasiado cortas (con menos de un mensaje de Devin) no generarán insights.Paso 2: Abre el modal de Insights
Cuando la sesión termine, abre el menú de la sesión (el botón ⋯ situado en el extremo derecho de la barra superior de la sesión) y selecciona Session insights.En las organizaciones enterprise, la barra superior de la sesión también muestra una etiqueta con el tamaño de la sesión junto al título. Al hacer clic en ella se abre ese mismo modal de Session Insights.
Paso 3: Generar o ver el análisis
En el modal de Session Insights, si todavía no se ha generado un análisis, haz clic en Generate Analysis para iniciar uno. La generación suele tardar aproximadamente un minuto. Si ya existe un análisis, puedes hacer clic en Regenerate para crear un análisis nuevo.
Métricas generales de la sesión
En la parte superior del modal de Session Insights, cuatro métricas clave ofrecen una vista rápida de la sesión:
Uso de ACU
El uso de ACU (Agent Compute Unit) indica cuánta capacidad de cómputo consumió Devin durante la sesión. Un uso de ACU más bajo para una tarea determinada generalmente indica una sesión más eficiente. Utiliza esta métrica para comparar tareas similares e identificar sesiones en las que Devin haya consumido capacidad de cómputo excesiva en reintentos o al explorar caminos sin salida.Mensajes del usuario
El número total de mensajes que enviaste durante la sesión. Un número alto de mensajes puede indicar que Devin necesitó correcciones de rumbo frecuentes, lo que sugiere que el prompt inicial podría ser más detallado. Idealmente, proporciona todo el contexto importante desde el principio para minimizar las idas y vueltas.Tamaño de sesión
El tamaño de sesión es una clasificación (XS, S, M, L, XL) basada en la cantidad de uso que consume una sesión, medida en ACU. El número de mensajes del usuario no afecta al tamaño de sesión. Los umbrales para cada categoría de tamaño son:Para clientes Enterprise, los umbrales de ACU se multiplican por un factor de 10 (por ejemplo, XS ≤ 20 ACUs, S ≤ 50, M ≤ 100, L ≤ 200, XL > 200). En los planes basados en cuota, el tamaño de las sesiones se determina en función de su costo por excedente, convertido a ACU a razón de $2 por ACU.
Categoría
Devin clasifica automáticamente las sesiones en categorías de tareas según el trabajo realizado. La clasificación también incluye metadatos, como las herramientas y frameworks utilizados y los lenguajes de programación involucrados. Las categorías de tareas disponibles son:- Desarrollo de funcionalidades — crear nuevas funcionalidades, componentes o servicios, o implementar nuevas capacidades
- Corrección de bugs — investigar y resolver bugs, errores o comportamientos inesperados
- Revisión de código — revisar, explicar o analizar el código y la arquitectura existentes
- Refactorización y optimización — mejorar la estructura, el rendimiento o la legibilidad del código sin cambiar su comportamiento
- Generación de pruebas — escribir, corregir o mejorar pruebas (unitarias, de integración, e2e, QA) y la infraestructura de pruebas
- Migraciones y actualizaciones — actualizar dependencias o migrar entre frameworks o versiones
- CI/CD y DevOps — trabajo en pipelines de CI/CD, despliegue, monitoreo, alertas y tareas de infraestructura
- Seguridad — corregir vulnerabilidades de seguridad, abordar CVE y mejorar la postura de seguridad
- Datos y automatización — análisis de datos, pipelines, scripting, dashboards y tareas de automatización
- Documentación y contenido — redactar o actualizar documentación, README, changelogs, documentación de API y traducciones
- Investigación y exploración — explorar la viabilidad, investigar soluciones, diseñar arquitectura, redactar RFC y crear prototipos
Pestañas de análisis
La ventana modal de Session Insights contiene tres pestañas, cada una centrada en un aspecto diferente del análisis.Cronología de problemas
- Una etiqueta que describe la categoría del problema
- Una valoración de impacto (alto, medio o bajo)
- Una descripción que explica qué salió mal
Cada evento de la cronología tiene un título y una descripción. Los eventos vinculados a problemas específicos aparecen en negrita. Usa la cronología para entender el flujo de la sesión: dónde Devin avanzó, dónde encontró obstáculos y cómo se recuperó.
Comentarios accionables
- Se añadió contexto o restricciones que faltaban en el original
- Se aclararon instrucciones ambiguas
- Se incluyeron criterios de éxito o requisitos específicos
- Se adelantó información importante que Devin necesitaba desde el principio
- Machine setup: cambios de entorno o herramientas (p. ej., instalar dependencias que faltan, configurar el acceso)
- Repo config: cambios a nivel de repositorio (p. ej., agregar scripts de compilación, actualizar archivos de configuración)
Uso de Knowledge
Cómo interpretar patrones habituales de insights
Alto uso de ACU con pocos mensajes de usuario
Esto suele significar que Devin trabajó de forma autónoma pero tuvo dificultades con la tarea. Revisa el Issue Timeline para identificar errores recurrentes o reintentos. Causas habituales:- Falta de configuración del entorno (dependencias, API keys, credenciales de acceso)
- Requisitos ambiguos que llevaron a enfoques de prueba y error
- Tareas complejas que se beneficiarían de dividirlas en subtareas
Muchos mensajes de usuario con bajo uso de ACU
Esto sugiere interrupciones frecuentes o correcciones de rumbo. Devin usó pocos recursos de cómputo, pero necesitó orientación constante. Causas comunes:- Prompt inicial poco definido
- Devin malinterpretó el alcance o los requisitos de la tarea
- La tarea requería conocimientos específicos del dominio que no estaban disponibles para Devin
Knowledge engañosa marcada
Cuando la pestaña Knowledge Usage muestra elementos de Knowledge engañosos, esos elementos pueden contener instrucciones obsoletas o recomendaciones demasiado generales que entren en conflicto con tu base de código actual. Causas comunes:- Knowledge se redactó para una versión anterior de tu base de código
- Knowledge es demasiado general y se obtiene en contextos irrelevantes
- Knowledge entra en conflicto con otros elementos de Knowledge
Sesión clasificada en la categoría incorrecta
Si la categoría que se muestra en el resumen no coincide con lo que pretendías, probablemente significa que Devin interpretó tu solicitud de forma diferente. Causas frecuentes:- El prompt era ambiguo respecto al objetivo
- La descripción de la tarea se centraba en un aspecto pero la intención era distinta (p. ej., describir un error cuando querías solicitar una funcionalidad nueva)
La cronología muestra problemas repetidos
Cuando el mismo tipo de problema aparece varias veces en la cronología, es probable que Devin se haya quedado atascado en un bucle de reintentos. Causas comunes:- Un fallo persistente de compilación o de pruebas que Devin no pudo resolver
- Un problema de entorno (herramienta que falta, versión incorrecta, error de permisos)
- Un malentendido fundamental sobre el enfoque necesario
Mejores prácticas
Revisa Insights después de sesiones complejas
Adquiere el hábito de consultar Session Insights después de sesiones importantes o complejas. Los patrones que identifiques te ayudarán a ser más eficaz con el tiempo.Aplicar mejoras a los prompts de forma iterativa
Utiliza los prompts mejorados sugeridos como punto de partida para tareas futuras similares. Con el tiempo, desarrollarás una biblioteca de patrones de prompts eficaces. Guarda tus mejores prompts como Playbooks para flujos de trabajo repetibles.Mantén tu base de Knowledge
Revisa periódicamente la pestaña Knowledge Usage para que tus elementos de Knowledge se mantengan precisos y relevantes. Elimina o actualiza de inmediato cualquier elemento de Knowledge incorrecto o engañoso: un solo elemento de Knowledge desactualizado puede perjudicar la calidad de las sesiones de todo tu equipo.Aborda los problemas recurrentes mediante la configuración de tu máquina
Si los Action Items recomiendan sistemáticamente los mismos cambios de entorno o configuración, abórdalos de manera proactiva. Configurar correctamente la Configuración de Environment evita que se repitan los mismos problemas en todas las sesiones futuras.Comparte información clave con tu equipo
Session Insights puede revelar patrones que pueden beneficiar a toda tu organización. Añade los aprendizajes clave como Skills para que tus compañeros de equipo puedan aprovecharlos.Mantén las sesiones enfocadas
Si tus sesiones se clasifican sistemáticamente como L o XL, divide las tareas grandes en sesiones más pequeñas y más enfocadas. Las sesiones más pequeñas suelen producir mejores resultados y son más fáciles de analizar e iterar sobre ellas.Solución de problemas
No hay Insights disponibles
Si Session Insights no está disponible para una sesión, puede deberse a lo siguiente:- El análisis aún no se ha activado — haz clic en Generate Analysis en el modal de Session Insights o usa el endpoint de la API para generarlo
- La sesión sigue en curso
- La sesión fue demasiado corta para generar un análisis significativo (menos de un mensaje de Devin)
- Se produjo un error durante el proceso de análisis — intenta hacer clic en Regenerate