Saltar al contenido principal

¿Qué es Session Insights?

Session Insights es una función de análisis que te ayuda a entender qué pasó en tus sesiones con Devin y te proporciona recomendaciones prácticas para mejorar. Después de que Devin complete una tarea, Session Insights analiza la sesión para identificar patrones, problemas y oportunidades para mejorar la colaboración. Session Insights está disponible para todas las sesiones completadas de Devin sin costo adicional.

Cómo acceder a Session Insights

Paso 1: Completa una sesión

Ejecuta una sesión de Devin y deja que termine. Session Insights funciona mejor con sesiones que tengan resultados claros, tanto si fueron exitosas como si no. Las sesiones demasiado cortas (con menos de un mensaje de Devin) no generarán insights.

Paso 2: Abre el modal de Insights

Una vez que tu sesión haya terminado, busca el botón Session Insights en la barra superior de tu sesión.
Botón Session Insights

Paso 3: Generar o ver el análisis

Haz clic en el botón para abrir el modal Session Insights. Si todavía no se ha generado un análisis, haz clic en Generate Analysis para iniciar uno. La generación suele tardar aproximadamente un minuto. Si ya existe un análisis, puedes hacer clic en Regenerate para crear un análisis nuevo.
Modal de análisis de sesión

Métricas generales de la sesión

En la parte superior del modal de Session Insights, cuatro métricas clave ofrecen una vista rápida de la sesión:
Tarjetas de Session Insights

Uso de ACU

El uso de ACU (AI Compute Unit) indica cuánta capacidad de cómputo consumió Devin durante la sesión. Un uso de ACU más bajo para una tarea determinada generalmente indica una sesión más eficiente. Utiliza esta métrica para comparar tareas similares e identificar sesiones en las que Devin haya consumido capacidad de cómputo excesiva en reintentos o al explorar caminos sin salida.

Mensajes del usuario

El número total de mensajes que enviaste durante la sesión. Un número alto de mensajes puede indicar que Devin necesitó correcciones de rumbo frecuentes, lo que sugiere que el prompt inicial podría ser más detallado. Idealmente, proporciona todo el contexto importante desde el principio para minimizar las idas y vueltas.

Session Size

El tamaño de la sesión es una clasificación compuesta (XS, S, M, L, XL) basada tanto en el uso de ACU como en el número de mensajes del usuario. Un mayor uso de ACU o un mayor número de mensajes del usuario puede incrementar el tamaño de la sesión. Las sesiones clasificadas como L o XL se marcan como poco saludables, lo que significa que es probable que Devin haya encontrado problemas importantes o que el alcance de la tarea fuera demasiado amplio para una sola sesión. Considera dividir las tareas grandes en sesiones más pequeñas y enfocadas.
Para mantener las sesiones pequeñas y eficientes, proporciona toda la información importante desde el inicio en el mensaje inicial.

Categoría

Devin clasifica automáticamente las sesiones en categorías de tareas:
  • Desarrollo de funcionalidades — creación de nueva funcionalidad
  • Corrección de errores (Bug Fixing) — diagnóstico y resolución de errores
  • Revisión y análisis de código — revisión o análisis de código existente
  • Refactorización y optimización — mejora de la estructura o el rendimiento del código
  • Generación de pruebas — creación de pruebas unitarias o suites de pruebas
  • Migraciones y actualizaciones — actualización de dependencias o migración de sistemas
  • CI/CD y DevOps — trabajo con pipelines, despliegue o infraestructura
  • Calidad de código y seguridad — resolución de problemas de linting, seguridad o calidad
  • Datos y automatización — procesamiento de datos o scripts de automatización
Esta clasificación te ayuda a comprender cómo Devin interpretó tu tarea y puede revelar desajustes entre lo que pretendías y en lo que Devin trabajó.

Pestañas de análisis

La ventana modal de Session Insights contiene tres pestañas, cada una centrada en un aspecto diferente del análisis.

Cronología de problemas

Session Insights Timeline
La pestaña Cronología de problemas contiene dos secciones: Problemas detectados enumera los problemas que Devin encontró durante la sesión. Cada problema incluye:
  • Una etiqueta que describe la categoría del problema
  • Una valoración de impacto (alto, medio o bajo)
  • Una descripción que explica qué salió mal
Los problemas se agrupan por etiqueta y nivel de impacto, lo que facilita ver patrones. Los tipos de problemas más comunes incluyen errores de compilación, problemas de configuración del entorno, suposiciones incorrectas sobre la base de código y ambigüedad en el alcance. Cronología ofrece una vista cronológica codificada por colores de los eventos clave durante la sesión:
ColorSignificado
RojoProblema de alto impacto
AmarilloProblema de impacto medio
Blanco/GrisEvento significativo
VerdeValor aportado
Cada evento de la cronología tiene un título y una descripción. Los eventos vinculados a problemas específicos aparecen en negrita. Usa la cronología para entender el flujo de la sesión: dónde Devin avanzó, dónde encontró obstáculos y cómo se recuperó.

Comentarios accionables

Session Insights Actionable Feedback
La pestaña de Comentarios accionables te ayuda a mejorar futuras sesiones de dos maneras: Improved Prompt muestra una versión reescrita de tu prompt original con mejoras específicas. El prompt sugerido se muestra con resaltado interactivo: pasa el cursor sobre una sección subrayada para ver qué cambió y por qué. Una lista numerada de Cambios realizados debajo del prompt explica cada modificación:
  • Se añadió contexto o restricciones que faltaban en el original
  • Se aclararon instrucciones ambiguas
  • Se incluyeron criterios de éxito o requisitos específicos
  • Se adelantó información importante que Devin necesitaba desde el principio
Haz clic en Start new session para iniciar una nueva sesión de Devin prellenada con el prompt mejorado. Action Items enumera cambios de configuración recomendados para mejorar futuras sesiones. Estos son pasos concretos que puedes realizar en tu configuración de máquina o en la configuración de Knowledge:
  • Machine setup: cambios de entorno o herramientas (p. ej., instalar dependencias que faltan, configurar el acceso)
  • Repo config: cambios a nivel de repositorio (p. ej., agregar scripts de compilación, actualizar archivos de configuración)
Haz clic en Go to machine para ir directamente a la configuración de tu máquina y aplicar los cambios sugeridos.

Uso de Knowledge

Uso de Knowledge en Session Insights
La pestaña Uso de Knowledge muestra cómo se utilizaron tus elementos de Knowledge durante la sesión: Knowledge útil enumera los elementos de Knowledge que ayudaron a Devin a completar la tarea con éxito, con una explicación de cómo se aplicó cada pieza de Knowledge. Knowledge engañoso enumera los elementos de Knowledge que confundieron a Devin o que contenían información desactualizada o incorrecta. Cada entrada explica por qué ese Knowledge resultó perjudicial y te ayuda a identificar los elementos que necesitan actualización o eliminación. Haz clic en cualquier elemento de Knowledge para ir directamente a él y editarlo. Revisar esta pestaña con regularidad te ayuda a mantener una base de conocimiento de alta calidad.

Cómo interpretar patrones habituales de insights

Alto uso de ACU con pocos mensajes de usuario

Esto suele significar que Devin trabajó de forma autónoma pero tuvo dificultades con la tarea. Revisa el Issue Timeline para identificar errores recurrentes o reintentos. Causas habituales:
  • Falta de configuración del entorno (dependencias, API keys, credenciales de acceso)
  • Requisitos ambiguos que llevaron a enfoques de prueba y error
  • Tareas complejas que se beneficiarían de dividirlas en subtareas
Qué hacer: Revisa el Improved Prompt para obtener sugerencias sobre cómo añadir contexto. Consulta Action Items para cambios de configuración en la máquina o el repositorio.

Muchos mensajes de usuario con bajo uso de ACU

Esto sugiere interrupciones frecuentes o correcciones de rumbo. Devin usó pocos recursos de cómputo, pero necesitó orientación constante. Causas comunes:
  • Prompt inicial poco definido
  • Devin malinterpretó el alcance o los requisitos de la tarea
  • La tarea requería conocimientos específicos del dominio que no estaban disponibles para Devin
Qué hacer: Usa el Improved Prompt como plantilla para tareas similares en el futuro. Agrega detalles relevantes a tu Knowledge para que Devin pueda acceder a ellos automáticamente.

Knowledge engañosa marcada

Cuando la pestaña Knowledge Usage muestra elementos de Knowledge engañosos, esos elementos pueden contener instrucciones obsoletas o recomendaciones demasiado generales que entren en conflicto con tu base de código actual. Causas comunes:
  • Knowledge se redactó para una versión anterior de tu base de código
  • Knowledge es demasiado general y se obtiene en contextos irrelevantes
  • Knowledge entra en conflicto con otros elementos de Knowledge
Qué hacer: Actualiza o elimina los elementos de Knowledge marcados. Haz que las descripciones de los activadores de Knowledge sean más específicas para evitar recuperaciones irrelevantes.

Sesión clasificada en la categoría incorrecta

Si la categoría que se muestra en el resumen no coincide con lo que pretendías, probablemente significa que Devin interpretó tu solicitud de forma diferente. Causas frecuentes:
  • El prompt era ambiguo respecto al objetivo
  • La descripción de la tarea se centraba en un aspecto pero la intención era distinta (p. ej., describir un error cuando querías solicitar una funcionalidad nueva)
Qué hacer: Compara la categoría con tu intención. Usa el Improved Prompt para ver cómo el análisis recomienda aclarar el objetivo de la tarea.

La línea de tiempo muestra problemas repetidos

Cuando el mismo tipo de problema aparece varias veces en la línea de tiempo, es probable que Devin se haya quedado atascado en un bucle de reintentos. Causas comunes:
  • Un fallo persistente de compilación o de pruebas que Devin no pudo resolver
  • Un problema de entorno (herramienta que falta, versión incorrecta, error de permisos)
  • Un malentendido fundamental sobre el enfoque necesario
Qué hacer: Consulta los Action Items para ver correcciones de entorno. Considera agregar un elemento de Knowledge que explique el enfoque correcto para este tipo de tarea.

Mejores prácticas

Revisa Insights después de sesiones complejas

Adquiere el hábito de consultar Session Insights después de sesiones importantes o complejas. Los patrones que identifiques te ayudarán a ser más eficaz con el tiempo.

Aplicar mejoras a los prompts de forma iterativa

Utiliza los prompts mejorados sugeridos como punto de partida para tareas futuras similares. Con el tiempo, desarrollarás una biblioteca de patrones de prompts eficaces. Guarda tus mejores prompts como Playbooks para flujos de trabajo repetibles.

Mantén tu base de Knowledge

Revisa periódicamente la pestaña Knowledge Usage para que tus elementos de Knowledge se mantengan precisos y relevantes. Elimina o actualiza de inmediato cualquier elemento de Knowledge incorrecto o engañoso: un solo elemento de Knowledge desactualizado puede perjudicar la calidad de las sesiones de todo tu equipo.

Aborda los problemas recurrentes mediante la configuración de tu máquina

Si los Action Items recomiendan sistemáticamente los mismos cambios de entorno o configuración, abórdalos de manera proactiva. Configurar correctamente la configuración de tu máquina evita que se repitan los mismos problemas en todas las sesiones futuras.

Comparte información clave con tu equipo

Session Insights puede revelar patrones que pueden beneficiar a toda tu organización. Añade los aprendizajes clave a Knowledge para que tus compañeros de equipo puedan aprovecharlos.

Mantén las sesiones enfocadas

Si tus sesiones se clasifican sistemáticamente como L o XL, divide las tareas grandes en sesiones más pequeñas y más enfocadas. Las sesiones más pequeñas suelen producir mejores resultados y son más fáciles de analizar e iterar sobre ellas.

Solución de problemas

No hay Insights disponibles

Si Session Insights no está disponible para una sesión, podría deberse a lo siguiente:
  • La sesión sigue en curso
  • La sesión fue demasiado corta para generar un análisis significativo (menos de un mensaje de Devin)
  • Se produjo un error durante el proceso de análisis — intenta hacer clic en Regenerate

El análisis tarda demasiado

La generación del análisis normalmente se completa en menos de un minuto. Si lleva más de cinco minutos, es posible que se haya agotado el tiempo de espera del proceso. Cierra y vuelve a abrir la ventana modal de Session Insights y haz clic en Regenerate.

Investigar con Devin

En los planes Team y Enterprise, los usuarios con los permisos necesarios verán un botón Investigate with Devin en la ventana modal Session Insights. Al hacer clic en este botón, se abre una nueva sesión de Devin en modo avanzado, preconfigurada para analizar en profundidad la sesión original. Utilízala para sesiones en las que el análisis automatizado por sí solo no explica completamente lo que ocurrió.