O que é o Session Insights?
Session Insights é um recurso de análise que ajuda você a entender o que aconteceu nas suas sessões com o Devin e fornece recomendações práticas para melhorias. Depois que o Devin conclui uma tarefa, o Session Insights analisa a sessão para identificar padrões, problemas e oportunidades de melhorar a colaboração.
Session Insights está disponível para todas as sessões concluídas do Devin sem custo adicional.
Como acessar o Session Insights
Etapa 1: Concluir uma sessão
Inicie uma sessão com o Devin e deixe-a ser concluída. O Session Insights funciona melhor com sessões que têm resultados claros, sejam eles bem-sucedidos ou não. Sessões muito curtas (com menos de uma mensagem do Devin) não gerarão insights.
Etapa 2: Abrir o modal de Session Insights
Depois que sua sessão for concluída, procure o botão Session Insights na barra superior da sua sessão.
Etapa 3: Gerar ou visualizar a análise
Clique no botão para abrir o modal Session Insights. Se nenhuma análise tiver sido gerada ainda, clique em Generate Analysis para iniciar uma. A geração normalmente leva cerca de um minuto. Se uma análise já existir, você pode clicar em Regenerate para criar uma nova análise.
Métricas de Visão Geral da Sessão
Na parte superior do modal Session Insights, quatro métricas principais oferecem uma visão rápida da sessão:
O uso de ACU (AI Compute Unit) reflete quanto poder computacional o Devin consumiu durante a sessão. Um consumo de ACU menor para uma determinada tarefa geralmente indica uma sessão mais eficiente. Use essa métrica para comparar tarefas semelhantes e identificar sessões em que o Devin possa ter gasto poder computacional excessivo em tentativas repetidas ou caminhos sem saída.
O número total de mensagens que você enviou durante a sessão. Um número alto de mensagens pode indicar que o Devin precisou de ajustes frequentes, sugerindo que o prompt inicial poderia ser mais detalhado. Idealmente, forneça todo o contexto importante desde o início para minimizar idas e vindas.
O tamanho da sessão é uma classificação combinada (XS, S, M, L, XL) com base tanto no uso de ACU quanto na quantidade de mensagens do usuário. Um uso maior de ACU ou um número maior de mensagens do usuário pode aumentar o tamanho da sessão. Sessões classificadas como L ou XL são sinalizadas como problemáticas, o que significa que o Devin provavelmente encontrou problemas significativos ou que o escopo da tarefa era amplo demais para uma única sessão. Considere dividir tarefas grandes em sessões menores e mais focadas.
Para manter as sessões pequenas e eficientes, forneça todas as informações importantes já no prompt inicial.
O Devin classifica automaticamente as sessões em categorias de tarefa:
- Feature Development — criação de novas funcionalidades
- Bug Fixing — diagnóstico e correção de bugs
- Code Review & Analysis — revisão ou análise de código existente
- Refactoring & Optimization — melhoria da estrutura ou do desempenho do código
- Test Generation — criação de testes unitários ou suítes de teste
- Migrations & Upgrades — atualização de dependências ou migração de sistemas
- CI/CD & DevOps — trabalhar com pipelines, implantação ou infraestrutura
- Code Quality & Security — tratamento de problemas de linting, segurança ou qualidade
- Data & Automation — processamento de dados ou scripts de automação
Essa classificação ajuda você a entender como o Devin interpretou sua tarefa e pode revelar desalinhamentos entre o que você pretendia e o que o Devin executou.
O modal Session Insights contém três abas, cada uma voltada a um aspecto diferente da análise.
A aba Linha do tempo de issues contém duas seções:
Issues detectadas lista problemas que Devin encontrou durante a sessão. Cada issue inclui:
- Um rótulo descrevendo a categoria da issue
- Uma classificação de impacto (alto, médio ou baixo)
- Uma descrição explicando o que deu errado
As issues são agrupadas por rótulo e nível de impacto, o que facilita a identificação de padrões. Tipos comuns de issues incluem falhas de build, problemas de configuração de ambiente, suposições incorretas sobre a base de código e ambiguidade de escopo.
Linha do tempo fornece uma visualização cronológica e com código de cores dos principais eventos durante a sessão:
| Color | Meaning |
|---|
| Red | Issue de alto impacto |
| Yellow | Issue de impacto médio |
| White/Gray | Evento significativo |
| Green | Valor gerado |
Cada evento na linha do tempo tem um título e uma descrição. Eventos vinculados a issues específicas aparecem em negrito. Use a linha do tempo para entender o fluxo da sessão — onde Devin fez progresso, onde encontrou obstáculos e como se recuperou.
A aba Feedback acionável ajuda você a melhorar sessões futuras de duas maneiras:
Prompt aprimorado mostra uma versão reescrita do seu prompt original com melhorias específicas. O prompt sugerido é exibido com realce interativo: passe o cursor sobre uma seção sublinhada para ver o que mudou e por quê. Uma lista numerada de Alterações feitas abaixo do prompt explica cada modificação:
- Adicionar contexto ou restrições que estavam ausentes do original
- Esclarecer instruções ambíguas
- Incluir critérios de sucesso ou requisitos específicos
- Antecipar informações importantes de que o Devin precisava mais cedo
Clique em Start new session para iniciar uma nova sessão do Devin já preenchida com o prompt aprimorado.
Itens de ação lista alterações de configuração recomendadas para melhorar sessões futuras. Estas são ações concretas que você pode realizar na sua configuração de máquina ou no seu setup de Knowledge:
- Machine setup — alterações de ambiente ou ferramentas (por exemplo, instalar dependências ausentes, configurar acesso)
- Repo config — alterações em nível de repositório (por exemplo, adicionar scripts de build, atualizar arquivos de configuração)
Clique em Go to machine para ir diretamente à configuração da sua máquina e aplicar as alterações sugeridas.
A aba Knowledge Usage mostra como seus itens de Knowledge foram usados durante a sessão:
Useful Knowledge lista itens de Knowledge que ajudaram Devin a concluir a tarefa com sucesso, com uma explicação de como cada item foi aplicado.
Misleading Knowledge lista itens de Knowledge que levaram Devin a erros ou continham informações desatualizadas ou incorretas. Cada entrada explica por que aquele Knowledge foi prejudicial, ajudando você a identificar itens que precisam ser atualizados ou removidos.
Clique em qualquer item de Knowledge para ir diretamente até ele e editá-lo. Revisar essa aba regularmente ajuda você a manter uma base de conhecimento de alta qualidade.
Como interpretar padrões comuns de insights
Isso geralmente significa que o Devin trabalhou de forma autônoma, mas teve dificuldades com a tarefa. Verifique o Issue Timeline em busca de erros recorrentes ou novas tentativas. Causas comuns:
- Configuração de ambiente ausente (dependências, chaves de API, credenciais de acesso)
- Requisitos ambíguos que levaram a abordagens de tentativa e erro
- Tarefas complexas que se beneficiariam de serem divididas em subtarefas
O que fazer: Revise o Improved Prompt em busca de sugestões sobre como adicionar contexto. Verifique os Action Items para mudanças de configuração de máquina ou repositório.
Isso sugere interrupções frequentes ou correções de rota. Devin consumiu pouca computação, mas precisou de orientação constante. Causas comuns:
- Prompt inicial mal definido
- Devin interpretou incorretamente o escopo ou os requisitos da tarefa
- A tarefa exigia conhecimento específico de domínio não disponível para Devin
O que fazer: Use o Prompt aprimorado como modelo para futuras tarefas semelhantes. Adicione detalhes relevantes ao seu Knowledge para que Devin possa acessá-los automaticamente.
Knowledge Enganoso Sinalizado
Quando a aba Knowledge Usage mostra itens de Knowledge enganosos, esses itens podem conter instruções desatualizadas ou orientações genéricas demais que entram em conflito com sua base de código atual. Causas comuns:
- Knowledge foi escrito para uma versão anterior da sua base de código
- Knowledge é genérico demais e é recuperado em contextos irrelevantes
- Knowledge entra em conflito com outros itens de Knowledge
O que fazer: Atualize ou exclua os itens de Knowledge sinalizados. Torne as descrições de gatilho do Knowledge mais específicas para evitar recuperações irrelevantes.
Sessão classificada na categoria errada
Se a categoria exibida na visão geral não corresponder ao que você tinha em mente, provavelmente significa que o Devin interpretou sua solicitação de forma diferente. Causas comuns:
- O prompt estava ambíguo em relação ao objetivo
- A descrição da tarefa focava em um aspecto, mas a intenção era outra (por exemplo, descrever um bug quando você queria uma funcionalidade)
O que fazer: Compare a categoria com a sua intenção. Use o Improved Prompt para ver como a análise recomenda esclarecer o objetivo da tarefa.
Linha do tempo mostra problemas repetidos
Quando o mesmo tipo de problema aparece várias vezes na linha do tempo, é provável que o Devin tenha ficado preso em um loop de tentativas. Causas comuns:
- Uma falha persistente de build ou teste que o Devin não conseguiu resolver
- Um problema de ambiente (ferramenta ausente, versão incorreta, erro de permissão)
- Um equívoco fundamental quanto à abordagem necessária
O que fazer: Verifique os Action Items em busca de correções de ambiente. Considere adicionar um item no Knowledge que explique a abordagem correta para esse tipo de tarefa.
Revise os Insights após sessões complexas
Crie o hábito de revisar o Session Insights após sessões importantes ou complexas. Os padrões que você identificar vão ajudá-lo a se tornar mais eficiente ao longo do tempo.
Use os prompts aprimorados sugeridos como ponto de partida para tarefas semelhantes no futuro. Com o tempo, você desenvolverá uma biblioteca de padrões de prompts eficazes. Salve seus melhores prompts como Playbooks para fluxos de trabalho repetíveis.
Mantenha sua base de conhecimento
Revise regularmente a guia Knowledge Usage para manter seus itens de Knowledge precisos e relevantes. Remova ou atualize rapidamente itens de Knowledge enganosos — um único item de Knowledge desatualizado pode comprometer a qualidade das sessões para toda a sua equipe.
Resolva Problemas Recorrentes por Meio da Configuração da Máquina
Se os Itens de Ação estiverem sempre recomendando as mesmas alterações de ambiente ou configuração, resolva-as de forma proativa. Configurar corretamente a configuração da sua máquina evita que os mesmos problemas se repitam em todas as sessões futuras.
Session Insights pode revelar padrões que beneficiam toda a sua organização. Adicione aprendizados importantes como Knowledge para que sua equipe também possa se beneficiar.
Mantenha as sessões focadas
Se suas sessões forem constantemente classificadas como L ou XL, divida tarefas grandes em sessões menores e mais focadas. Sessões menores tendem a produzir resultados melhores e são mais fáceis de analisar e iterar sobre elas.
Nenhum Insight Disponível
Se o Session Insights não estiver disponível para uma sessão, isso pode acontecer porque:
- A sessão ainda está em andamento
- A sessão foi curta demais para gerar uma análise significativa (menos de uma mensagem do Devin)
- Ocorreu um erro durante o processo de análise — tente clicar em Regenerate
A análise está demorando muito
A geração da análise normalmente é concluída em até um minuto. Se estiver em execução por mais de cinco minutos, o processo pode ter excedido o tempo limite. Feche e reabra o modal Session Insights e clique em Regenerate.
Nos planos Team e Enterprise, usuários com as permissões apropriadas verão um botão Investigate with Devin no modal Session Insights. Ao clicar nesse botão, uma nova sessão do Devin é aberta em modo avançado, pré-configurada para analisar em profundidade a sessão original. Use essa opção para sessões em que a análise automatizada por si só não explica totalmente o que aconteceu.