Session Insights 是一项分析功能,帮助你了解在 Devin 会话中发生了什么,并提供具有可操作性的改进建议。Devin 完成任务后,Session Insights 会分析整个会话,识别其中的模式、问题以及改进协作的机会。
所有已完成的 Devin 会话都可以使用 Session Insights,且无需额外费用。
运行一个 Devin 会话并让其完整执行直至结束。Session Insights 在具有明确结果的会话中效果最佳,无论结果是成功还是失败。过于简短的会话(少于一条 Devin 消息)将不会生成洞察结果。
会话结束后,在会话顶部栏中找到 Session Insights 按钮。
点击按钮打开 Session Insights 弹窗。如果尚未生成分析,点击 Generate Analysis 开始生成,通常大约需要一分钟。如果已经存在分析,你可以点击 Regenerate 创建一份全新的分析。
在 Session Insights 模态窗口的顶部,有四个关键指标,可以让你快速了解本次会话的整体情况:
ACU(AI Compute Unit,AI 计算单元)的使用情况反映了 Devin 在会话期间消耗了多少计算资源。对于给定任务,更低的 ACU 使用量通常意味着会话更加高效。使用此指标可以比较相似的任务,并识别出 Devin 可能在重试或陷入无效尝试时耗费了过多计算资源的会话。
你在会话期间发送的消息总数。较高的消息数量可能表明 Devin 需要你频繁纠正方向,说明初始提示本可以更充分、更具体。理想情况下,应在一开始就提供所有重要的上下文,以尽量减少来回沟通。
会话规模是一种综合分类(XS、S、M、L、XL),由 ACU 使用量和用户消息数量共同决定。ACU 使用量越高或用户消息越多,会话规模就可能越大。被分类为 L 或 XL 的会话会被标记为不健康,这通常意味着 Devin 遇到了较为严重的问题,或者任务范围对于单次会话来说过于宽泛。请考虑将大型任务拆分为更小、更聚焦的会话。
为了让会话保持精简高效,请在初始提示中尽可能一次性提供所有关键信息。
Devin 会自动将会话归入不同的任务类别:
- 功能开发 — 构建新功能
- Bug 修复 — 诊断和解决 Bug
- 代码评审与分析 — 评审或分析现有代码
- 重构与优化 — 改善代码结构或性能
- 测试生成 — 创建单元测试或测试套件
- 迁移与升级 — 升级依赖项或迁移系统
- CI/CD 与 DevOps — 处理流水线、部署或基础设施
- 代码质量与安全 — 处理 lint 检查、安全或质量问题
- 数据与自动化 — 数据处理或自动化脚本
这种分类可以帮助你理解 Devin 如何理解你的任务,并发现你的预期与 Devin 实际执行工作之间是否存在偏差。
Session Insights 模态窗口包含三个选项卡,分别对应分析的不同方面。
“问题时间线”选项卡包含两个部分:
已检测问题 列出 Devin 在会话中遇到的问题。每个问题包括:
- 描述问题类别的标签
- 影响等级(高、中或低)
- 解释出错原因的描述
问题按标签和影响等级分组,便于识别模式和规律。常见问题类型包括构建失败、环境配置问题、对代码库的错误假设,以及范围模糊。
时间线 提供按时间排序且带颜色标记的会话关键事件视图:
| 颜色 | 含义 |
|---|
| 红色 | 高影响问题 |
| 黄色 | 中影响问题 |
| 白色/灰色 | 重要事件 |
| 绿色 | 产生价值的事件 |
每个时间线事件都有标题和描述。与特定问题关联的事件会以粗体显示。使用时间线来理解整个会话的流程——Devin 在哪里取得进展、在哪里遇到阻碍,以及是如何恢复的。
“可执行反馈”选项卡通过两种方式帮助你改进后续会话:
改进后的提示词会展示在你原始提示词基础上重写的版本,并给出具体改进点。推荐的提示词会以交互式高亮显示 —— 将鼠标悬停在带下划线的部分上,可以看到具体改动及其原因。提示词下方的 所做修改 编号列表会解释每一处更改:
- 补充原本缺失的上下文或约束条件
- 澄清含糊不清的指令
- 加入成功标准或具体需求
- 将 Devin 需要更早获知的重要信息前置
点击 Start new session 启动一个已预填充改进后提示词的新 Devin 会话。
操作项列出了为改进后续会话而推荐的配置更改。这些是你可以在机器配置或 Knowledge 设置中执行的具体步骤:
- Machine setup —— 环境或工具层面的更改(例如安装缺失依赖、配置访问权限)
- Repo config —— 仓库层面的更改(例如添加构建脚本、更新配置文件)
点击 Go to machine 可直接跳转到你的机器配置并应用推荐的更改。
Knowledge Usage 选项卡显示了你的 Knowledge 条目在本次会话中的使用情况:
Useful Knowledge 列出了帮助 Devin 成功完成任务的 Knowledge 条目,并解释了每条知识是如何被应用的。
Misleading Knowledge 列出了让 Devin 产生误判,或包含过期或错误信息的 Knowledge 条目。每条记录都会说明该知识为何有害,帮助你识别需要更新或删除的条目。
点击任意 Knowledge 条目可直接跳转至该条目并进行编辑。定期查看此选项卡有助于你维护高质量的知识库。
这通常意味着 Devin 在自主工作时遇到了完成任务的困难。查看 Issue Timeline,留意反复出现的错误或多次重试。常见原因包括:
- 环境配置缺失(依赖、API keys、访问凭证)
- 需求表述不清,导致反复试错
- 任务本身较为复杂,更适合拆分为多个子任务
应对方式: 查看 Improved Prompt,参考其中关于补充上下文的建议。检查 Action Items,了解是否需要对运行环境或代码仓库进行配置修改。
这表明任务执行过程中存在频繁的中断或路线纠正。Devin 虽然使用的算力不多,但需要持续获得引导。常见原因包括:
- 初始提示说明不够具体
- Devin 误解了任务范围或需求
- 任务需要 Devin 当前不具备的特定领域知识
应对措施: 使用优化后的提示作为今后类似任务的模板。在你的 Knowledge 中补充相关细节,使 Devin 能够自动获取这些信息。
当 Knowledge Usage 选项卡显示具有误导性的 Knowledge 条目时,这些条目可能包含已过时的说明,或过于宽泛、与当前代码库相冲突的建议。常见原因包括:
- Knowledge 是为你代码库的早期版本编写的
- Knowledge 过于笼统,在不相关的上下文中被检索出来
- 不同的 Knowledge 条目之间存在冲突
应对措施: 更新或删除被标记的 Knowledge 条目。将 Knowledge 的触发描述写得更具体,以避免在无关场景下被检索。
如果总览中显示的类别与你的预期不符,很可能意味着 Devin 对你的请求有不同的理解。常见原因包括:
- 提示中对目标的表述不够清晰
- 任务描述侧重于某个方面,但真实意图不同(例如,你在描述一个 bug,但实际上想要的是一个新功能)
应对方法: 对比当前类别和你的真实意图。使用 Improved Prompt 查看分析中关于如何澄清任务目标的建议。
当同一类型的问题在时间线上多次出现时,通常表示 Devin 可能陷入了重复重试的循环。常见原因包括:
- Devin 无法解决的持续构建或测试失败
- 环境问题(缺少工具、版本错误、权限错误)
- 从根本上误解了所需的解决思路
应对方法: 检查 Action Items 中是否有环境修复相关的内容。考虑添加一个 Knowledge 条目,用于说明此类任务的正确解决思路。
在每次重要或复杂的会话结束后,养成查看 Session Insights 的习惯。你识别出的模式将帮助你随着时间的推移提升效率。
使用推荐的优化提示作为类似后续任务的起点。随着时间推移,你会逐步积累一套高效的提示模式库。将你最好的提示保存为Playbooks,用于可重复的工作流。
定期查看 Knowledge Usage 选项卡,确保你的知识项始终准确且具有相关性。及时删除或更新存在误导的知识项——单个过时的知识项就可能降低整个团队会话的质量。
如果 Action Items 中一再出现相同的环境或配置修改建议,请主动加以处理。正确设置机器配置,可以避免今后所有会话中反复出现这些问题。
Session Insights 可以揭示对整个组织都有价值的模式。将关键经验添加为Knowledge,让你的团队也能从中受益。
如果你的会话持续被归类为 L 或 XL,请将大型任务拆分成更小、更专注的会话。较小的会话通常能产生更好的结果,也更便于分析和迭代。
如果某个会话没有 Session Insights,可能是由于以下原因:
- 会话仍在进行中
- 会话时长过短,无法生成有意义的分析(Devin 发送的消息少于一条)
- 在分析过程中发生错误——请尝试点击 Regenerate
生成分析通常会在一分钟内完成。如果生成时间超过五分钟,过程可能已超时。请关闭并重新打开 Session Insights 模态窗口,然后点击 Regenerate。
在 Team 和 Enterprise 订阅计划中,具有相应权限的用户会在 Session Insights 弹窗中看到一个 Investigate with Devin 按钮。点击此按钮会在高级模式下打开一个新的 Devin 会话,并预配置为对原始会话进行深入分析。对于仅靠自动化分析仍无法完全解释具体情况的会话,请使用此功能。