Computer Use

Documentation Index

Fetch the complete documentation index at: https://docs.devinenterprise.com/llms.txt

Use this file to discover all available pages before exploring further.

• Chrome 中的网页应用程序 (点击按钮、填写表单、在页面之间导航)
• 在 session 的平台 (Linux 或 Windows) 上运行的桌面应用程序，包括 Electron 应用、IDE 和平台原生图形界面
• 基于终端的界面 (TUI 程序、交互式 CLI)
• 能在桌面上显示的任何可视化界面

1. 前往 Settings > Customization
2. 在 Browser interaction 部分下，将 Enable desktop mode 切换为开启
3. Devin 现在将在会话期间使用其桌面环境

• “测试你刚刚做的更改，并把录屏发给我”
• “在浏览器中打开应用，验证登录页面是否正常工作”
• “启动桌面应用，检查新的菜单项是否出现”

1. 截取屏幕截图，以了解当前屏幕上可见的内容
2. 识别可交互元素 —— 按钮、文本输入框、菜单、链接 —— 并决定要与哪些进行交互
3. 执行操作 —— 点击、输入、滚动，或使用键盘快捷键
4. 等待并观察 —— 再次截屏以查看该操作的结果
5. 重复上述步骤，直到任务完成

1. 设置 — Devin 安装依赖、启动你的应用并准备环境
2. 测试规划 — Devin 阅读代码 diff 并创建一份聚焦的测试计划
3. 通过电脑操作执行 — Devin 使用其桌面环境与应用交互，按测试计划一步步执行
4. 录制 — 整个过程会被录制成带批注的视频，然后发送给你进行审核

from playwright.sync_api import sync_playwright

with sync_playwright() as p:
    browser = p.chromium.connect_over_cdp("http://localhost:29229")
    context = browser.contexts[0]
    page = context.pages[0] if context.pages else context.new_page()

    # 示例：导航并登录
    page.goto("https://example.com/login")
    page.fill('input[name="email"]', "user@example.com")
    page.fill('input[name="password"]', "password")
    page.click('button[type="submit"]')
    page.wait_for_url("**/dashboard")
    print("登录成功！")

• 将登录脚本存放在你的 代码仓库 的 .agents/skills/ 目录中，以便它们在不同会话之间持续保留
• 使用 secrets 存储凭据——在脚本中通过环境变量引用它们
• CDP 端点始终是 http://localhost:29229——无论是否启用 桌面模式，使用的都是同一个端口
• 脚本运行后，Devin 可以使用 Computer Use 或浏览器工具与已认证的会话交互