Como o Devin usa um ambiente de desktop completo para interagir com GUIs, testar aplicativos e verificar visualmente alterações
Devin tem acesso a um ambiente de desktop Linux completo — não apenas a um navegador. Ele pode mover o mouse, clicar em elementos da interface, digitar no teclado, tirar capturas de tela e interagir com qualquer aplicativo que seja executado em um desktop Linux. Essa capacidade é chamada de Uso do Computador e permite que o Devin teste e interaja com seu software da mesma forma que um humano faria.
Computer Use concede ao Devin acesso direto a um ambiente de desktop gráfico com mouse e teclado. Isso vai além da simples automação de navegador — o Devin pode interagir com qualquer aplicativo que apareça na tela, incluindo:
Aplicativos web no Chrome (clicar em botões, preencher formulários, navegar entre páginas)
Aplicativos desktop que rodam em Linux (apps Electron, GUIs nativas, IDEs)
Interfaces baseadas em terminal (programas TUI, CLIs interativas)
Qualquer interface visual que possa ser exibida no desktop
O Devin vê a tela como um display de 1024×768 pixels e pode executar ações como clicar, digitar, rolar, arrastar e tirar capturas de tela — como um humano sentado em frente ao computador.
Depois de ativado, o Devin passará a usar seu ambiente de desktop durante as sessões — principalmente em workflows de teste em que precisa interagir com a interface da sua aplicação.
O Desktop mode está disponível em todos os planos. Somente administradores da organização podem alterar essa configuração.
Quando Devin cria um PR, ele exibe o botão Test the app. Clicar nesse botão aciona o fluxo de testes completo — Devin inicia seu app, usa Computer Use para interagir com a área de trabalho, testa as alterações e envia uma gravação para você.
Você pode pedir para o Devin testar a qualquer momento durante uma sessão — não é necessária nenhuma sintaxe especial, basta usar linguagem natural. Por exemplo:
“Teste as alterações que você acabou de fazer e me envie uma gravação”
“Abra o aplicativo no navegador e verifique se a página de login está funcionando”
“Inicie o aplicativo para desktop e confira se o novo item de menu aparece”
Devin decide por conta própria quando a interação com a área de trabalho é a ferramenta certa para a tarefa. Se uma tarefa envolver clicar em elementos de UI, navegar em um aplicativo, preencher formulários ou verificar algo visualmente, Devin usará Computer Use sem que você precise solicitar isso explicitamente. Você não precisa dizer ao Devin como interagir com a tela — apenas o que deseja que ele faça.
Devin pode iniciar seu app localmente, abri-lo no Chrome e percorrer fluxos de usuário completos — login, navegação, envio de formulários, checkout — verificando se tudo funciona conforme o esperado.
Qualquer aplicativo que seja executado em Linux pode ser testado. Devin pode abrir o aplicativo, interagir com sua interface gráfica (GUI) e verificar seu comportamento. Isso inclui aplicativos Electron, Java Swing/AWT, GTK/Qt e outros.
Devin pode fazer capturas de tela em pontos específicos durante os testes para verificar se layouts, estilos e elementos da interface estão corretos. Ele pode comparar o que vê na tela com o comportamento esperado e sinalizar problemas visuais.
Alguns cenários de teste exigem interações de GUI em múltiplas etapas que vão além de chamadas simples de API ou automação de navegador — coisas como arrastar e soltar, menus de contexto, atalhos de teclado ou navegação entre várias janelas. O Computer Use dá conta de tudo isso.
Devin pode gravar sua tela enquanto executa testes, anotando momentos importantes no vídeo. A gravação é então processada e enviada para você, para que você possa ver o Devin interagindo com seu aplicativo e confirmar que as alterações funcionam. Consulte Testes e gravações de vídeo para obter todos os detalhes sobre o fluxo de trabalho de gravação.
Quando o Devin usa o Computer Use durante uma sessão, ele segue este processo:
Tira uma captura de tela da tela atual para entender o que está visível
Identifica elementos interativos — botões, campos de texto, menus, links — e decide com o que interagir
Realiza uma ação — clica, digita, rola ou usa atalhos de teclado
Espera e observa — tira outra captura de tela para ver o resultado da ação
Repete até que a tarefa seja concluída
Esse ciclo de captura de tela e ação permite que o Devin se adapte ao que estiver na tela, lidando com conteúdo dinâmico, estados de carregamento, pop-ups e diálogos inesperados da mesma forma que um humano faria.
Computer Use é a base do fluxo de trabalho de testes e gravações do Devin. Quando o Devin testa sua aplicação após criar uma PR (pull request):
Configuração — Devin instala dependências, inicia seu app e prepara o ambiente
Planejamento de testes — Devin lê o diff e cria um plano de teste focado
Execução via Computer Use — Devin usa sua área de trabalho para interagir com seu app, seguindo o plano de teste passo a passo
Gravação — Todo o processo é capturado em vídeo com anotações e enviado para você revisar
A principal diferença entre Computer Use e o fluxo de trabalho Testing & Recordings é o escopo: Computer Use é a capacidade subjacente (interação com a área de trabalho), enquanto Testing & Recordings é o fluxo de trabalho estruturado que usa Computer Use para testar suas PRs e fornecer evidências em vídeo.
Se o seu app exigir autenticação, configure os secrets com antecedência para que o Devin possa fazer login sem precisar solicitar isso a você durante a sessão. Conclua o Repo Setup para garantir que o Devin possa instalar as dependências e iniciar seu app sem problemas.
Para apps que você testa com frequência, crie uma Skill que instrua o Devin exatamente sobre como configurar e testar seu aplicativo. Isso economiza tempo em sessões repetidas e garante consistência nos testes. Veja Testes e gravações de vídeo — sugestões de Skill para exemplos.
Devin não consegue encontrar um elemento da interface
Se Devin não conseguir localizar um botão ou elemento na tela, tente ser mais específico nas suas instruções — descreva a localização do elemento, seu rótulo ou o contexto em torno dele. Por exemplo, “clique no botão Salvar azul no canto inferior direito do modal” é melhor do que “clique em Salvar”.
Devin roda em um ambiente Linux. Se seu aplicativo só é executado em macOS ou Windows, ele não ficará disponível para testes de desktop. Aplicativos web funcionam independentemente da plataforma, já que rodam no Chrome. Para apps de desktop, certifique-se de que eles tenham uma versão para Linux.
Se Devin estiver interagindo de forma incorreta com sua interface, forneça uma entrada de Skill ou de Knowledge com instruções de navegação específicas para o seu aplicativo. Descrever os passos exatos (“clique no menu hambúrguer no canto superior esquerdo e, em seguida, clique em Configurações no menu suspenso”) reduz ambiguidades.
