Comment Devin utilise un environnement de bureau complet pour interagir avec des interfaces graphiques, tester des applications et vérifier visuellement les modifications
Devin a accès à un environnement de bureau Linux complet — pas seulement un navigateur. Il peut déplacer la souris, cliquer sur des éléments de l’interface, taper au clavier, prendre des captures d’écran et interagir avec n’importe quelle application qui s’exécute sur un bureau Linux. Cette capacité s’appelle Computer Use, et elle permet à Devin de tester et d’interagir avec votre logiciel de la même manière qu’un humain le ferait.
Computer Use donne à Devin un accès direct à un environnement de bureau graphique avec souris et clavier. Cela va au-delà de l’automatisation du navigateur : Devin peut interagir avec n’importe quelle application qui s’affiche à l’écran, y compris :
Les applications web dans Chrome (cliquer sur des boutons, remplir des formulaires, naviguer entre les pages)
Les applications de bureau qui s’exécutent sous Linux (applications Electron, interfaces graphiques natives, IDE)
Les interfaces basées sur le terminal (programmes TUI, CLI interactives)
Toute interface visuelle qui peut être affichée sur le bureau
Devin voit l’écran comme un écran de 1024×768 pixels et peut effectuer des actions comme cliquer, taper, faire défiler, faire glisser et prendre des captures d’écran — comme un humain assis devant l’ordinateur.
Une fois activé, Devin utilisera son environnement de bureau pendant les sessions — en particulier lors des workflows de test où il doit interagir avec l’interface utilisateur de votre application.
Desktop mode est disponible dans toutes les offres. Seuls les administrateurs de l’organisation peuvent modifier ce paramètre.
Quand Devin crée une PR, il propose un bouton Tester l’app. En cliquant sur ce bouton, vous déclenchez le workflow de test complet : Devin démarre votre application, utilise Computer Use pour interagir avec le bureau, teste les modifications et vous envoie un enregistrement.
Vous pouvez demander à Devin d’exécuter des tests à tout moment pendant une session — aucune syntaxe particulière n’est nécessaire, utilisez simplement le langage naturel. Par exemple :
« Testez les modifications que vous venez d’effectuer et envoyez-moi un enregistrement »
« Ouvrez l’application dans le navigateur et vérifiez que la page de connexion fonctionne »
« Lancez l’application de bureau et vérifiez que le nouvel élément de menu apparaît »
Devin décide de lui-même quand l’interaction avec le bureau est l’outil le plus adapté à la tâche. Si une tâche implique de cliquer sur des éléments d’interface, de naviguer dans une application, de remplir des formulaires ou de vérifier visuellement quelque chose, Devin utilisera Computer Use sans qu’on le lui demande explicitement. Vous n’avez pas besoin d’expliquer à Devin comment interagir avec l’écran — indiquez-lui simplement ce qu’il doit accomplir.
Devin peut démarrer votre application en local, l’ouvrir dans Chrome et parcourir des parcours utilisateur complets — connexion, navigation, saisie de formulaires, finalisation de commande — en vérifiant que tout fonctionne comme prévu.
Toute application fonctionnant sous Linux peut être testée. Devin peut lancer l’application, interagir avec son interface graphique et vérifier son comportement. Cela inclut les applications Electron, les applications Java Swing/AWT, les applications GTK/Qt, et bien d’autres.
Devin peut prendre des captures d’écran à des moments précis pendant les tests pour vérifier que la mise en page, le style et les éléments d’interface utilisateur s’affichent correctement. Il peut comparer ce qu’il voit à l’écran par rapport au comportement attendu et signaler les problèmes visuels.
Interagir avec des flux d’interface utilisateur complexes
Certains scénarios de test nécessitent des interactions avec l’interface graphique en plusieurs étapes qui vont au-delà de simples appels d’API ou de l’automatisation du navigateur — des actions comme le glisser-déposer, les menus contextuels, les raccourcis clavier ou la navigation entre plusieurs fenêtres. Computer Use prend tout cela en charge.
Devin peut enregistrer son écran au cours des tests et annoter les moments clés dans la vidéo. L’enregistrement est ensuite traité et envoyé afin que vous puissiez regarder Devin interagir avec votre application et confirmer que les modifications fonctionnent. Consultez Tests et enregistrements vidéo pour plus de détails sur le processus d’enregistrement.
Lorsque Devin utilise Computer Use pendant une session, il suit ce processus :
Prend une capture d’écran de l’écran actuel pour comprendre ce qui est visible
Identifie les éléments interactifs — boutons, champs de texte, menus, liens — et décide avec lesquels interagir
Effectue une action — clique, tape, fait défiler ou utilise des raccourcis clavier
Attend et observe — prend une autre capture d’écran pour voir le résultat de l’action
Répète jusqu’à ce que la tâche soit terminée
Cette boucle capture d’écran–action permet à Devin de s’adapter à tout ce qui s’affiche à l’écran, en gérant le contenu dynamique, les états de chargement, les fenêtres contextuelles (pop-ups) et les boîtes de dialogue inattendues comme le ferait un humain.
Computer Use est au cœur du flux de travail de tests et enregistrements de Devin. Lorsque Devin teste votre application après avoir créé une PR :
Configuration — Devin installe les dépendances, lance votre application et prépare l’environnement
Planification des tests — Devin lit le diff et crée un plan de tests ciblé
Exécution via Computer Use — Devin utilise son bureau pour interagir avec votre application, en suivant le plan de tests étape par étape
Enregistrement — Le processus complet est capturé en vidéo avec des annotations, puis vous est envoyé pour relecture
La principale différence entre Computer Use et le workflow Testing & Recordings est la portée : Computer Use est la fonctionnalité sous-jacente (interaction avec le bureau), tandis que Testing & Recordings est le flux de travail structuré qui utilise Computer Use pour tester vos PR et fournir une preuve sous forme de vidéo.
Si votre application nécessite une authentification, configurez les secrets à l’avance afin que Devin puisse se connecter sans vous solliciter pendant la session. Effectuez la configuration du dépôt pour garantir que Devin puisse installer les dépendances et lancer votre application sans problème.
Pour les applications que vous testez fréquemment, créez un Skill qui indique à Devin exactement comment configurer et tester votre application. Cela vous fait gagner du temps lors de sessions répétées et garantit la cohérence des tests. Consultez Tests et enregistrements vidéo — suggestions de skills pour des exemples.
Si Devin ne parvient pas à trouver un bouton ou un élément à l’écran, essayez d’être plus précis dans vos instructions — décrivez l’emplacement de l’élément, son libellé ou le contexte autour de lui. Par exemple, « cliquez sur le bouton Save bleu en bas à droite de la fenêtre modale » est mieux que « cliquez sur Save ».
L’application ne s’affiche pas sur le bureau de Devin
Devin s’exécute dans un environnement Linux. Si votre application ne fonctionne que sur macOS ou Windows, elle ne sera pas disponible pour des tests sur le bureau de Devin. Les applications web fonctionnent quel que soit le système, puisqu’elles s’exécutent dans Chrome. Pour les applications de bureau, assurez-vous qu’elles disposent d’une version pour Linux.
Si Devin interagit mal avec votre interface, ajoutez une entrée Skill ou Knowledge avec des instructions de navigation précises pour votre application. Décrire les étapes exactes (« cliquez sur le menu hamburger en haut à gauche, puis cliquez sur Settings dans le menu déroulant ») réduit les ambiguïtés.
