Wie Devin eine vollwertige Desktop-Umgebung nutzt, um mit GUIs zu interagieren, Anwendungen zu testen und Änderungen visuell zu überprüfen
Devin hat Zugriff auf eine vollwertige Linux-Desktop-Umgebung – nicht nur auf einen Browser. Es kann die Maus bewegen, auf UI-Elemente klicken, auf der Tastatur tippen, Screenshots aufnehmen und mit jeder Anwendung interagieren, die auf einem Linux-Desktop läuft. Diese Fähigkeit wird Computer Use genannt und ermöglicht es Devin, Ihre Software auf die gleiche Weise zu testen und mit ihr zu interagieren wie ein Mensch.
Computer Use gibt Devin direkten Zugriff auf eine grafische Desktop-Umgebung mit Maus und Tastatur. Das geht über Browserautomatisierung hinaus — Devin kann mit jeder Anwendung interagieren, die auf dem Bildschirm dargestellt wird, darunter:
Webanwendungen in Chrome (Klicken von Schaltflächen, Ausfüllen von Formularen, Navigieren durch Seiten)
Desktop-Anwendungen, die auf Linux laufen (Electron-Apps, native GUIs, IDEs)
Jede visuelle Benutzeroberfläche, die auf dem Desktop angezeigt werden kann
Devin sieht den Bildschirm als ein 1024×768-Pixel-Display und kann Aktionen wie Klicken, Tippen, Scrollen, Ziehen und das Aufnehmen von Screenshots ausführen — genau wie ein Mensch, der am Computer sitzt.
Sobald diese Option aktiviert ist, verwendet Devin während Sitzungen seine Desktop-Umgebung – insbesondere in Test-Workflows, in denen es mit der Benutzeroberfläche Ihrer Anwendung interagieren muss.
Desktop mode ist in allen Tarifen verfügbar. Nur Organisationsadministratoren können diese Einstellung ändern.
Wenn Devin einen Pull Request (PR) erstellt, wird die Schaltfläche Test the app angezeigt. Ein Klick darauf löst den vollständigen Test-Workflow aus — Devin startet deine App, verwendet Computer Use, um mit dem Desktop zu interagieren, testet die Änderungen und sendet dir eine Aufzeichnung.
Devin entscheidet selbst, wann die Interaktion mit dem Desktop das richtige Mittel für eine Aufgabe ist. Wenn eine Aufgabe das Klicken auf UI-Elemente, das Navigieren in einer App, das Ausfüllen von Formularen oder das visuelle Überprüfen von Inhalten umfasst, verwendet Devin Computer Use, ohne dass Sie es ausdrücklich dazu auffordern müssen. Sie müssen Devin nicht sagen, wie es mit dem Bildschirm interagieren soll — sagen Sie ihm einfach, was es erreichen soll.
Devin kann Ihre App lokal starten, sie in Chrome öffnen und vollständige User-Flows durchklicken – Login, Navigation, Formularabsendung, Checkout – und so überprüfen, ob alles wie erwartet funktioniert.
Jede Anwendung, die unter Linux ausgeführt wird, kann getestet werden. Devin kann die App starten, mit ihrer GUI interagieren und das Verhalten überprüfen. Dazu zählen Electron-Apps, Java Swing/AWT-Anwendungen, GTK/Qt-Apps und mehr.
Devin kann während des Testens an bestimmten Punkten Screenshots aufnehmen, um zu überprüfen, ob Layouts, Styling und UI-Elemente korrekt dargestellt werden. Es kann den Bildschirminhalt mit dem erwarteten Verhalten vergleichen und visuelle Probleme markieren.
Einige Testszenarien erfordern mehrstufige GUI-Interaktionen, die über einfache API-Aufrufe oder Browserautomatisierung hinausgehen – etwa Drag-and-Drop, Kontextmenüs, Tastenkombinationen oder das Navigieren zwischen mehreren Fenstern. Computer Use beherrscht all dies.
Devin kann seinen Bildschirm während der Tests aufzeichnen und wichtige Momente im Video kommentieren. Die Aufzeichnung wird anschließend verarbeitet und an Sie gesendet, damit Sie sehen können, wie Devin mit Ihrer App interagiert und bestätigen können, dass die Änderungen wie erwartet funktionieren. Ausführliche Informationen zum Aufzeichnungsworkflow finden Sie unter Testing & Video Recordings.
Wenn Devin während einer Sitzung Computer Use verwendet, folgt Devin dabei diesem Ablauf:
Erstellt einen Screenshot des aktuellen Bildschirms, um zu erfassen, was angezeigt wird
Identifiziert interaktive Elemente – Buttons, Textfelder, Menüs, Links – und entscheidet, mit welchen Elementen interagiert werden soll
Führt eine Aktion aus – klickt, tippt, scrollt oder verwendet Tastenkombinationen
Wartet und beobachtet – erstellt einen weiteren Screenshot, um das Ergebnis der Aktion zu sehen
Wiederholt den Vorgang, bis die Aufgabe abgeschlossen ist
Diese Schleife aus Screenshots und Aktionen ermöglicht es Devin, sich an alles auf dem Bildschirm anzupassen und dynamische Inhalte, Ladezustände, Pop-ups und unerwartete Dialoge genau wie ein Mensch zu handhaben.
Computer Use ist die Grundlage von Devins Workflow für Tests und Aufzeichnungen. Wenn Devin Ihre Anwendung nach dem Erstellen eines Pull-Requests (PR) testet:
Einrichtung — Devin installiert Abhängigkeiten, startet Ihre App und bereitet die Umgebung vor
Testplanung — Devin liest das Diff und erstellt einen zielgerichteten Testplan
Ausführung über Computer Use — Devin verwendet seinen Desktop, um mit Ihrer App zu interagieren und folgt dem Testplan Schritt für Schritt
Aufzeichnung — Der gesamte Prozess wird als Video mit Annotationen aufgezeichnet und Ihnen anschließend zur Überprüfung gesendet
Der zentrale Unterschied zwischen Computer Use und dem Workflow „Testing & Recordings“ ist der Umfang: Computer Use ist die zugrunde liegende Fähigkeit (Desktop-Interaktion), während Testing & Recordings der strukturierte Workflow ist, der Computer Use verwendet, um Ihre PRs zu testen und Video-Nachweise zu liefern.
“Öffnen Sie die App, klicken Sie oben rechts auf die Schaltfläche Einstellungen, aktivieren Sie den Dark Mode und prüfen Sie, ob der gesamte Text weiterhin lesbar ist”
“Starten Sie die Electron-App, erstellen Sie ein neues Dokument, geben Sie etwas Text ein und prüfen Sie, ob es gespeichert wird, wenn Sie das Fenster schließen”
Teilen Sie Devin mit, wie Erfolg aussieht
“Das Dashboard sollte drei Diagramme ohne Fehlermeldungen anzeigen”
“Nach dem Absenden des Formulars sollte oben auf der Seite ein grünes Erfolgsbanner erscheinen”
Wenn Ihre App eine Authentifizierung erfordert, richten Sie Secrets im Voraus ein, damit Devin sich anmelden kann, ohne Sie während der Sitzung fragen zu müssen. Schließen Sie das Repo Setup ab, um sicherzustellen, dass Devin Abhängigkeiten installieren und Ihre App ohne Probleme starten kann.
Für Apps, die Sie häufig testen, erstellen Sie einen Skill, der Devin genau vorgibt, wie Ihre Anwendung eingerichtet und getestet werden soll. Das spart Zeit bei wiederkehrenden Sitzungen und sorgt für konsistente Tests. Beispiele finden Sie unter Tests & Videoaufzeichnungen — Skill-Vorschläge.
Wenn Devin einen Button oder ein Element auf dem Bildschirm nicht finden kann, formuliere deine Anweisungen genauer – beschreibe die Position des Elements, seine Beschriftung oder den umgebenden Kontext. Zum Beispiel ist „Klicke auf den blauen Save-Button unten rechts im Modal-Fenster“ besser als „Klicke auf Save“.
Devin läuft in einer Linux-Umgebung. Wenn Ihre Anwendung nur unter macOS oder Windows läuft, steht sie für Desktop-Tests nicht zur Verfügung. Webanwendungen funktionieren plattformunabhängig, da sie in Chrome ausgeführt werden. Stellen Sie bei Desktop-Apps sicher, dass eine Linux-Version (Build für Linux) verfügbar ist.
Wenn Devin nicht richtig mit Ihrer Benutzeroberfläche interagiert, erstellen Sie einen Skill- oder Knowledge-Eintrag mit konkreten Navigationsanweisungen für Ihre App. Wenn Sie die einzelnen Schritte genau beschreiben („Klicken Sie oben links auf das Hamburger-Menü und wählen Sie dann im Dropdown Settings aus“), verringert das Unklarheiten.
