Comment Devin teste vos modifications de bout en bout et vous envoie des enregistrements vidéo comme preuve
Devin peut tester votre application de bout en bout après avoir créé une pull request (PR) — en exécutant l’application en local, en interagissant avec elle via le navigateur et en enregistrant une vidéo de l’ensemble du processus. L’enregistrement vous est envoyé directement en pièce jointe afin que vous puissiez vérifier que les modifications fonctionnent sans avoir à récupérer la branche localement.
Après que Devin a créé une PR (pull request), il peut passer en mode test — un workflow structuré dans lequel Devin :
Configure l’environnement — installe les dépendances, démarre les services, se connecte aux comptes requis
Planifie le test — lit le diff et la base de code pour créer un plan de test minimal et ciblé
Enregistre une vidéo — démarre un enregistrement d’écran, exécute le plan de test sur le poste de travail et annote les moments clés
Vous envoie le résultat — arrête l’enregistrement, traite la vidéo et vous l’envoie en pièce jointe à un message
L’objectif est de produire un court enregistrement qu’un relecteur de code regarde et se dise immédiatement « OK, ça fonctionne » — puis fusionne la PR.
Après avoir créé une PR (pull request), Devin proposera de tester l’application pour vous. Cliquez sur Test the app pour que Devin lance le workflow de test.
Un paramètre permettant d’exécuter automatiquement les tests après la création d’une PR — sans avoir besoin de cliquer sur le bouton — sera bientôt disponible.
Vous pouvez aussi demander à Devin d’exécuter des tests à n’importe quel moment au cours d’une session — par exemple : « testez les modifications que vous venez d’apporter et envoyez-moi un enregistrement » ou « vérifiez que la page de connexion fonctionne et envoyez-moi une vidéo ».
Avant le début de tout test, Devin prépare l’environnement :
Lit la PR et le code pour comprendre ce qui doit être testé
Vérifie les compétences pertinentes dans le dépôt (sous .agents/skills/) et les applique si elles sont disponibles
Se connecte aux services requis et résout les problèmes d’accès
Vérifie les environnements disponibles (staging, dev, local) et confirme la connectivité
Demande les secrets manquants si nécessaire — Devin vous demandera les identifiants dès le départ et les enregistrera pour les sessions futures
Réaliser la configuration du dépôt à l’avance rend les tests beaucoup plus rapides — Devin peut éviter d’avoir à installer les dépendances, configurer les services et se connecter au début de chaque session.
Lorsque Devin demande des identifiants pendant les tests, il les enregistre en tant que secrets pour les sessions futures, de sorte que vous n’ayez à les fournir qu’une seule fois.
Une fois la configuration terminée, Devin rédige un bref plan de test :
Identifie le parcours de bout en bout le plus important qui prouve que la fonctionnalité fonctionne
Rédige des étapes concrètes et non ambiguës (par exemple : « cliquez sur le bouton intitulé Save en haut à droite » — et non « trouvez l’option de sauvegarde »)
Ancre le plan dans le code réel — remonte la partie frontend pour trouver le parcours exact dans l’interface jusqu’à la fonctionnalité
N’ajoute des parcours de test supplémentaires qu’en présence d’un cas limite réellement critique
Devin vous envoie le plan sous forme de court message avant de l’exécuter, afin que vous puissiez l’ajuster si nécessaire.
Une fois que la CI est au vert et que tous les commentaires de revue de code ont été traités, Devin exécute le test :
Lance l’enregistrement — capture l’écran entier
Annote les moments clés — ajoute des libellés texte aux moments importants (par exemple, « Testing login flow », « Feature confirmed working ») qui apparaissent dans la vidéo finale
Exécute le plan de test — interagit avec l’application via le navigateur en suivant chaque étape
Arrête l’enregistrement — la vidéo est automatiquement traitée avec les annotations et des ajustements de vitesse autour des moments clés
Envoie la vidéo — joint l’enregistrement à un message pour que vous puissiez la visionner directement
Les enregistrements d’écran de Devin disposent de plusieurs fonctionnalités qui les rendent utiles pour la revue :
Annotations — Des libellés apparaissent à des moments clés de la vidéo pour indiquer ce que Devin teste. La vidéo ralentit autour des points annotés afin que vous puissiez voir les détails.
Zoom automatique — La vidéo effectue automatiquement un zoom sur les zones où Devin clique et interagit, en se déplaçant en douceur pour suivre le curseur et en revenant progressivement à la vue globale pendant les moments d’inactivité.
Traitement automatique — Les enregistrements bruts sont traités pour mettre en évidence les actions importantes et compresser le temps d’inactivité.
Envoyées en pièces jointes — Les vidéos sont jointes aux messages de votre session et peuvent être consultées directement dans l’application web Devin ou dans Slack.
Les enregistrements sont conçus pour être courts et ciblés — une vérification rapide avec un flux principal de bout en bout qui prouve que la fonctionnalité fonctionne. Si vous avez besoin d’une couverture plus exhaustive, utilisez vos suites de tests et votre CI existantes plutôt que de vous reposer sur l’enregistrement vidéo.
Après avoir testé votre application, Devin consigne ce qu’il a essayé et ce qui a fonctionné — étapes d’installation, configuration de l’environnement, façon de démarrer l’application — et propose de créer ou de mettre à jour une Skill via une PR. Vous pouvez fusionner la PR telle quelle ou l’ajuster pour affiner les instructions. Avec le temps, Devin s’améliore dans les tests de votre projet — les enseignements de chaque session s’appuient sur les précédents.Vous pouvez également demander à Devin de faire cela à tout moment (par exemple, « create a skill for how to test this app »). Consultez le guide Skills pour tous les détails sur la création et la gestion des compétences.Voici un exemple de compétence de test :
Copier
Demander à l'IA
---name: test-before-prdescription: Lancer le serveur de développement local et vérifier les pages avant d'ouvrir toute pull request (PR) touchant au code frontend.---## Configuration1. Installer les dépendances : `npm install`2. Démarrer la base de données : `docker-compose up -d postgres`3. Exécuter les migrations : `npx prisma migrate dev`4. Démarrer le serveur de développement : `npm run dev`5. Attendre « Ready on http://localhost:3000 »## Vérification1. Lire le git diff pour identifier les pages modifiées2. Ouvrir chaque page concernée dans le navigateur3. Vérifier : les erreurs de console, les problèmes de mise en page, les liens brisés4. Capturer chaque page aux largeurs bureau (1280px) et mobile (375px)## Avant d'ouvrir la PR1. Exécuter `npm run lint` et corriger les problèmes éventuels2. Exécuter `npm test` et confirmer que tous les tests réussissent3. Inclure des captures d'écran dans la description de la PR
Lorsque vous rédigez ou affinez des skills, soyez précis sur ce qu’il faut vérifier :
Bonnes instructions
“Testez le parcours de commande : ajoutez un article au panier, allez au paiement, remplissez le formulaire et vérifiez que la page de confirmation de commande affiche le bon total”
“Vérifiez que l’activation du mode sombre fonctionne sur la page des paramètres — le texte doit rester lisible et aucun élément ne doit disparaître”
“Testez l’export CSV : il doit télécharger un fichier avec les bons en-têtes”
Le mode test est disponible dans les sessions où Devin crée une PR avec des modifications de code. Si Devin ne l’a pas proposé, vous pouvez toujours demander directement : « Pouvez-vous tester ces modifications et enregistrer une vidéo ? »
Si l’enregistrement ne peut pas être traité, Devin vous en informera. Les causes courantes incluent un plantage de l’application pendant le test ou l’expiration du délai de traitement de la vidéo. Devin peut réessayer : demandez simplement « Try recording again. ». Les fichiers d’enregistrement sont stockés sur la machine de Devin, et Devin peut vous les envoyer à tout moment sur demande.
Si Devin ne peut pas accéder à votre application pendant les tests (par exemple en raison d’une page de connexion obligatoire ou de l’exigence d’un VPN), il vous demandera de l’aide. Fournissez des identifiants via les secrets, utilisez l’Interactive Browser pour effectuer manuellement les étapes d’authentification, ou terminez la procédure Repo Setup pour préconfigurer l’accès afin que Devin ne rencontre pas ces problèmes.
