Post-entraîner des modèles personnalisés avec Devin et Modal

​

Avant de commencer

• Créer un outpost Modal : exécutez uvx modal-devin init et choisissez un GPU pour l’application Modal générée. Consultez Exécuter Devin sur Modal et le démarrage rapide d’Outposts.
• Connecter votre repository : le repo d’exemple, otterchat, est une application de chat dotée d’un sélecteur de modèles d’image. L’outpost en effectue un checkout sur un Modal Volume persistant.
• Préparer vos données d’entraînement : ajoutez des images légendées au repository ou à un Modal Volume monté par l’outpost. L’exemple utilise 18 images de loutres façon dessin animé, avec des légendes comme « Devin the software engineer in a data center ».
• Ajouter des secrets : enregistrez votre clé Weights & Biases dans Paramètres > Secrets. La sandbox Modal dispose déjà des credentials Modal : Devin peut donc déployer des endpoints sans configuration supplémentaire.
• Définir des règles pour les longues exécutions : ajoutez des règles d’organisation (ou intégrez-les au prompt), par exemple : publier un point d’avancement toutes les 15 minutes, générer des images de validation à chaque checkpoint et inclure le lien d’aperçu dans chaque PR.
• Connecter Slack (facultatif) : les exécutions d’entraînement durent plusieurs heures ; synchronisez la session avec un thread Slack pour en suivre l’avancement.

​

Étape 1 : Démarrer une session sur l’outpost

parle-moi de ton environnement

​

Étape 2 : Vérifier les données d’entraînement

hey devin montre-moi les images que j'utilise pour l'apprentissage supervisé

​

Étape 3 : Lancer l’exécution de l’entraînement

effectue le post-entraînement de flux pour créer le modèle otterimage 1.0. une fois que c'est fait, ajoute otterimage au sélecteur de modèles dans otterchat

1. Entraîne le LoRA : environ 1 000 étapes, consignées dans Weights & Biases, avec des rendus de validation toutes les 100 étapes.
2. Rend compte dans Slack : un point d’avancement toutes les 15 minutes avec les derniers rendus. Les premiers rendus montrent des humains ; la loutre apparaît au fil de l’entraînement.
3. Choisit le meilleur checkpoint : l’étape 700, car les étapes 900 et 1 000 présentaient des signes de surapprentissage.
4. Déploie et livre : expose l’étape 700 sous forme d’endpoint Modal serverless, ajoute otterimage 1.0 au sélecteur de modèles de l’application de chat, enregistre un test de bout en bout et ouvre une PR avec un lien d’aperçu.

​

Étape 4 : Tester le modèle

génère une image de devin, l'ingénieur logiciel, en train de manger des spaghettis

​

Étape 5 : Itérer avec des sessions enfants

https://arxiv.org/pdf/2309.14859v2 lance des sous-sessions qui entraînent otterimage avec les autres techniques présentées dans cet article, hormis lora

​

Étapes suivantes