メインコンテンツへスキップ
ステージング環境を常に監視しましょう。このスケジュール済みの自動化は、毎晩ステージング環境に対して完全な E2E スイートまたはスモークテストスイートを実行し、失敗時には再現に必要な前提情報を含めて記録し、実際のリグレッションについては Linear のチケットを起票し、QA 用の Slack チャンネルに要約を投稿します。これにより、毎朝ステージング環境の状況を正確に把握した状態で作業を始められます。

このテンプレートを利用する

Devin で Nightly QA & Smoke Tests を開き、デフォルト設定で自動化を作成します。保存する前にカスタマイズすることもできます。
実際に手を動かしながら確認したい場合は、Nightly QA & Smoke Tests のステップごとのチュートリアルをご覧ください。

この自動化でできること

Nightly QA テンプレートは、CI/ステージングのワークフローを導入しているあらゆるチームにとって、基盤となる自動化です。Devin はテストスイート (Playwright、Cypress、カスタムスクリプトなど、すでに使っているものなら何でも) を実行し、各失敗がフレークか実際のリグレッションかを分類したうえで、人が再現し直さなくても対処できるだけの前提情報を添えてチケットを起票します。

動作の仕組み

トリガー: スケジュールイベントrecurring
  • イベント: schedule:recurring
    • 条件:
      • rruleFREQ=DAILY;BYHOUR=2;BYMINUTE=0 に一致する
Devin が行うこと: イベントの前提情報をすべて含むセッションを開始し、以下のプロンプトを実行し、必要に応じて失敗時に通知します。

前提条件

プロンプトの例

このテンプレートには次のプロンプトが含まれています。Use template をクリックしたあとで編集することも、そのまま使うこともできます。

設定手順

  1. Devin で Automations → Templates を開きます。
  2. Nightly QA & Smoke Tests をクリックします。このテンプレートがあらかじめ入力された作成ページが開きます。
  3. 必要な統合 を接続し、まだの場合は MCP サーバーをインストールします。
  4. トリガー条件内のプレースホルダー値を置き換えます (たとえば、your-org/your-repo を実際のリポジトリに置き換えます) 。
  5. プロンプトを確認し、チームの言語、慣例、ガードレールに合わせて調整します。
  6. Create automation をクリックします。
ほとんどの自動化テンプレートには、初期ロールアウト時のコストを抑えるための推奨 ACU と実行回数の上限が含まれています。自動化の挙動に十分な確信が持てるまではそのままにし、その後ワークロードに合わせて引き上げてください。

このテンプレートを利用する場面

  • ステージング環境でのみ表面化するリグレッションを検出する
  • すべてのコミットでは実行できない、長時間実行されるテストスイートへの信頼性を維持する
  • 本物のフレークに対してチケットを自動起票し、放置されないようにする
  • QA のフィードバックループを夜間や週末も継続して回す

カスタマイズのアイデア

  • スケジュールを変更する (毎時、デプロイごと、Webhook 経由のオンデマンド)
  • 任意のテストハーネスに差し替える — Playwright、Cypress、Jest、pytest、Go test
  • 結果を Linear、Jira、GitHub Issues、または Slack に送る
  • Devin が検証データをクエリできるよう、ステージングデータベースの認証情報を含むシークレットをアタッチする

関連項目