メインコンテンツへスキップ

​
概要

Devin は、あなたのために休まず働くウェブスクレイピングアシスタントです。ウェブスクレイパーを構築できるだけでなく、繰り返し発生するウェブリサーチや情報収集タスクを自動で実行することもできます。

​
ユースケース

  1. Webスクレイピングとデータ収集
  2. 自動データ抽出
  3. スクレイピングしたデータの構造化フォーマットへの変換
  4. 静的および動的なWebコンテンツの両方の取り扱い
  5. 繰り返し作業のためのブラウザ自動化
  6. APIリファレンス を使用した自動データ収集パイプラインの構築

​
プロンプト例

​
セッション例

​
絵文字データ処理

絵文字のスクレイピング GitHub リポジトリ内の絵文字 Unicode データをパースして変換し、人間にとって読みやすい形式にする方法を学びます。このセッションでは、絵文字処理のために JSON データソースを扱い、文字列操作を行う方法を紹介します。 https://app.devin.ai/sessions/4f8a7b129820493b9c0ca140cddede50

​
YouTube コンテンツ抽出

YouTube プレイリストのスクレイピング YouTube プレイリストから動画のメタデータをプログラムで抽出する方法を学びます。このセッションでは、YouTube の利用規約を順守しながら、Python を用いて動画のタイトルや説明文、その他のプレイリスト情報にアクセスする方法を解説します。 https://app.devin.ai/sessions/8c6edbbb0bce4b70acd09255e1994c0b

​
Eコマースのデータ収集

eBayデータのスクレイピング eBayの出品一覧から大規模に商品情報を収集する手法を学びます。このセッションでは、ページネーションやレート制限に対応しながら、価格、商品説明、出品者情報を収集するための自動化されたウェブスクレイピング手法を解説します。 https://app.devin.ai/sessions/dc70fe0649cb4041852da384e65d42be