メインコンテンツへスキップ

​
概要

Devin は、あなたのために休まず働くウェブスクレイピングアシスタントです。ウェブスクレイパーを構築できるだけでなく、繰り返し発生するウェブリサーチや情報収集タスクを自動で実行することもできます。

​
ユースケース

  1. Webスクレイピングとデータ収集
  2. 自動データ抽出
  3. スクレイピングしたデータの構造化フォーマットへの変換
  4. 静的および動的なWebコンテンツの両方の取り扱い
  5. 繰り返し作業のためのブラウザ自動化
  6. APIリファレンス を使用した自動データ収集パイプラインの構築

​
プロンプト例

Scrape emojis
このリポジトリ (https://github.com/muan/unicode-emoji-json) を使って、https://www.gstatic.com/android/keyboard/emojikitchen/20201001/u1f600/u1f600_u2615.png のような文字列から 2 つの絵文字コード (u1f600, u2615) を抽出し、それらを実際の絵文字に変換してから "grinning_face_warm_beverage" に変換する関数を書いてください。
Scrape website
## 概要
このプレイブックは、Web サイトをスクレイピングして結果をユーザーに返すとともに、その結果を生成するために使用したクライアントサイドおよびサーバーサイドのスクレイピングスクリプトも併せて返すために使用できます。
Download logos
Fortune 500 企業のうち 50 社のロゴを検索してダウンロードしてください。

​
セッション例

​
絵文字データ処理

絵文字のスクレイピング GitHub リポジトリ内の絵文字 Unicode データをパースして変換し、人間にとって読みやすい形式にする方法を学びます。このセッションでは、絵文字処理のために JSON データソースを扱い、文字列操作を行う方法を紹介します。 https://app.devin.ai/sessions/4f8a7b129820493b9c0ca140cddede50

​
YouTube コンテンツ抽出

YouTube プレイリストのスクレイピング YouTube プレイリストから動画のメタデータをプログラムで抽出する方法を学びます。このセッションでは、YouTube の利用規約を順守しながら、Python を用いて動画のタイトルや説明文、その他のプレイリスト情報にアクセスする方法を解説します。 https://app.devin.ai/sessions/8c6edbbb0bce4b70acd09255e1994c0b

​
Eコマースデータの収集

eBay データのスクレイピング eBay の商品リスティングから大規模に商品情報を収集する手法を学びます。このセッションでは、ページネーションやレート制限に対処しながら、価格、商品説明、出品者情報を自動的に収集するための Web スクレイピング手法を解説します。 https://app.devin.ai/sessions/dc70fe0649cb4041852da384e65d42be