アピファイ ウェブスクレイピング

v2.0.2

# Apify ウェブスクレイピングの統合

この統合により、チャットボットの会話の中で直接Apifyを使ってWebスクレイピングタスクを実行することができます。ウェブサイト、Instagram のプロフィール、YouTubeのビデオやショートムービーをスクレイピングすることができます。 説明ビデオ:

設定

  • apiKey`:あなたのApify APIキー。

アクション

ウェブサイトをスクレイプする

このアクションはApifyを使ってウェブサイトやページをスクレイピングします。

入力
  • conversationId`:会話のID: ``.
  • startUrls:クロールを開始するURLの配列。クローラーがクロールを開始するページの URL を一つ以上指定する。デフォルトでは、アクターはこれらのURLのサブページもクロールする。例えば、開始URLhttps://example.com/blogに対して、https://example.com/blog/posthttps://example.com/blog/article` もクロールする。Include URLs (globs) オプションはこの自動化の動作を上書きする。
  • useSitemaps: (オプション) クロールにサイトマップを使用するかどうか。デフォルトはfalse` である。
  • crawlerType: (オプション) 使用するクローラのタイプ。デフォルトはplaywright:adaptive` である。
出力
  • runId:スクレイピング実行の ID。

スクレイピングInstagram

このアクションはInstagram のプロフィールや投稿をスクレイピングする。

入力
  • conversationId`:会話のID: ``.
  • instagramUrl`:Instagram スクレイピングするURL。
  • scrapeType:プロフィールの詳細をスクレイピングするか、投稿をスクレイピングするかを選択する。デフォルトはposts` 。
  • maxItems: (オプション) スクレイピングするアイテムの最大数。デフォルトは1` である。
出力
  • runId:スクレイピング実行の ID。

スクレイピングYouTube

このアクションはYouTubeの動画とショートフィルムをスクレイピングする。

入力
  • conversationId`:会話のID: ``.
  • searchTerm: (オプション) YouTubeの検索バーに入力するのと同じように検索語を入力する。
  • youtubeUrl`:(オプション)YouTubeの動画、チャンネル、プレイリスト、検索結果ページへのリンクを入力します。このオプションを使用すると、Search termからの入力は無視されることに注意してください。
  • maxSearchResult: (オプション) クロールする動画の数を制限する。チャンネルをスクレイピングする場合、通常の動画の制限として機能します。デフォルトは5` である。
  • maxShorts: (オプション) クロールする Shorts 動画の数を制限する。デフォルトは0` です。
出力
  • runId:スクレイピング実行の ID。

イベント

アピファイスクレイピング完了

このイベントはApifyのスクレイピングタスクが完了したときにトリガーされます。

スキーマ
  • conversationId`:会話の ID。

  • type`:スクレイピングタスクのタイプ。イベントのフィルタを作成するのに便利である。

  • data`:

  • defaultDatasetId`:スクレイピング結果のデータセットの ID。

  • results: スクレイピング結果:スクレイピングの結果。構造は選択したスクレイピングに依存する。詳しくはプレゼンテーションのビデオを参照のこと。

  • いくつかの例

  • ウェブサイトのテキスト : -Instagram プロフィール :

  • ユーチューブ : ``