# Apify ウェブスクレイピングの統合
この統合により、チャットボットの会話の中で直接Apifyを使ってWebスクレイピングタスクを実行することができます。ウェブサイト、Instagram のプロフィール、YouTubeのビデオやショートムービーをスクレイピングすることができます。 説明ビデオ:
設定
- apiKey`:あなたのApify APIキー。
アクション
ウェブサイトをスクレイプする
このアクションはApifyを使ってウェブサイトやページをスクレイピングします。
入力
- conversationId`:会話のID: ``.
- startUrls
:クロールを開始するURLの配列。クローラーがクロールを開始するページの URL を一つ以上指定する。デフォルトでは、アクターはこれらのURLのサブページもクロールする。例えば、開始URL
https://example.com/blogに対して、
https://example.com/blog/postや
https://example.com/blog/article` もクロールする。Include URLs (globs) オプションはこの自動化の動作を上書きする。 - useSitemaps
: (オプション) クロールにサイトマップを使用するかどうか。デフォルトは
false` である。 - crawlerType
: (オプション) 使用するクローラのタイプ。デフォルトは
playwright:adaptive` である。
出力
runId
:スクレイピング実行の ID。
スクレイピングInstagram
このアクションはInstagram のプロフィールや投稿をスクレイピングする。
入力
- conversationId`:会話のID: ``.
- instagramUrl`:Instagram スクレイピングするURL。
- scrapeType
:プロフィールの詳細をスクレイピングするか、投稿をスクレイピングするかを選択する。デフォルトは
posts` 。 - maxItems
: (オプション) スクレイピングするアイテムの最大数。デフォルトは
1` である。
出力
runId
:スクレイピング実行の ID。
スクレイピングYouTube
このアクションはYouTubeの動画とショートフィルムをスクレイピングする。
入力
- conversationId`:会話のID: ``.
searchTerm
: (オプション) YouTubeの検索バーに入力するのと同じように検索語を入力する。- youtubeUrl`:(オプション)YouTubeの動画、チャンネル、プレイリスト、検索結果ページへのリンクを入力します。このオプションを使用すると、Search termからの入力は無視されることに注意してください。
- maxSearchResult
: (オプション) クロールする動画の数を制限する。チャンネルをスクレイピングする場合、通常の動画の制限として機能します。デフォルトは
5` である。 - maxShorts
: (オプション) クロールする Shorts 動画の数を制限する。デフォルトは
0` です。
出力
runId
:スクレイピング実行の ID。
イベント
アピファイスクレイピング完了
このイベントはApifyのスクレイピングタスクが完了したときにトリガーされます。
スキーマ
conversationId`:会話の ID。
type`:スクレイピングタスクのタイプ。イベントのフィルタを作成するのに便利である。
data`:
defaultDatasetId`:スクレイピング結果のデータセットの ID。
results
: スクレイピング結果:スクレイピングの結果。構造は選択したスクレイピングに依存する。詳しくはプレゼンテーションのビデオを参照のこと。いくつかの例
ウェブサイトのテキスト :
-Instagram プロフィール :
ユーチューブ : ``