アピファイ ウェブスクレイピング

  # Apify ウェブスクレイピングの統合

この統合により、チャットボットの会話の中で直接Apifyを使ってWebスクレイピングタスクを実行することができます。ウェブサイト、Instagram のプロフィール、YouTubeのビデオやショートムービーをスクレイピングすることができます。
説明ビデオ： 

## 設定

- apiKey`：あなたのApify APIキー。

## アクション

### ウェブサイトをスクレイプする

このアクションはApifyを使ってウェブサイトやページをスクレイピングします。

#### 入力

- conversationId`：会話のID: ``.
- startUrls`：クロールを開始するURLの配列。クローラーがクロールを開始するページの URL を一つ以上指定する。デフォルトでは、アクターはこれらのURLのサブページもクロールする。例えば、開始URL `https://example.com/blog` に対して、`https://example.com/blog/post` や `https://example.com/blog/article` もクロールする。Include URLs (globs) オプションはこの自動化の動作を上書きする。
- useSitemaps`: (オプション) クロールにサイトマップを使用するかどうか。デフォルトは `false` である。
- crawlerType`: (オプション) 使用するクローラのタイプ。デフォルトは `playwright:adaptive` である。

#### 出力

- `runId`：スクレイピング実行の ID。

### スクレイピングInstagram

このアクションはInstagram のプロフィールや投稿をスクレイピングする。

#### 入力

- conversationId`：会話のID: ``.
- instagramUrl`：Instagram スクレイピングするURL。
- scrapeType`：プロフィールの詳細をスクレイピングするか、投稿をスクレイピングするかを選択する。デフォルトは `posts` 。
- maxItems`: (オプション) スクレイピングするアイテムの最大数。デフォルトは `1` である。

#### 出力

- `runId`：スクレイピング実行の ID。

### スクレイピングYouTube

このアクションはYouTubeの動画とショートフィルムをスクレイピングする。

#### 入力

- conversationId`：会話のID: ``.
- `searchTerm`: (オプション) YouTubeの検索バーに入力するのと同じように検索語を入力する。
- youtubeUrl`：（オプション）YouTubeの動画、チャンネル、プレイリスト、検索結果ページへのリンクを入力します。このオプションを使用すると、Search termからの入力は無視されることに注意してください。
- maxSearchResult`: (オプション) クロールする動画の数を制限する。チャンネルをスクレイピングする場合、通常の動画の制限として機能します。デフォルトは `5` である。
- maxShorts`: (オプション) クロールする Shorts 動画の数を制限する。デフォルトは `0` です。

#### 出力

- `runId`：スクレイピング実行の ID。

## イベント

##アピファイスクレイピング完了

このイベントはApifyのスクレイピングタスクが完了したときにトリガーされます。

#### スキーマ

- conversationId`：会話の ID。
- type`：スクレイピングタスクのタイプ。イベントのフィルタを作成するのに便利である。
- data`：
  - defaultDatasetId`：スクレイピング結果のデータセットの ID。
  - `results`: スクレイピング結果：スクレイピングの結果。構造は選択したスクレイピングに依存する。詳しくはプレゼンテーションのビデオを参照のこと。

- いくつかの例
  - ウェブサイトのテキスト : ``
  -Instagram プロフィール : ``
  - ユーチューブ : ``