Pengikisan Web Apify

  # Integrasi Scraping Web Apify

Integrasi ini memungkinkan Anda untuk melakukan tugas web scraping menggunakan Apify secara langsung di dalam percakapan chatbot Anda. Anda dapat memilih untuk mengikis situs web, profil Instagram , atau video dan film pendek YouTube.
Video Penjelasan : 

## Konfigurasi

- `apiKey`: Kunci API Apify Anda.

## Tindakan

### Mengikis Situs Web

Tindakan ini mengikis situs web atau halaman menggunakan Apify.

#### Masukan

- `conversationId`: ID percakapan: ``.
- `startUrls`: Larik URL untuk memulai perayapan. Satu atau beberapa URL halaman tempat perayapan akan dimulai. Secara default, Aktor juga akan merayapi sub-halaman dari URL ini. Misalnya, untuk URL awal `https://example.com/blog`, juga akan merayapi `https://example.com/blog/post` atau `https://example.com/blog/article`. Opsi Sertakan URL (globs) mengesampingkan perilaku otomatisasi ini.
- `useSitemaps`: (Opsional) Apakah akan menggunakan peta situs untuk perayapan. Nilai defaultnya adalah `false`.
- `crawlerType`: (Opsional) Jenis perayap yang akan digunakan. Nilai defaultnya adalah `playwright:adaptive`.

#### Keluaran

- `runId`: ID dari proses pengikisan.

### Mengikis Instagram

Tindakan ini mengikis profil atau postingan Instagram .

#### Masukan

- `conversationId`: ID percakapan: ``.
- Masukkan `instagramUrl`: Instagram URL yang akan di-scrape.
- `jenis pengikisan`: Pilih untuk mengikis detail profil atau postingan. Setelan default untuk `posts`.
- `maxItems`: (Opsional) Jumlah maksimum item yang akan di-scrape. Nilai default untuk `1`.

#### Keluaran

- `runId`: ID dari proses pengikisan yang sedang berjalan.

### Mengikis YouTube

Tindakan ini mengikis video dan film pendek YouTube.

#### Masukan

- `id_percakapan`: ID percakapan: ``.
- `searchTerm`: (Opsional) Masukkan istilah pencarian seperti yang Anda masukkan di bilah pencarian YouTube.
- `youtubeUrl`: (Opsional) Masukkan tautan ke video, saluran, daftar putar, atau halaman hasil pencarian YouTube. Perhatikan bahwa masukan dari Istilah pencarian akan diabaikan saat menggunakan opsi ini.
- `maxSearchResult`: (Opsional) Batasi jumlah video yang ingin Anda rayapi. Jika Anda merayapi saluran, ini berfungsi sebagai batas untuk video biasa. Nilai defaultnya adalah `5`.
- `maxShorts`: (Opsional) Batasi jumlah video Pendek yang ingin Anda rayapi. Nilai standarnya adalah `0`.

#### Keluaran

- `runId`: ID dari proses pengikisan yang sedang berjalan.

## Peristiwa

### Apify Scraping Selesai

Peristiwa ini dipicu ketika tugas scraping Apify selesai.

#### Skema

- `conversationId`: ID percakapan.
- `type`: Jenis tugas pengikisan. Dapat berguna untuk membuat filter pada peristiwa
- `data`:
  - `defaultDatasetId`: ID dataset dengan hasil pengikisan.
  - `results`: Hasil pengikisan. Strukturnya tergantung pada pengikisan yang dipilih. Lihat video presentasi untuk mengetahui lebih lanjut tentang hal ini

- Beberapa contoh :
  - Teks situs web : ``
  - Instagram profil : ``
  - Youtube : ``