Apify Web Scraping

  # Integrazione di Apify Web Scraping

Questa integrazione consente di eseguire operazioni di web scraping utilizzando Apify direttamente all'interno delle conversazioni del chatbot. È possibile scegliere di eseguire lo scraping di siti web, profili Instagram o video e cortometraggi di YouTube.
Video esplicativo: 

## Configurazione

- `apiKey`: La chiave API di Apify.

## Azioni

### Raschiamento del sito web

Questa azione esegue lo scrape di un sito web o di una pagina utilizzando Apify.

#### Ingresso

- `conversationId`: ID della conversazione: ``.
- `startUrls`: Array di URL da cui avviare il crawling. Uno o più URL di pagine da cui iniziare il crawling. Per impostazione predefinita, l'Attore effettuerà il crawling anche delle sottopagine di questi URL. Ad esempio, per l'URL di partenza `https://example.com/blog`, verrà effettuato il crawling anche di `https://example.com/blog/post` o `https://example.com/blog/article`. L'opzione Includi URL (globi) annulla questo comportamento di automazione.
- `useSitemaps`: (Opzionale) Se utilizzare le sitemap per il crawling. L'impostazione predefinita è `false`.
- `crawlerType`: (Opzionale) Tipo di crawler da usare. L'impostazione predefinita è `playwright:adaptive`.

#### Uscita

- `runId`: ID dell'esecuzione di scraping.

### Scrape Instagram

Questa azione esegue lo scraping di un profilo o di post di Instagram .

#### Ingresso

- `conversationId`: ID della conversazione: ``.
- `instagramUrl`: Instagram URL da raschiare.
- `scrapeType`: Scegliere se raschiare i dettagli del profilo o i post. L'impostazione predefinita è `post`.
- `maxItems`: (opzionale) Numero massimo di elementi da analizzare. Per impostazione predefinita, `1`.

#### Output

- `runId`: ID della corsa di scraping.

### Scrape YouTube

Questa azione esegue lo scraping di video e cortometraggi di YouTube.

#### Ingresso

- `conversationId`: ID della conversazione: ``.
- `searchTerm`: (Facoltativo) Inserire un termine di ricerca come se fosse inserito nella barra di ricerca di YouTube.
- `youtubeUrl`: (Facoltativo) Inserire un link a un video, un canale, una playlist o una pagina di risultati di ricerca di YouTube. Si noti che l'immissione del termine di ricerca viene ignorata quando si utilizza questa opzione.
- `maxSearchResult`: (Opzionale) Limita il numero di video da scansionare. Se si esegue lo scraping di un canale, agisce come limite per i video regolari. L'impostazione predefinita è `5`.
- `maxShorts`: (Facoltativo) Limita il numero di video brevi che si desidera scansionare. L'impostazione predefinita è `0`.

#### Uscita

- `runId`: ID della corsa di scraping.

## Eventi

### Scraping Apify completato

Questo evento viene attivato quando un'attività di scraping di Apify viene completata.

#### Schema

- `conversationId`: ID della conversazione.
- `tipo`: Tipo di attività di scraping. Può essere utile per creare filtri sugli eventi
- `data`:
  - `defaultDatasetId`: ID del dataset con i risultati dello scraping.
  - `risultati`: Risultati dello scraping. La struttura dipende dallo scraping scelto. Vedere il video di presentazione per saperne di più

- Alcuni esempi:
  - Testo del sito web : ``
  - Profilo di Instagram : ``
  - Youtube : ``