Apify Web Scraping

  # Intégration d'Apify Web Scraping

Cette intégration vous permet d'effectuer des tâches de web scraping à l'aide d'Apify directement dans les conversations de votre chatbot. Vous pouvez choisir de récupérer des sites web, des profils Instagram ou des vidéos et des courts métrages YouTube.
Vidéo d'explication : 

## Configuration

- `apiKey` : Votre clé API Apify.

## Actions

### Scraper le site web

Cette action permet de récupérer un site web ou une page à l'aide d'Apify.

#### Entrée

- `conversationId` : ID de la conversation : ``.
- `startUrls` : Tableau d'URLs à partir desquelles le crawler doit commencer. Une ou plusieurs URL de pages où le crawler commencera. Par défaut, l'Acteur va également explorer les sous-pages de ces URLs. Par exemple, pour l'URL de départ `https://example.com/blog`, il explorera également `https://example.com/blog/post` ou `https://example.com/blog/article`. L'option Inclure les URLs (globs) permet d'outrepasser ce comportement d'automatisation.
- `useSitemaps` : (Optionnel) Utiliser ou non les sitemaps pour l'exploration. La valeur par défaut est `false`.
- `crawlerType` : (Optionnel) Type de crawler à utiliser. La valeur par défaut est `playwright:adaptive`.

#### Sortie

- `runId` : ID de l'exécution du scraping.

### Scrape Instagram

Cette action récupère un profil ou des messages sur Instagram .

#### Entrée

- `conversationId` : ID de la conversation : ``.
- `instagramUrl` : Instagram URL à récupérer.
- `scrapeType` : Choisissez de récupérer les détails du profil ou les posts. La valeur par défaut est `posts`.
- `maxItems` : (Facultatif) Nombre maximum d'éléments à récupérer. La valeur par défaut est `1`.

#### Sortie

- `runId` : ID de l'opération de scraping.

### Scrape YouTube

Cette action récupère les vidéos et les courts métrages de YouTube.

#### Entrée

- `conversationId` : ID de la conversation : ``.
- `searchTerm` : (Facultatif) Entrez un terme de recherche comme vous le feriez dans la barre de recherche de YouTube.
- `youtubeUrl` : (Facultatif) Entrez un lien vers une vidéo, une chaîne, une liste de lecture ou une page de résultats de recherche de YouTube. Notez que la saisie du terme de recherche sera ignorée lors de l'utilisation de cette option.
- `maxSearchResult` : (Facultatif) Limite le nombre de vidéos à explorer. Si vous scrapez une chaîne, cela agit comme une limite pour les vidéos régulières. La valeur par défaut est `5`.
- `maxShorts` : (Facultatif) Limite le nombre de vidéos courtes que vous souhaitez explorer. La valeur par défaut est `0`.

#### Sortie

- `runId` : ID de l'exécution du scraping.

## Événements

### Apify Scraping Completed

Cet événement est déclenché lorsqu'une tâche de scraping Apify est terminée.

#### Schéma

- `conversationId` : ID de la conversation.
- `type` : Type de tâche de scraping. Peut être utile pour créer des filtres sur les événements
- `data` :
  - `defaultDatasetId` : ID de l'ensemble de données contenant les résultats du scraping.
  - `results` : Résultats du scraping. La structure dépend du scraping choisi. Voir la vidéo de présentation pour en savoir plus

- Quelques exemples :
  - Texte du site web : ``
  - Instagram profil : ``
  - Youtube : ``