Apify Web Scraping

  # Apify Web Scraping Integration

Diese Integration ermöglicht es Ihnen, Web-Scraping-Aufgaben mit Apify direkt in Ihren Chatbot-Konversationen durchzuführen. Sie können wählen, ob Sie Websites, Instagram Profile oder YouTube Videos und Kurzfilme scrapen möchten.
Erklärungsvideo : 

## Konfiguration

- apiSchlüssel": Ihr Apify API-Schlüssel.

## Aktionen

### Scrape Website

Diese Aktion scrapt eine Website oder eine Seite mit Apify.

#### Eingabe

- Konversations-ID": ID der Konversation: ``.
- `startUrls`: Array von URLs, von denen aus gecrawlt werden soll. Eine oder mehrere URLs von Seiten, auf denen der Crawler beginnen soll. Standardmäßig wird der Actor auch Unterseiten dieser URLs crawlen. Zum Beispiel wird für die Start-URL `https://example.com/blog` auch `https://example.com/blog/post` oder `https://example.com/blog/article` gecrawlt. Die Option Include URLs (Globs) setzt dieses Automatisierungsverhalten außer Kraft.
- useSitemaps`: (Optional) Ob Sitemaps für das Crawling verwendet werden sollen. Der Standardwert ist `false`.
- CrawlerType": (Optional) Typ des zu verwendenden Crawlers. Der Standardwert ist "playwright:adaptive".

#### Ausgabe

- DurchlaufId": ID des Scraping-Laufs.

### Scrape Instagram

Diese Aktion kratzt ein Instagram Profil oder Beiträge.

#### Eingabe

- Konversations-ID": ID der Konversation: ``.
- `instagramUrl`: Instagram URL zum Scrapen.
- scrapeType": Wählen Sie aus, ob Sie Profildetails oder Beiträge abrufen möchten. Der Standardwert ist `Posts`.
- MaxItems": (Optional) Maximale Anzahl der zu scrappenden Elemente. Der Standardwert ist `1`.

#### Ausgabe

- DurchlaufId": ID des Scraping-Laufs.

### Scrape YouTube

Diese Aktion durchsucht YouTube Videos und Kurzfilme.

#### Eingabe

- Konversations-ID": ID der Unterhaltung: ``.
- `searchTerm`: (Optional) Geben Sie einen Suchbegriff ein, so wie Sie ihn in der YouTube-Suchleiste eingeben würden.
- youtubeUrl": (Optional) Geben Sie einen Link zu einem YouTube-Video, Kanal, einer Wiedergabeliste oder einer Suchergebnisseite ein. Beachten Sie, dass die Eingabe des Suchbegriffs ignoriert wird, wenn Sie diese Option verwenden.
- MaxSearchResult": (Optional) Begrenzen Sie die Anzahl der Videos, die Sie crawlen möchten. Wenn Sie einen Kanal durchsuchen, dient dies als Begrenzung für reguläre Videos. Der Standardwert ist `5`.
- maxShorts": (Optional) Begrenzt die Anzahl der kurzen Videos, die gecrawlt werden sollen. Der Standardwert ist "0".

#### Ausgabe

- DurchlaufId": ID des Scraping-Laufs.

## Ereignisse

### Apify Scraping abgeschlossen

Dieses Ereignis wird ausgelöst, wenn eine Apify Scraping-Aufgabe abgeschlossen ist.

#### Schema

- UnterredungId": ID der Konversation.
- `Typ`: Typ der Scraping-Aufgabe. Kann nützlich sein, um Filter für Ereignisse zu erstellen.
- data":
  - `defaultDatasetId`: ID des Datensatzes mit den Scraping-Ergebnissen.
  - `Ergebnisse`: Scraping-Ergebnisse. Die Struktur hängt vom gewählten Scraping ab. Sehen Sie sich das Präsentationsvideo an, um mehr darüber zu erfahren

- Einige Beispiele:
  - Website-Text : ``
  - Instagram Profil : ``
  - Youtube : ``