Apify Web Scraping

  # Apify Web Scraping Integration

Ta integracja umożliwia wykonywanie zadań skrobania stron internetowych za pomocą Apify bezpośrednio w konwersacjach chatbota. Możesz wybrać skrobanie stron internetowych, profili Instagram lub filmów i filmów krótkometrażowych z YouTube.
Wyjaśnienie wideo : 

## Konfiguracja

- `apiKey`: Klucz API Apify.

## Działania

### Scrape Website

Ta akcja powoduje zeskrobanie witryny lub strony przy użyciu Apify.

#### Input

- `conversationId`: ID konwersacji: `.
- `startUrls`: Tablica adresów URL, od których rozpocznie się indeksowanie. Jeden lub więcej adresów URL stron, od których rozpocznie się indeksowanie. Domyślnie, Actor będzie również indeksował podstrony tych adresów URL. Na przykład, dla początkowego adresu URL `https://example.com/blog`, będzie on również indeksował `https://example.com/blog/post` lub `https://example.com/blog/article`. Opcja Include URLs (globs) zastępuje to zachowanie automatyzacji.
- `useSitemaps`: (Opcjonalnie) Czy używać map witryn do indeksowania. Domyślnie `false`.
- `crawlerType`: (Opcjonalnie) Typ crawlera do użycia. Domyślnie `playwright:adaptive`.

#### Output

- `runId`: Identyfikator przebiegu skrobania.

### Scrape Instagram

Ta akcja zeskrobuje profil Instagram lub posty.

#### Wejście

- `conversationId`: ID konwersacji: `.
- `instagramUrl`: Instagram URL do zeskrobania.
- `scrapeType`: Wybierz czy chcesz zeskrobać szczegóły profilu czy posty. Domyślnie `posts`.
- `maxItems`: (Opcjonalnie) Maksymalna liczba elementów do zeskrobania. Domyślnie `1`.

#### Output

- `runId`: Identyfikator przebiegu skrobania.

### Scrape YouTube

Ta akcja scrapuje filmy i filmy krótkometrażowe z YouTube.

#### Wejście

- `conversationId`: ID konwersacji: `.
- `searchTerm`: (Opcjonalnie) Wprowadź wyszukiwane hasło tak, jak wpisałbyś je w pasku wyszukiwania YouTube.
- `youtubeUrl`: (Opcjonalnie) Wprowadź link do filmu YouTube, kanału, listy odtwarzania lub strony wyników wyszukiwania. Należy pamiętać, że dane wejściowe z wyszukiwanego hasła będą ignorowane podczas korzystania z tej opcji.
- `maxSearchResult`: (Opcjonalnie) Ogranicz liczbę filmów, które chcesz przeszukać. Jeśli zeskrobujesz kanał, działa jako limit dla zwykłych filmów. Domyślnie `5`.
- `maxShorts`: (Opcjonalnie) Ogranicz liczbę krótkich filmów, które chcesz przeszukać. Domyślnie `0`.

#### Output

- `runId`: Identyfikator przebiegu skrobania.

## Zdarzenia

### Skrobanie Apify zakończone

To zdarzenie jest wyzwalane po zakończeniu zadania skrobania Apify.

#### Schema

- `conversationId`: ID konwersacji.
- `type`: Typ zadania scrapingu. Może być przydatny do tworzenia filtrów zdarzeń
- `data`:
  - `defaultDatasetId`: ID zbioru danych z wynikami scrapingu.
  - `results`: Wyniki scrapingu. Struktura zależy od wybranego scrapingu. Zobacz prezentację wideo, aby dowiedzieć się więcej na ten temat

- Kilka przykładów:
  - Tekst strony internetowej : ``
  - Profil Instagram : ``
  - Youtube : ``