Apify 웹 스크래핑

  # Apify 웹 스크래핑 통합

이 통합을 통해 챗봇 대화 내에서 바로 Apify를 사용하여 웹 스크래핑 작업을 수행할 수 있습니다. 웹사이트, Instagram 프로필 또는 YouTube 동영상 및 쇼트 클립을 스크랩하도록 선택할 수 있습니다.
설명 비디오 : 

## 구성

- `apiKey`: Apify API 키입니다.

## 액션

### 웹사이트 스크랩

이 작업은 Apify를 사용하여 웹사이트 또는 페이지를 스크랩합니다.

#### 입력

- `대화 ID`: 대화의 ID: ``.
- startUrls`: 크롤링을 시작할 URL의 배열입니다. 크롤러가 시작될 페이지의 하나 이상의 URL입니다. 기본적으로 액터는 이러한 URL의 하위 페이지도 크롤링합니다. 예를 들어 시작 URL `https://example.com/blog`의 경우 `https://example.com/blog/post` 또는 `https://example.com/blog/article`도 크롤링합니다. URL 포함(글로브) 옵션은 이 자동화 동작을 재정의합니다.
- useSitemaps`: (선택 사항) 크롤링에 사이트맵을 사용할지 여부입니다. 기본값은 `false`입니다.
- 크롤러 유형`: (선택 사항) 사용할 크롤러 유형입니다. 기본값은 `playwright:adaptive`입니다.

#### 출력

- runId`: 스크래핑 실행의 ID입니다.

### 스크랩 Instagram

이 작업은 Instagram 프로필 또는 게시물을 스크랩합니다.

#### 입력

- `대화 아이디`: 대화의 ID: ``.
- `instagramUrl`: Instagram 스크랩할 URL.
- `스크랩 유형`: 프로필 세부 정보 또는 게시물 중 하나를 선택합니다. 기본값은 `게시글`입니다.
- maxItems`: (선택 사항) 스크랩할 최대 항목 수입니다. 기본값은 `1`입니다.

#### 출력

- runId`: 스크래핑 실행의 ID입니다.

### 유튜브 스크랩

이 작업은 YouTube 동영상과 쇼트 클립을 스크랩합니다.

#### 입력

- `대화 아이디`: 대화의 ID: ``.
- 검색어`: (선택 사항) YouTube의 검색창에 입력하는 것과 같은 검색어를 입력합니다.
- 유튜브유로`: (선택 사항) 유튜브 동영상, 채널, 재생 목록 또는 검색 결과 페이지의 링크를 입력합니다. 이 옵션을 사용할 때는 검색어 입력이 무시됩니다.
- 최대 검색 결과`: (선택 사항) 크롤링할 동영상 수를 제한합니다. 채널을 스크랩하는 경우 일반 동영상에 대한 제한으로 작용합니다. 기본값은 `5`입니다.
- maxShorts`: (선택 사항) 크롤링할 쇼트 동영상 수를 제한합니다. 기본값은 `0`입니다.

#### 출력

- runId`: 스크래핑 실행의 ID입니다.

## 이벤트

### 스크래핑 완료

이 이벤트는 Apify 스크래핑 작업이 완료되면 트리거됩니다.

#### 스키마

- `대화아이디`: 대화의 ID.
- 유형`: 스크래핑 작업의 유형. 이벤트에 대한 필터를 만드는 데 유용할 수 있습니다.
- 데이터`:
  - 기본데이터셋아이디`: 스크래핑 결과가 있는 데이터 세트의 ID입니다.
  - `results`: 스크래핑 결과. 구조는 선택한 스크래핑에 따라 달라집니다. 자세한 내용은 프레젠테이션 동영상을 참조하세요.

- 몇 가지 예제 :
  - 웹사이트 텍스트 : ``
  - Instagram 프로필 : ``
  - 유튜브 : ``