Thu thập dữ liệu web Apify

  # Tích hợp thu thập dữ liệu web Apify Tích hợp này cho phép bạn thực hiện các tác vụ thu thập dữ liệu web bằng Apify trực tiếp trong các cuộc trò chuyện với chatbot của bạn. Bạn có thể chọn thu thập dữ liệu trang web, Instagram hồ sơ hoặc video và phim ngắn trên YouTube. Video giải thích: ## Cấu hình - `apiKey`: Khóa API Apify của bạn. ## Hành động ### Quét trang web Hành động này quét một trang web hoặc một trang bằng Apify. #### Đầu vào - `conversationId`: ID của cuộc trò chuyện: ``. - `startUrls`: Mảng các URL để bắt đầu thu thập dữ liệu. Một hoặc nhiều URL của các trang mà trình thu thập dữ liệu sẽ bắt đầu. Theo mặc định, Actor cũng sẽ thu thập các trang con của các URL này. Ví dụ: đối với URL bắt đầu `https://example.com/blog`, nó cũng sẽ thu thập `https://example.com/blog/post` hoặc `https://example.com/blog/article`. Tùy chọn Bao gồm URL (globs) ghi đè lên hành vi tự động hóa này. - `useSitemaps`: (Tùy chọn) Có sử dụng sơ đồ trang web để thu thập dữ liệu hay không. Mặc định là `false`. - `crawlerType`: (Tùy chọn) Loại trình thu thập dữ liệu sẽ sử dụng. Mặc định là `playwright:adaptive`. #### Đầu ra - `runId`: ID của lượt chạy thu thập dữ liệu. ### Thu thập dữ liệu Instagram
Hành động này cạo một Instagram hồ sơ hoặc bài đăng. #### Đầu vào - `conversationId`: ID của cuộc trò chuyện: ``. - `instagramUrl`: Instagram URL để thu thập. - `scrapeType`: Chọn thu thập thông tin chi tiết về hồ sơ hoặc bài đăng. Mặc định là `posts`. - `maxItems`: (Tùy chọn) Số lượng mục tối đa để thu thập. Mặc định là `1`. #### Đầu ra - `runId`: ID của lượt thu thập. ### Thu thập YouTube Hành động này sẽ thu thập video và phim ngắn trên YouTube. #### Đầu vào - `conversationId`: ID của cuộc trò chuyện: ``. - `searchTerm`: (Tùy chọn) Nhập một thuật ngữ tìm kiếm giống như bạn nhập vào thanh tìm kiếm của YouTube. - `youtubeUrl`: (Tùy chọn) Nhập liên kết đến video, kênh, danh sách phát hoặc trang kết quả tìm kiếm trên YouTube. Lưu ý rằng đầu vào từ Thuật ngữ tìm kiếm sẽ bị bỏ qua khi sử dụng tùy chọn này. - `maxSearchResult`: (Tùy chọn) Giới hạn số lượng video bạn muốn thu thập. Nếu bạn thu thập một kênh, hoạt động như giới hạn cho các video thông thường. Mặc định là `5`. - `maxShorts`: (Tùy chọn) Giới hạn số lượng video Shorts mà bạn muốn thu thập. Mặc định là `0`. #### Đầu ra - `runId`: ID của lượt thu thập dữ liệu. ## Sự kiện ### Apify Scraping Completed Sự kiện này được kích hoạt khi tác vụ thu thập dữ liệu Apify hoàn tất. #### Sơ đồ - `conversationId`: ID của cuộc hội thoại. - `type`: Loại tác vụ thu thập dữ liệu. Có thể hữu ích để tạo bộ lọc trên các sự kiện - `data`: - `defaultDatasetId`: ID của tập dữ liệu có kết quả thu thập dữ liệu. - `results`: Kết quả thu thập dữ liệu. Cấu trúc phụ thuộc vào tác vụ thu thập dữ liệu đã chọn. Xem video thuyết trình để biết thêm về tác vụ này - Một số ví dụ: - Văn bản trang web: `` - Instagram hồ sơ : `` - Youtube : ``