Apify Web Scraping

  # Apify Web Scraping Integration Nagbibigay-daan sa iyo ang integration na ito na magsagawa ng mga gawain sa web scraping gamit ang Apify nang direkta sa loob ng iyong mga pag-uusap sa chatbot. Maaari mong piliing mag-scrape ng mga website, Instagram mga profile, o mga video sa YouTube at shorts. Video ng Paliwanag : ## Configuration - `apiKey`: Ang iyong Apify API key. ## Actions ### Scrape Website Ang aksyon na ito ay nag-scrape ng website o isang page gamit ang Apify. #### Input - `conversationId`: ID ng pag-uusap: ``. - `startUrls`: Array ng mga URL kung saan magsisimulang mag-crawl. Isa o higit pang mga URL ng mga pahina kung saan magsisimula ang crawler. Bilang default, iko-crawl din ng Actor ang mga sub-page ng mga URL na ito. Halimbawa, para sa panimulang URL na `https://example.com/blog`, iko-crawl din nito ang `https://example.com/blog/post` o `https://example.com/blog/article`. Ino-override ng opsyong Isama ang mga URL (glob) ang pag-uugali ng automation na ito. - `useSitemaps`: (Opsyonal) Kung gagamit ng mga sitemap para sa pag-crawl. Default sa `false`. - `crawlerType`: (Opsyonal) Uri ng crawler na gagamitin. Default sa `playwright:adaptive`. #### Output - `runId`: ID ng scraping run. ### Kuskusin Instagram
Ang pagkilos na ito ay nag-scrape ng isang Instagram profile o mga post. #### Input - `conversationId`: ID ng pag-uusap: ``. - `instagramUrl`: Instagram URL na kakamot. - `scrapeType`: Piliin ang alinman sa pag-scrape ng mga detalye ng profile o mga post. Default sa `post`. - `maxItems`: (Opsyonal) Pinakamataas na bilang ng mga item na kakamot. Default sa `1`. #### Output - `runId`: ID ng scraping run. ### Scrape YouTube Ang pagkilos na ito ay nag-scrape ng mga video at shorts sa YouTube. #### Input - `conversationId`: ID ng pag-uusap: ``. - `searchTerm`: (Opsyonal) Maglagay ng termino para sa paghahanap tulad ng paglalagay mo nito sa search bar ng YouTube. - `youtubeUrl`: (Opsyonal) Maglagay ng link sa isang YouTube video, channel, playlist, o pahina ng mga resulta ng paghahanap. Tandaan na ang input mula sa termino para sa paghahanap ay hindi papansinin kapag ginagamit ang opsyong ito. - `maxSearchResult`: (Opsyonal) Limitahan ang bilang ng mga video na gusto mong i-crawl. Kung kiskisan mo ang isang channel, nagsisilbing limitasyon para sa mga regular na video. Default sa `5`. - `maxShorts`: (Opsyonal) Limitahan ang bilang ng mga video ng Shorts na gusto mong i-crawl. Default sa `0`. #### Output - `runId`: ID ng scraping run. ## Mga Kaganapan ### Nakumpleto ang Apify Scraping Nati-trigger ang kaganapang ito kapag nakumpleto ang isang Apify scraping task. #### Schema - `conversationId`: ID ng pag-uusap. - `type`: Uri ng gawain sa pag-scrape. Maaaring maging kapaki-pakinabang upang lumikha ng filter sa mga kaganapan - `data`: - `defaultDatasetId`: ID ng dataset na may mga resulta ng pag-scrap. - `results`: Pag-scrape ng mga resulta. Ang istraktura ay nakasalalay sa napiling pag-scrape. Tingnan ang video ng pagtatanghal upang malaman ang higit pa tungkol dito - Ilang mga halimbawa : - Teksto ng website : `` - Instagram profile : `` - Youtube : ``