進階網站爬蟲

  #Botpress 整合：Apify 網站內容抓取器

使用 Apify 強大的網路搜刮平台，自動抓取網站並將內容同步至您的Botpress 知識庫。

## 功能

- **網站抓取**：利用可設定的抓取選項從任何網站擷取內容
- 自動同步到知識庫**：抓取的內容會以檔案的形式自動同步到您的Botpress 知識庫。
- **靈活配置**：控制抓取深度、URL模式、內容擷取等。
- 可靠的處理**：內建重試邏輯和持續處理大型爬取
- 多種抓取程式**：支援 Playwright、Cheerio 及 JSDOM 抓取程序

## 使用案例

- 使用來自多個網站的文件訓練您的聊天機器人
- 使用最新的網站內容更新您的知識庫
- 從競爭對手網站或產業資源中擷取知識並建立索引