Botpress Tổng giám đốc điều hành trên OpenAI o1 so với các nút tự động

Có một số điểm tương đồng lớn giữa OpenAI mô hình o1 mới của và Botpress Các nút tự động, đúng không?

Chắc chắn là có. Thật buồn cười khi thấy o1 xuất hiện. Nhưng điều quan trọng cần lưu ý là chúng ta không so sánh táo với táo ở đây. 

OpenAI o1 rõ ràng là một LLM , trong khi Autonomous Nodes là một tính năng nền tảng. Bạn thậm chí có thể cắm o1 vào Botpress và sử dụng nó với các Nút tự động của bạn.  

Nhưng cả hai đều sử dụng phương pháp suy luận chuỗi suy nghĩ , một cách tiếp cận từ dưới lên để đi đến kết luận về việc nên làm gì và nên nói gì.

Bạn có thể giải thích về lý luận chuỗi suy nghĩ và sự khác biệt của nó so với cách các mô hình ngôn ngữ thường tạo ra phản hồi không?

Tất nhiên – hầu hết LLMs tạo ra phản hồi bằng cách dự đoán từ tiếp theo dựa trên từ trước đó – chúng tạo ra từ đầu tiên, sau đó sử dụng từ đó để tạo ra từ tiếp theo, cứ thế tiếp tục. Điều này hiệu quả khi trả lời các câu hỏi đơn giản, nhưng lại thất bại thảm hại trong các nhiệm vụ phức tạp hơn với lý luận nhiều bước.

Ngược lại, lý luận chuỗi suy nghĩ là khi AI chia nhỏ một nhiệm vụ thành các bước nhỏ hơn và lý luận rõ ràng qua từng bước trước khi tiến hành bước tiếp theo. Tương tự như cách học sinh được yêu cầu xây dựng câu trả lời trong bài kiểm tra STEM. 

Ví dụ, nếu AI đang tạo khách hàng tiềm năng trong CRM – nơi nó cần kiểm tra trùng lặp, chỉ định khách hàng tiềm năng, v.v. – nó cần sử dụng lý luận chuỗi suy nghĩ để suy nghĩ về từng bước và lập kế hoạch cho một chuỗi hành động đầy đủ trước khi bắt đầu thực hiện. Nó không bắt đầu điền vào biểu mẫu trước khi nhận ra đó là trùng lặp, nó biết trước khi bắt đầu.

Vì vậy, hệ thống có thể xử lý các tác vụ phức tạp hơn với nhiều sự phụ thuộc, nhưng cũng làm chậm lại vì phải tạm dừng và suy nghĩ, thay vì chỉ tạo ra ngay lập tức.

Cả o1 và Autonomous Node đều sử dụng lý luận chuỗi suy nghĩ – liệu cả hai đều có cùng một quy trình hay có sự khác biệt nào giữa hai quy trình này không?

Có một số điểm tương đồng và một số điểm khác biệt. Chúng tôi vẫn sử dụng lý luận chuỗi suy nghĩ, nhưng vì chúng tôi đang xây dựng cho khách hàng thực tế nên chúng tôi tối ưu hóa tốc độ và hiệu quả theo một số cách khác nhau. 

Với Autonomous Nodes, chúng tôi thiết kế hệ thống để xử lý nhiều hành động trong một lệnh gọi LLM . Ý tưởng là suy nghĩ và hành động trong cùng một quy trình, do đó chúng tôi không mất thời gian. 

Các nút tự động suy nghĩ và cung cấp thông tin cập nhật cho người dùng để người dùng không chỉ chờ đợi quá trình suy nghĩ của mình kết thúc. Điều này giống với các cuộc trò chuyện tự nhiên hơn, trong đó một người sẽ không phải chờ đợi trong trạng thái hồi hộp trong hơn 30 giây. Các nhà phát triển có thể xem xét những suy nghĩ ẩn giấu của LLM và khắc phục sự cố.

Mặt khác, o1 chỉ trả về một câu trả lời và khả năng hiển thị quá trình suy nghĩ của nó bị hạn chế. OpenAI cung cấp bản tóm tắt về chuỗi suy nghĩ mà không hiển thị nó, khiến việc khắc phục sự cố trở nên khó khăn hơn.

Có sự khác biệt nào khác giữa hai cái này không?

o1 yêu cầu một nhà phát triển hoặc một nền tảng để lưu trữ các hàm gọi các lệnh gọi công cụ. Mỗi bước yêu cầu một lệnh gọi API riêng, nghĩa là mô hình phải yêu cầu một hành động, chờ kết quả, rồi gọi hành động tiếp theo. Và bạn cần phải gọi đệ quy lặp đi lặp lại. Điều này làm cho rào cản sử dụng nó cao hơn, vì bạn phải cung cấp kiến trúc chạy hàm cơ bản. 

Các nút tự động thực hiện việc này một cách tự động ở chế độ nền.

So sánh o1 về chi phí và tốc độ như thế nào?

Giả sử bạn đang sử dụng một LLM hoặc tác nhân AI hỗ trợ các tác vụ của Hubspot, như trò chuyện với khách truy cập trang web như một cách để tạo khách hàng tiềm năng bằng AI .

Nếu bạn yêu cầu o1 điền vào biểu mẫu khách hàng tiềm năng trên Hubspot – ý tôi là, giả sử bạn có thể kết nối mà không cần trình kết nối của bên thứ ba – sẽ mất 12 giây và tốn kém gấp 5 lần so với khi bạn thực hiện trên Botpress .

Một phần tốc độ đến từ thiết kế dựa trên lược đồ của nền tảng, nghĩa là hệ thống biết trước dữ liệu nào là cần thiết và cấu trúc của dữ liệu đó như thế nào. 

Vì vậy, khi bạn làm việc với một công cụ như HubSpot hoặc Salesforce, hệ thống đã có lược đồ JSON được xác định trước cho biết thông tin đầu vào cần thiết – những thông tin như tên, địa chỉ email, tên công ty, v.v. 

Điều này cho phép các Nút tự động suy luận toàn bộ nhiệm vụ ngay từ đầu mà không cần phải dừng lại và yêu cầu thêm thông tin ở mỗi bước.

Bạn có thể giảm tốc độ và các bước bằng cách tự cung cấp ngữ cảnh, nhưng phải trả giá bằng việc dành nhiều thời gian hơn để xây dựng ứng dụng dựa trên o1. Vì vậy, đó cũng là vấn đề tăng chi phí bảo trì. 

Bạn đề cập đến độ tin cậy cao hơn. Điều gì khiến Autonomous Nodes đáng tin cậy hơn o1?

Cách lớn nhất để chúng tôi làm cho đầu ra đáng tin cậy hơn là kết hợp chuỗi suy luận với công cụ gọi giao thức mà chúng tôi đã tạo ra. 

Những gì chúng tôi đã làm về cơ bản là tạo ra một môi trường nơi nó có thể suy nghĩ - và tất cả đều bằng mã, không phải văn bản thuần túy. Thành thật mà nói, nó nhanh hơn và đáng tin cậy hơn OpenAI phiên bản này vì một số lý do.

Một là nó có thể nói đồng thời, trong suốt chuỗi hành động. Đó là điều mà OpenAI mô hình không làm được. 

Một lý do khác là AI biết về lược đồ đầu ra. Nó biết loại JSON nào cần phải đưa ra dựa trên truy vấn mà nó nhận được. 

Và đó là điều mà các nhà phát triển có thể tự điều chỉnh. Nếu họ đang sử dụng điều này và họ nhận được rất nhiều câu hỏi tương tự từ người dùng, giống như hầu hết mọi người, họ có thể điều chỉnh AI để đưa ra câu trả lời tốt nhất và phù hợp nhất mọi lúc.  

JSON được sử dụng trong bao nhiêu phần của quy trình?

Tiếng Anh thông thường không đáng tin cậy, đúng không? Nó không đủ trang trọng. Nó không đủ nghiêm ngặt. 

Ngôn ngữ lập trình là một ngôn ngữ, nhưng nó mang tính hình thức. Nó là ngôn ngữ dành riêng cho một miền; bạn chỉ có thể sử dụng nó trong một số ranh giới và vai trò cú pháp nhất định.

Vì vậy, công cụ của chúng tôi gọi trả lời bằng JSON thay vì tiếng Anh . Đó là đầu ra JSON với lược đồ JSON thay vì văn bản thuần túy.

Khi bạn đưa ra yêu cầu tạo biểu mẫu khách hàng tiềm năng trong Hubspot, biểu mẫu đó sẽ được viết bằng JSON và lược đồ – cũng bằng JSON – sẽ cung cấp tất cả các thuộc tính cần thiết như tên, công ty, v.v.

Sự khác biệt chính giữa việc gọi công cụ giữa các Nút tự động và mô hình o1 là gì?

Công cụ gọi của chúng tôi có khả năng nhận thức ngữ cảnh cao. Nó hiểu tất cả các hệ thống của bạn, tất cả các hành động mà nó có thể thực hiện và cách dữ liệu đó có thể được đưa vào công cụ tiếp theo. Và chúng tôi có thể tạo một khối mã cung cấp tất cả những điều này cùng nhau, cộng với đưa ra câu trả lời, tất cả trong một LLM gọi.

Về mặt lý thuyết, bạn có thể sử dụng API o1 để gọi công cụ, nhưng có những hạn chế về những gì bạn có thể gọi công cụ. Nhưng Botpress được xây dựng cho nó. Chúng tôi có lan can trên đầu trang của khác LLMs , bao gồm GPT . 

Các nút tự động cũng có thể nói chuyện đồng thời trong khi gọi các công cụ , đây không phải là điều mà OpenAI hiện đang hỗ trợ. Điều này giúp tiết kiệm thời gian đi lại đến máy chủ và mang lại trải nghiệm người dùng đàm thoại tốt hơn, vì người dùng được thông báo trước khi bắt đầu một tác vụ chạy lâu.

Hầu hết các tổ chức được cảnh báo không nên sử dụng ChatGPT với dữ liệu công việc an toàn. Có ít lo ngại hơn đối với các Nút tự động không?

Nền tảng của chúng tôi được xây dựng cho các môi trường có khối lượng lớn, độ trễ thấp và chúng tôi đã thiết kế nó dựa trên nhu cầu thực tế của các doanh nghiệp.

Ưu điểm của Autonomous Nodes không phải là chúng tôi đã tạo ra một loại AI hoàn toàn mới – mà là chúng tôi đã sử dụng công nghệ hiện có và áp dụng kỹ thuật thông minh để làm cho nó hoạt động tốt hơn cho nhu cầu kinh doanh. 

Chúng tôi có các hộp cát an toàn để AI tạo ra giao tiếp. Khi bạn sử dụng một Nút tự động, nó sẽ chạy các hộp cát bí mật này miễn phí. Chúng an toàn, có thể mở rộng. Và sau đó, hộp cát sẽ bị phá hủy. 

Đây là một sự cô lập ảo với hai lớp – kiểm tra vào và kiểm tra ra. Nó khá phức tạp. Nhưng nó có nghĩa là chúng ta có thể chạy quy mô lớn LLM - tạo ra mã có rủi ro bảo mật tối thiểu.

Nếu các nhà phát triển hoặc người đam mê AI muốn dùng thử Autonomous Node, họ phải làm gì?

Chúng tôi có một gói miễn phí hào phóng. Tất cả người dùng của chúng tôi đều có thể dùng thử. Chúng tôi nghĩ rằng đó là một tính năng quá tuyệt vời để giới hạn. Vậy nên, hãy tạo một gói miễn phí Botpress tài khoản và bạn có thể tự mình xem. 

Hoàn hảo. Cảm ơn rất nhiều vì đã ngồi lại để kết nối các điểm giữa hai tính năng. o1 đang tạo ra rất nhiều tiêu đề; thật tuyệt khi hiểu rõ hơn cách nó liên kết với những gì Botpress đang phát triển.