Làm thế nào ChatGPT làm?

1. Sinh sản

ChatGPT là một mô hình AI tạo sinh – nó có thể tạo ra văn bản, mã, hình ảnh và âm thanh. Các ví dụ khác về AI tạo sinh là các công cụ tạo hình ảnh như DALL-E hoặc máy phát âm thanh.

2. Được đào tạo trước

Mặt 'được đào tạo trước' của ChatGPT là lý do tại sao nó dường như biết mọi thứ trên internet. GPT mô hình được đào tạo trên khối lượng dữ liệu lớn trong một quá trình gọi là 'học không giám sát'.

Trước ChatGPT , Các mô hình AI được xây dựng với học có giám sát – chúng được cung cấp các đầu vào và đầu ra được dán nhãn rõ ràng và được dạy cách ánh xạ chúng với nhau. Quá trình này khá chậm, vì các tập dữ liệu phải được biên soạn bởi con người.

Khi đầu GPT Các mô hình được tiếp xúc với các tập dữ liệu lớn mà chúng được đào tạo, chúng tiếp thu các mẫu ngôn ngữ và ý nghĩa theo ngữ cảnh từ nhiều nguồn khác nhau. 

Đây là lý do tại sao ChatGPT là một chatbot có kiến thức chung – nó đã được đào tạo trên một tập dữ liệu khổng lồ trước khi được công bố cho công chúng.

Người dùng muốn đào tạo thêm GPT động cơ – để trở nên chuyên môn hóa trong một số nhiệm vụ nhất định, như viết báo cáo cho tổ chức độc đáo của bạn – có thể sử dụng các kỹ thuật để tùy chỉnh LLMs .  

3. Máy biến áp

Transformers là một loại kiến trúc mạng nơ-ron được giới thiệu trong một bài báo năm 2017 có tựa đề "Attention is All You Need" của Vaswani và cộng sự. Trước khi có transformers, các mô hình như mạng nơ-ron hồi quy (RNN) và mạng bộ nhớ dài hạn ngắn (LSTM) thường được sử dụng để xử lý chuỗi văn bản. 

Mạng RNN và LSTM sẽ đọc đầu vào văn bản theo trình tự, giống như cách con người làm. Nhưng kiến trúc máy biến áp có thể xử lý và đánh giá từng từ trong câu cùng một lúc, cho phép nó chấm điểm một số từ có liên quan hơn, ngay cả khi chúng ở giữa hoặc cuối câu. Đây được gọi là cơ chế tự chú ý. 

Hãy xem xét câu sau: “Con chuột không thể chui vừa vào lồng vì nó quá to.”

Một người biến đổi có thể đánh giá từ "chuột" quan trọng hơn từ "lồng" và xác định đúng rằng "nó" trong câu ám chỉ đến con chuột. 

Nhưng một mô hình như RNN có thể hiểu "nó" là cái lồng, vì đó là danh từ được xử lý gần đây nhất.

Mặt 'biến đổi' cho phép ChatGPT để hiểu rõ hơn bối cảnh và đưa ra những phản ứng thông minh hơn so với thế hệ trước. 

Xử lý ngôn ngữ tự nhiên là gì?

Xử lý ngôn ngữ tự nhiên (NLP) là một nhánh của trí tuệ nhân tạo tập trung vào sự tương tác giữa máy tính và con người thông qua ngôn ngữ tự nhiên. 

Nó cho phép máy móc hiểu, giải thích và tạo ra ngôn ngữ của con người theo cách vừa có ý nghĩa vừa hữu ích.

NLP so với NLU so với NLG

NLP là một lĩnh vực rộng bao gồm nhiều phân ngành khác nhau, trong đó có hiểu ngôn ngữ tự nhiên (NLU) và tạo ngôn ngữ tự nhiên (NLG). 

NLP là lĩnh vực bao quát, trong khi NLU và NLG là các lĩnh vực chuyên biệt trong đó. Đó là bởi vì xử lý ngôn ngữ tự nhiên phải liên quan đến cả sự hiểu biết, sau đó là thế hệ trong một cuộc trò chuyện qua lại.

NLP hoạt động như thế nào?

NLU phân tích ngôn ngữ con người để diễn giải ý nghĩa và mục đích của nó. Sau đây là cách thức hoạt động từng bước:

1. Văn bản được xử lý trước để loại bỏ các thành phần không cần thiết (như dấu câu và từ dừng).
2. Hệ thống xác định các thành phần chính như thực thể, từ khóa và cụm từ trong văn bản.
3. Nó phân tích cấu trúc câu để hiểu mối quan hệ giữa các từ và khái niệm.
4. Mô hình NLU ánh xạ các yếu tố được nhận dạng với các mục đích hoặc ý định cụ thể.
5. Công cụ NLU cải thiện khả năng hiểu biết dựa trên ngữ cảnh và lịch sử tương tác của người dùng.

Hệ thống cung cấp đầu ra có cấu trúc có thể kích hoạt các hành động hoặc phản hồi thích hợp.

Đào tạo trước

Đầu tiên, mô hình AI được tiếp xúc với một lượng lớn dữ liệu văn bản – từ sách, trang web và các tệp khác. 

Trong quá trình đào tạo trước, mô hình học cách dự đoán từ tiếp theo trong câu, giúp hiểu được các mẫu trong ngôn ngữ. Về cơ bản, nó xây dựng sự hiểu biết thống kê về ngôn ngữ, cho phép tạo ra văn bản nghe có vẻ mạch lạc.

Tinh chỉnh

Sau khi đào tạo trước, mô hình được tinh chỉnh trên các tập dữ liệu cụ thể hơn. Đối với ChatGPT , bao gồm các tập dữ liệu được tuyển chọn cho các cuộc trò chuyện. 

Một phần quan trọng của bước này liên quan đến Học tăng cường từ phản hồi của con người (RLHF), trong đó người huấn luyện xếp hạng các phản hồi của mô hình. Vòng phản hồi này giúp ChatGPT cải thiện khả năng tạo ra các phản hồi phù hợp, hữu ích và chính xác về mặt ngữ cảnh.

Mã thông báo

Các đơn vị văn bản (từ hoặc các phần của từ) mà mô hình xử lý. ChatGPT Đầu vào và đầu ra được mã hóa để tính toán hiệu quả.

Học không cần bắn

Khả năng của mô hình thực hiện các nhiệm vụ mà nó chưa được đào tạo cụ thể bằng cách dựa vào kiến thức chung của nó. 

Học một lần liên quan đến việc đưa cho mô hình một ví dụ, trong khi học n lần liên quan đến việc đưa cho mô hình nhiều ví dụ để học. 

Cơ chế chú ý

Một thành phần của mô hình biến đổi cho phép tập trung vào các phần khác nhau của văn bản đầu vào khi tạo phản hồi.

Ảo giác

Một mô hình AI 'ảo giác' khi nó tạo ra thông tin không chính xác hoặc vô nghĩa. Ảo giác có thể được giảm thiểu bằng các chiến lược như thế hệ tăng cường truy xuất (RAG) .

Lý luận chuỗi suy nghĩ

Một phương pháp giúp mô hình suy nghĩ từng bước, cải thiện khả năng xử lý các lời nhắc hoặc nhiệm vụ phức tạp. 

Một số ChatGPT các mô hình được tự động trang bị chiến lược này – giống như các mô hình OpenAI o1 mới nhất. Nhưng bạn có thể yêu cầu bất kỳ phiên bản nào thực hiện suy luận chuỗi suy nghĩ : chỉ cần yêu cầu nó giải thích suy luận của nó từng bước.

Đào tạo trước

Giai đoạn đầu tiên, mô hình được đào tạo trên một tập dữ liệu lớn để học các mẫu ngôn ngữ trước khi được tinh chỉnh cho các nhiệm vụ cụ thể.

Tinh chỉnh 

Quá trình tinh chỉnh mô hình trên một tập dữ liệu hoặc tác vụ hẹp hơn để nâng cao hiệu suất của mô hình trong các trường hợp sử dụng cụ thể.

Cửa sổ ngữ cảnh

Giới hạn về lượng văn bản đầu vào mà mô hình có thể xem xét khi tạo phản hồi. 

Cửa sổ ngữ cảnh thấp có nghĩa là bạn không thể gửi một báo cáo dài và yêu cầu tóm tắt – mô hình sẽ "quên" phần đầu của tài liệu. 

Phong tục GPTs

OpenAI cho phép người dùng tùy chỉnh GPTs theo ý thích của họ. Bạn có thể hướng dẫn một tùy chỉnh GPT để giúp bạn học luật chơi của một trò chơi cờ bàn cụ thể, thiết kế áp phích ban nhạc rock metal hoặc dạy bạn các khái niệm về AI.

Các tác nhân AI tùy chỉnh

Với sự tiến bộ của công nghệ AI, bạn có thể dễ dàng (và miễn phí) tạo ra AI của riêng mình LLM - tác nhân AI được hỗ trợ. 

Từ các trình xây dựng kéo và thả mã thấp đến các hệ sinh thái mã hóa tiên tiến, có nhiều nền tảng xây dựng AI tuyệt vời cho mọi trường hợp sử dụng và trình độ kỹ năng. 

Xây dựng của riêng bạn LLM - đại lý được hỗ trợ có nghĩa là bạn có thể thiết kế một trợ lý AI tùy chỉnh để lên lịch các cuộc họp và tạo báo cáo số liệu hàng tuần của bạn. Hoặc bạn có thể xây dựng một đại lý AI hỗ trợ khách hàng mà bạn triển khai trên WhatsApp . Không thiếu khả năng.