Ảo giác AI: Nó là gì, tại sao nó quan trọng và bạn có thể làm gì về nó

Dữ liệu đào tạo chất lượng thấp

ChatGPT và tương tự LLMs được đào tạo trên nhiều dữ liệu. Dữ liệu này, mặc dù có thể rất phong phú, nhưng không hoàn hảo do:

• Khoảng trống trong một số chủ đề
• Phản ánh định kiến trong thế giới thực
• Thông tin sai lệch có chủ đích hoặc châm biếm không có chủ đích
• Có thiên vị, như trong sự mất cân bằng hoặc dữ liệu “không cân xứng”.

Hãy xem xét một tình huống trong đó mô hình được đào tạo dựa trên thông tin về tất cả các vị thần Hy Lạp ngoại trừ một vị thần.

Khả năng rút ra những mối liên hệ thống kê giữa các chủ đề giống như thần thoại Hy Lạp - tình yêu, đạo đức, sự phản bội - có thể khiến nó xâu chuỗi một số thần thoại bịa đặt mà nó cho là "có khả năng xảy ra", dựa trên mô hình thống kê của nó.

Điều này cũng rõ ràng trong việc tạo hình ảnh, khi hầu hết các lời nhắc về chủ thể nữ đều tạo ra hình ảnh có tính khiêu dâm cao. Sự thiên vị đối với một loại mô tả cụ thể quyết định loại hình ảnh được tạo ra.

Cách viết strawberry có thể đã xuất hiện trong dữ liệu đào tạo trong bối cảnh thảo luận về double R , một điểm khó chịu khét tiếng của những người không nói tiếng Anh bản xứ. Trong trường hợp này, số 2 hoặc từ “ double” có thể đã xuất hiện liên quan đến cách viết của từ này.

Mặt khác, dữ liệu không có khả năng đề cập đến việc nó có 3 R.

Đầu ra vô lý vì yêu cầu là: trong hoàn cảnh nào một người sẽ viết một từ rồi sau đó hỏi cách viết của từ đó?

Kiến trúc mô hình và phương pháp tạo ra

Các mô hình được xây dựng từ kiến trúc mạng nơ-ron phức tạp đáng kinh ngạc. Những thay đổi nhỏ ảnh hưởng đến cách các mô hình tương tác với dữ liệu đào tạo và lời nhắc đầu vào của chúng. Khả năng giảm thiểu ảo giác của mô hình phụ thuộc vào sự cải thiện gia tăng thông qua nghiên cứu và thử nghiệm nghiêm ngặt.

Trên hết là cách thế hệ được triển khai. Từng từ một (thực tế là từng từ ), các mô hình dự đoán từ có khả năng theo sau nhiều nhất. Vì vậy:

“Con cáo nâu nhanh nhẹn nhảy qua con ___ lười biếng.”

Sẽ xác định từ tiếp theo có khả năng nhất là "dog". Nhưng những từ khác cũng có thể. Và việc tạo ra chỉ dựa trên việc xác định từ tiếp theo có khả năng nhất sẽ tạo ra những kết quả không thú vị và có thể dự đoán được.

Điều đó có nghĩa là các phương pháp lấy mẫu sáng tạo phải được sử dụng để giữ cho các phản hồi vừa thú vị vừa mạch lạc. Khi làm như vậy, tính thực tế đôi khi bị bỏ qua.

Quá phù hợp

Quá khớp là khi mô hình được đào tạo để dự đoán dữ liệu quá chặt chẽ đến mức không thể khái quát hóa sang dữ liệu đầu vào mới.

Vì vậy, nếu tôi là một người mẫu (như mẹ tôi nói), thì tôi sẽ là một người mẫu được đào tạo bài bản nếu tôi có thể nhận ra chó là:

Có lông, tai cụp xuống, thích đùa nghịch và có chiếc mũi nhỏ màu nâu.

Nhưng tôi sẽ quá khỏe nếu tôi chỉ nhận ra chúng là:

Có một chấm nâu dưới cằm, đúng với tên gọi của nó là “Frank”, và đã nhai nát đôi giày Nike tốt của tôi.

Trong bối cảnh của LLM , nó thường giống như việc lặp lại thông tin đã thấy trong dữ liệu đào tạo, thay vì lùi lại khi không biết câu trả lời.

Giả sử bạn hỏi một chatbot về chính sách hoàn trả của một công ty. Nếu nó không biết, nó sẽ thông báo cho bạn. Tuy nhiên, nếu nó quá phù hợp, nó có thể trả về chính sách của một công ty tương tự.

Nhắc nhở kém

Các công ty đang cấp chứng chỉ về kỹ thuật nhanh chóng với nhận thức rằng AI chỉ tốt bằng dữ liệu đầu vào của nó.

Một lời nhắc được hình thành tốt sẽ diễn đạt chính xác, tránh thuật ngữ chuyên ngành và cung cấp đầy đủ bối cảnh cần thiết.

Điều này là do ảo giác xảy ra ở rìa của nhiều đầu ra có xác suất thấp.

Giả sử bạn hỏi "cốt truyện của cô gái cá mập là gì?" Bây giờ, con người sẽ nghĩ "hả, cô gái cá mập". Trong thế giới thống kê, các khả năng là:

• Cuộc phiêu lưu của Sharkboy và Lavagirl – một bộ phim thiếu nhi khá nổi tiếng vào năm 2005 với tên gọi tương tự.
• Một bộ phim kinh dị/ly kỳ năm 2024 có tên Shark Girl – ít phổ biến hơn nhưng mới hơn và chính xác hơn.
• Một cuốn sách thiếu nhi có cùng tên từ đầu năm nay – mà mô hình có thể đã lập chỉ mục hoặc chưa.

Không có lựa chọn nào trong số này là lựa chọn hiển nhiên, dẫn đến phân phối xác suất "phẳng" hơn với ít cam kết hơn với một chủ đề hoặc câu chuyện. Một lời nhắc hiệu quả hơn sẽ cung cấp ngữ cảnh, tức là nêu rõ ví dụ nào mà người dùng đang tham khảo.

Sự mơ hồ và liên quan gián tiếp này có thể tạo ra một phản ứng như vậy: một cốt truyện chung chung được bịa ra cho một câu chuyện liên quan đến cá mập.

Giảm nguy cơ gặp ảo giác chính là giảm sự không chắc chắn.

Lỗi thực tế

Đây chính là nơi ví dụ về quả dâu tây phù hợp. Có lỗi trong các chi tiết của các tuyên bố thực tế khác. Những điều này có thể bao gồm năm diễn ra một sự kiện nào đó, thủ đô của một quốc gia hoặc số liệu thống kê.

Những chi tiết nhỏ trong một phản ứng tốt có thể đặc biệt nguy hiểm, đặc biệt là khi liên quan đến những chi tiết mà con người thường không nhớ, như con số chính xác.

Nội dung bịa đặt

Vào năm 2023, Bard của Google đã tuyên bố sai sự thật rằng kính thiên văn James Webb đã được sử dụng để chụp những bức ảnh đầu tiên về các ngoại hành tinh. Đây không phải là vấn đề về sự không chính xác về mặt kỹ thuật - mà chỉ đơn giản là sai sự thật.

Đây có thể là những tuyên bố táo bạo như trên, nhưng thường xuất hiện dưới dạng các URL không dẫn đến đâu cả hoặc các thư viện mã và hàm được tạo ra.

Điều đáng chú ý là ranh giới giữa lỗi thực tế và nội dung bịa đặt không phải lúc nào cũng rõ ràng.

Giả sử chúng ta đang thảo luận về một nhà nghiên cứu. Nếu chúng ta trích dẫn một bài báo của họ nhưng sai năm thì đó là lỗi thực tế. Nếu chúng ta sai tên thì sao? Còn tên và năm thì sao?

Thông tin sai lệch

Điều này có thể thuộc vào bất kỳ loại nào trong 2 loại trên, nhưng đề cập đến thông tin sai lệch mà nguồn thông tin minh bạch hơn.

Ví dụ điển hình cho điều này là việc AI của Google nổi tiếng với việc đề xuất ăn pizza bằng keo và đá ; tài liệu nguồn rõ ràng mang tính châm biếm và nhìn chung là vô hại - bình luận trên Reddit do The Onion viết, nhưng quá trình đào tạo mô hình đã không tính đến điều đó.

1. Mất lòng tin

Chúng tôi đánh giá cao sự tự do khi chuyển giao nhiệm vụ cho AI, nhưng không phải đánh đổi lòng tin của mình.

Sự cố gần đây của Cursor AI - một bot dịch vụ khách hàng đã đưa ra chính sách hạn chế - đã khiến nhiều người dùng hủy đăng ký, đặt câu hỏi về độ tin cậy của nó.

2. Chi phí

AI đã chiếm vị trí hàng đầu trong nhiều doanh nghiệp và mặc dù đó là điều tốt, nhưng một sai lầm cũng có thể phải trả giá đắt.

Ảo giác James Webb của Google đã khiến cổ phiếu của Alphabet giảm 100 tỷ đô la chỉ trong vài giờ. Và đó là trước khi tính đến chi phí đào tạo lại các mô hình.

3. Thông tin sai lệch có hại

Chúng ta cười về sự vô lý của pizza keo, nhưng còn việc dùng sai liều lượng thuốc thì sao?

Tôi sẽ là người đầu tiên đổi việc đọc những dòng chữ nhỏ đầy cảnh báo để lấy câu trả lời nhanh chóng từ AI. Nhưng nếu nó sai thì sao? Nó gần như chắc chắn sẽ không giải thích được tất cả các tình trạng bệnh lý có thể xảy ra.

3. Bảo mật và phần mềm độc hại

Như đã đề cập, AI thường tạo nên tên của các thư viện mã. Khi bạn cố gắng cài đặt một thư viện không tồn tại, không có gì xảy ra.

Bây giờ hãy tưởng tượng một hacker nhúng phần mềm độc hại vào mã và tải nó lên dưới tên của một thư viện thường được ảo tưởng. Bạn cài đặt thư viện và 💨 poof💨 : bạn đã bị hack.

Điều này tồn tại và được gọi là chiếm dụng đất bừa bãi .

Bỏ qua cái tên khó nghe, bạn cũng nên cân nhắc kỹ những gì mình đang cài đặt và kiểm tra kỹ bất kỳ tên thư viện nào có vẻ lạ.

Chọn một mô hình và nền tảng mà bạn có thể tin cậy

Bạn không đơn độc. Các công ty AI đều quan tâm đến việc duy trì lòng tin và điều đó có nghĩa là không có ảo giác.

Tùy thuộc vào những gì bạn đang làm với AI, bạn hầu như luôn có ít nhất một vài lựa chọn và một nền tảng AI tốt sẽ giúp bạn thực hiện điều này. Các nền tảng này phải minh bạch về cách chúng làm giảm ảo giác .

Sử dụng RAG (Retrieval-Augmented Generation)

Đừng để mô hình dựa vào kiến thức của chính nó. Trang bị cho mô hình của bạn RAG sẽ làm rõ thông tin có sẵn và nơi tìm thấy thông tin đó.

Tốt nhất là chạy AI trên nền tảng có hướng dẫn đơn giản về cách triển khai RAG hiệu quả .

Thêm hướng dẫn chi tiết

Nếu bạn đã nghe câu này một lần thì bạn đã nghe hàng ngàn lần rồi: vào thì rác, ra thì rác.

"Trả lời câu hỏi của người dùng" sẽ không đảm bảo thành công. Tuy nhiên, một cái gì đó như:

# Hướng dẫn
Vui lòng tham khảo tài liệu FAQ. Nếu câu trả lời không xuất hiện ở đó:‍ * Lịch sự thông báo với người dùng rằng thông tin không có sẵn. * Đề nghị chuyển cuộc trò chuyện tới một nhân viên hỗ trợ.

sẽ kiểm soát được người đại diện của bạn. Nhắc nhở rõ ràng với các biện pháp bảo vệ chắc chắn là cách phòng thủ tốt nhất của bạn chống lại một người đại diện gian lận.

Xác minh của con người

Về chủ đề leo thang, cần có người sẵn sàng kiểm tra, đánh giá và khắc phục những thiếu sót của AI.

Khả năng leo thang hoặc xác minh lại các cuộc trò chuyện cho phép bạn tìm ra điều gì hiệu quả và điều gì có nguy cơ gây ảo giác. Con người trong vòng lặp - sự giám sát của con người đối với các quy trình làm việc do AI điều khiển - là điều bắt buộc ở đây.