Hentikan Halusinasi AI Sebelum Mencederakan Keputusan Anda

Adakah anda fikir Joaquin Phoenix akan jatuh cinta dengan Scarlett Johansson jika dia bertanya kepadanya berapa banyak R dalam strawberi ? Jika anda menggunakan LinkedIn, anda tahu bahawa jawapannya ialah 3. (Atau, anda tahu, jika anda boleh membaca.)

Tetapi untuk AI chatbots , ia tidak selalunya begitu mudah. 

Anda mungkin pernah melihat orang yang menyindir halusinasi AI yang tidak masuk akal. Dan untuk bersikap adil, model AI yang mempunyai pengetahuan yang tidak berkesudahan, kemahiran penaakulan seperti manusia dan pelaksanaan tugas sepantas kilat yang gagal dalam masalah matematik peringkat tadika adalah, agak tidak masuk akal.

Tetapi di sebalik keseronokan dan permainan terletak realiti yang lebih serius - dan berpotensi berbahaya.

Dalam artikel ini, saya akan bercakap tentang halusinasi AI– apakah itu, apa yang menyebabkannya, mengapa ia penting, dan langkah yang boleh anda ambil untuk mencegahnya.

Apakah halusinasi AI?

Halusinasi AI ialah apabila model AI membentangkan maklumat yang tidak tepat, mengelirukan atau direka sepenuhnya. Maklumat palsu ini mungkin kelihatan munasabah, dan dalam banyak kes, tidak dapat dikesan.

Kerana LLMs ' penerimaan yang meluas, halusinasi paling kerap dirujuk dalam konteks model teks generatif. Pada hakikatnya, mereka menimbulkan risiko untuk sebarang aplikasi Generative AI .

Apakah yang menyebabkan halusinasi dalam AI?

Halusinasi AI berlaku apabila model mempelajari corak palsu.

Corak , dalam konteks AI, merujuk kepada keupayaannya untuk menggunakan contoh latihan individu untuk membuat generalisasi merentas data yang tidak kelihatan. Ini boleh menjadi satu siri perkataan untuk membentuk kesinambungan teks , atau pengedaran piksel imej yang sepadan dengan anjing.

Dalam kes LLM halusinasi, model itu telah menganggap satu siri perkataan sebagai susulan yang paling berkemungkinan kepada gesaan pengguna, walaupun ia adalah palsu.

Ini mungkin disebabkan oleh satu atau lebih daripada sebab berikut:

Data Latihan Berkualiti Rendah

ChatGPT dan seumpamanya LLMs dilatih mengenai banyak data. Data ini, walaupun banyak, tidak sempurna kerana:

• Jurang dalam topik tertentu
• Mencerminkan prasangka dunia sebenar
• Maklumat salah yang disengajakan atau sindiran tanpa tanda
• Berat sebelah, seperti dalam ketidakseimbangan atau data "berpihak".

Pertimbangkan senario di mana model itu dilatih mengenai maklumat tentang semua kecuali satu tuhan Yunani.

Keupayaannya untuk menarik perkaitan statistik antara topik seperti mitologi Yunani– cinta, etika, pengkhianatan– boleh menyebabkannya merangkai beberapa mitologi rekaan yang dianggapnya "kemungkinan", berdasarkan model statistiknya.

Ini juga jelas dalam penjanaan imej, di mana kebanyakan gesaan untuk subjek wanita menghasilkan imej hiperseksual. Kecondongan terhadap satu jenis gambaran tertentu menetapkan jenis imej yang dijana.

Ejaan strawberi berkemungkinan berlaku dalam data latihan dalam konteks perbincangan tentang R berganda, titik kesakitan yang terkenal bagi penutur bahasa Inggeris bukan asli. Dalam kes ini, nombor 2 atau perkataan " double" mungkin muncul berkaitan dengan ejaan perkataan itu.

Sebaliknya, tidak mungkin data akan menyebutnya mempunyai 3 R s.

Outputnya tidak masuk akal kerana gesaannya ialah: dalam keadaan apakah seseorang akan menulis perkataan dan kemudian bertanya tentang cara ia dieja?

Senibina Model dan Kaedah Penjanaan

Model ini dibina daripada seni bina rangkaian saraf yang sangat kompleks. Variasi sedikit memberi kesan kepada cara model berinteraksi dengan data latihan dan gesaan input. Keupayaan model untuk mengurangkan halusinasi tertakluk kepada peningkatan secara berperingkat melalui penyelidikan dan ujian yang teliti .

Selain itu ialah bagaimana penjanaan dilaksanakan. Perkataan demi perkataan (sebenarnya potongan perkataan ), model meramalkan perkataan yang paling mungkin diikuti. Jadi:

“Musang coklat yang cepat melompat ke atas ___ yang malas.”

Akan menentukan perkataan seterusnya yang paling mungkin ialah "anjing". Tetapi perkataan lain mungkin. Dan penjanaan berdasarkan semata-mata pada penentuan satu perkataan yang berkemungkinan besar seterusnya menghasilkan keputusan yang tidak menarik dan boleh diramal.

Ini bermakna kaedah persampelan kreatif perlu digunakan untuk memastikan respons yang menarik-namun-koheren. Dengan berbuat demikian, fakta kadangkala tergelincir melalui celah-celahnya.

Terlalu pasang

Overfitting ialah apabila model dilatih untuk meramalkan data dengan begitu dekat sehingga ia gagal digeneralisasikan kepada input baharu.

Jadi, jika saya seorang model (seperti yang dikatakan oleh ibu saya), maka saya akan menjadi model yang terlatih jika saya mengenali anjing sebagai:

Berbulu, mempunyai telinga yang layu, suka bermain, dan hidung butang sedikit berwarna coklat.

Tetapi saya akan menjadi terlalu cergas jika saya hanya mengenali mereka sebagai:

Mempunyai titik coklat di bawah dagunya, menjawab nama "Frank", dan benar-benar mengunyah sepasang Nike saya yang bagus.

Dalam konteks LLM , ia biasanya kelihatan seperti memuntahkan maklumat yang dilihat dalam data latihan, bukannya berundur apabila ia tidak mengetahui jawapannya.

Katakan anda meminta chatbot untuk dasar pemulangan syarikat. Jika ia tidak tahu, ia harus memberitahu anda. Walaupun jika ia terlalu sesuai, ia mungkin mengembalikan polisi syarikat yang serupa.

Anjuran yang lemah

Syarikat mengeluarkan sijil dalam kejuruteraan segera dengan pengetahuan bahawa AI hanya sebaik inputnya.

Gesaan yang dibentuk dengan baik dinyatakan dengan tepat, mengelakkan terminologi khusus, dan menyediakan semua konteks yang diperlukan.

Ini kerana halusinasi berlaku di pinggir banyak keluaran berkemungkinan rendah.

Katakan anda bertanya "apa plot gadis jerung?" Sekarang, manusia berfikir "huh, gadis jerung. " Dalam dunia statistik, kemungkinannya ialah:

• The Adventures of Sharkboy and Lavagirl – filem kanak-kanak yang cukup popular dari tahun 2005 dengan nama yang serupa.
• Seram/thriller 2024 yang dipanggil Shark Girl – kurang popular tetapi lebih terkini dan tepat.
• Buku kanak-kanak dengan nama yang sama dari awal tahun ini – yang model mungkin telah diindeks atau tidak.

Tiada satu pun daripada ini adalah pilihan yang jelas, menghasilkan taburan kebarangkalian "rata" dengan kurang komitmen terhadap satu topik atau naratif. Gesaan yang lebih berkesan akan menyediakan konteks, iaitu menyatakan contoh yang dirujuk oleh pengguna.

Kekaburan dan perkaitan tangensial ini mungkin menghasilkan respons yang hanya itu: plot generik yang dibuat-buat kepada cerita berkaitan jerung.

Mengurangkan peluang halusinasi anda adalah mengenai mengurangkan ketidakpastian.

Jenis Halusinasi AI

Setakat ini saya telah bercakap tentang halusinasi dalam pukulan luas. Realitinya ialah ia menyentuh hampir semua aspek AI. Namun, demi kejelasan, sebaiknya pertimbangkan kategori yang berbeza.

Kesilapan Fakta

Di sinilah contoh strawberi sesuai. Terdapat ralat dalam butiran kenyataan sebaliknya fakta. Ini boleh termasuk tahun peristiwa tertentu berlaku, ibu negara atau bilangan statistik.

Butiran minit dalam respons yang baik boleh menjadi sangat berbahaya, terutamanya apabila ia berkaitan dengan butiran yang tidak selalu diingati manusia, seperti nombor tepat.

Kandungan Rekaan

Pada tahun 2023, Bard Google secara palsu mendakwa bahawa teleskop James Webb digunakan untuk mengambil gambar pertama exoplanet. Ini bukan soal ketidaktepatan teknikal– ia hanya palsu.

Ini boleh menjadi dakwaan berani seperti di atas, tetapi lebih kerap muncul sebagai URL yang entah ke mana, atau perpustakaan dan fungsi kod yang dibuat-buat.

Perlu diingat bahawa garis antara kesilapan fakta dan kandungan rekaan tidak selalu jelas.

Katakan kita sedang membincangkan penyelidik. Jika kita memetik kertas mereka tetapi silap tahun itu adalah kesilapan fakta. Jika kita tersalah nama, lalu bagaimana? Bagaimana dengan nama dan tahun?

Maklumat salah

Ini boleh termasuk di bawah salah satu daripada 2 kategori sebelumnya, tetapi merujuk kepada maklumat palsu yang sumbernya lebih telus.

Google AI terkenal mengesyorkan piza gam dan makan batu adalah contoh hebat ini; bahan sumber jelas menyindir dan secara amnya tidak berbahaya– Komen Reddit yang ditulis oleh The Onion, tetapi latihan model tidak mengambil kira perkara itu.

Risiko Halusinasi AI

1. Hilang Kepercayaan

Kami menghargai kebebasan memunggah tugas kami kepada AI, tetapi tidak dengan mengorbankan kepercayaan kami.

Kecelakaan Cursor AI baru-baru ini– bot perkhidmatan pelanggan yang mencipta dasar mengehadkan – telah menyebabkan ramai pengguna membatalkan langganan mereka, mempersoalkan kebolehpercayaannya.

2. Kos

AI telah mengambil tempat duduk hadapan dalam banyak perniagaan, dan walaupun itu perkara yang baik, tergelincir boleh menyebabkan kos yang tinggi.

Halusinasi James Webb Google menyebabkan kejatuhan $100 bilion dalam stok Alphabet dalam tempoh beberapa jam. Dan itu sebelum kos latihan semula model.

3. Maklumat Salah yang Memudaratkan

Kami ketawa melihat kemustahilan pizza gam, tetapi bagaimana pula dengan dos perubatan yang mengelirukan ?

Saya akan menjadi yang pertama berdagang dalam membaca cetakan halus penuh amaran untuk jawapan pantas daripada AI. Tetapi bagaimana jika ia salah? Ia hampir pasti tidak akan mengambil kira semua kemungkinan keadaan perubatan.

3. Keselamatan dan Perisian Hasad

Seperti yang dinyatakan, AI sering membentuk nama perpustakaan kod. Apabila anda cuba memasang perpustakaan yang tidak wujud, tiada apa yang berlaku.

Sekarang bayangkan seorang penggodam membenamkan perisian hasad ke dalam kod dan memuat naiknya di bawah nama perpustakaan yang biasa berhalusinasi. Anda memasang perpustakaan, dan 💨 poof💨 : anda digodam.

Ini wujud, dan ia dipanggil slopsquatting .

Diketepikan nama kasar, tidak salah untuk menjadi kritikal tentang apa yang anda pasang, dan menyemak semula mana-mana nama perpustakaan yang terdengar eksotik.

Langkah-langkah untuk Mencegah Halusinasi AI

Jika anda tidak melatih model, terdapat sedikit yang boleh anda lakukan pada akhir data dan seni bina.

Berita baiknya ialah masih terdapat langkah berjaga-jaga yang boleh anda ambil, dan ia boleh membuat semua perbezaan dalam penghantaran AI tanpa halusinasi.

Pilih Model dan Platform yang boleh anda Percayai

Anda tidak bersendirian. Syarikat AI mempunyai minat untuk mengekalkan kepercayaan, dan ini bermakna tiada halusinasi.

Bergantung pada perkara yang anda lakukan dengan AI, anda hampir selalu mempunyai sekurang-kurangnya beberapa pilihan, dan platform AI yang baik menjadikan ini boleh diakses. Platform ini harus telus tentang cara ia mengurangkan halusinasi .

Gunakan RAG (Retrieval-Augmented Generation)

Jangan jadikan model bergantung pada pengetahuannya sendiri. Melengkapkan model anda dengan RAG menjadikannya maklumat yang jelas tersedia dan tempat untuk mencarinya.

Adalah lebih baik untuk menjalankan AI pada platform dengan arahan mudah tentang cara melaksanakan RAG yang berkesan .

Tambah Arahan Teliti

Jika anda pernah mendengarnya sebaik sahaja anda mendengarnya seribu kali: sampah masuk, sampah keluar.

"Jawab soalan pengguna" tidak akan menjamin kejayaan. Walau bagaimanapun, sesuatu seperti:

# Arahan
Sila rujuk secara eksklusif kepada dokumen Soalan Lazim. Jika jawapan tidak muncul di sana:‍ * Beritahu pengguna dengan sopan bahawa maklumat itu tidak tersedia. * Tawarkan untuk meningkatkan perbualan kepada ejen manusia.

akan mengawal ejen anda. Gesaan yang jelas dengan pagar yang kukuh adalah pertahanan terbaik anda terhadap ejen penyangak.

Pengesahan Manusia

Mengenai topik peningkatan, menyediakan seseorang untuk memeriksa, menilai dan mengatasi kekurangan AI.

Keupayaan untuk meningkatkan, atau mengesahkan perbualan secara retroaktif membolehkan anda mengetahui perkara yang berkesan dan perkara yang berisiko halusinasi. Human-in-the-loop – pengawasan manusia terhadap aliran kerja dipacu AI– adalah satu kemestian di sini.

Gunakan AI Tanpa Halusinasi Hari Ini

Ketidakpastian mengenai kebolehpercayaan AI mungkin menghalang perniagaan daripada transformasi digital.

Botpress ' Keupayaan RAG, integrasi manusia dalam gelung, dan sistem keselamatan yang menyeluruh menjadikan AI selamat dan boleh dipercayai. Ejen anda bekerja untuk anda , bukan sebaliknya.

Mula membina hari ini . Ia percuma.

Soalan lazim

1. Bagaimanakah saya boleh mengetahui sama ada tindak balas AI adalah halusinasi tanpa mengetahui topik tersebut terlebih dahulu?

Untuk mengetahui sama ada tindak balas AI adalah halusinasi tanpa pengetahuan awal, cari tanda seperti dakwaan yang sangat spesifik, bahasa terlalu yakin atau nama, statistik atau petikan yang tidak boleh disahkan secara bebas. Apabila tidak pasti, gesa AI untuk memetik sumbernya atau semak silang dengan rujukan luar yang boleh dipercayai.

2. Sejauh manakah halusinasi AI dalam model bahasa besar ( LLMs )?

Halusinasi AI adalah perkara biasa dalam model bahasa besar kerana ia menghasilkan teks berdasarkan kebarangkalian, bukan pengesahan fakta. Malah model canggih seperti GPT -4o dan Claude 3.5 boleh menghasilkan output yang tidak tepat, terutamanya apabila ditanya tentang topik khusus atau dalam situasi konteks rendah.

3. Bolehkah halusinasi berlaku dalam model AI bukan berasaskan teks seperti penjana imej?

Ya, halusinasi juga berlaku dalam model penjanaan imej, selalunya sebagai elemen tidak realistik atau tidak masuk akal dalam output - seperti anggota badan tambahan atau perwakilan budaya yang salah - disebabkan oleh berat sebelah atau jurang dalam data latihan.

4. Adakah halusinasi lebih biasa dalam bahasa atau budaya tertentu disebabkan oleh berat sebelah data latihan?

Halusinasi adalah lebih biasa dalam bahasa yang kurang diwakili atau konteks budaya bukan Barat kerana kebanyakan LLMs dilatih terutamanya pada data bahasa Inggeris dan berpusatkan Barat, yang membawa kepada tindak balas yang kurang bernuansa budaya.

5. Apakah industri yang paling berisiko daripada akibat halusinasi AI?

Industri seperti penjagaan kesihatan, kewangan, undang-undang dan perkhidmatan pelanggan paling berisiko daripada halusinasi AI, kerana output yang tidak tepat dalam bidang ini boleh menyebabkan pelanggaran pematuhan, kerugian kewangan, salah langkah undang-undang atau kerosakan kepada kepercayaan pengguna dan reputasi jenama.