Apakah itu 'chain-of-thought prompting'?

Jika anda pernah menggunakan GPT chatbot seperti ChatGPT, anda mungkin perasan kualiti hasil yang berbeza-beza.

Kadang-kadang ia memberikan apa yang anda perlukan. Kadang-kadang pula anda rasa ‘kecerdasan’ dalam AI itu agak meragukan.

Anda boleh tingkatkan penggunaan ChatGPT dengan memperbaiki cara anda memberi arahan. Arahan berantai menggalakkan ejen LLM untuk berfikir langkah demi langkah sebelum menjana respons.

Model AI dan ciri baharu kini mula membina penaakulan berantai secara langsung, supaya model mereka secara automatik membuat penaakulan melalui masalah tanpa sebarang arahan tambahan.

Apakah itu 'chain-of-thought prompting'?

Prompt penaakulan berantai ialah teknik kejuruteraan prompt dalam AI yang mengarahkan model untuk memecahkan tugasan kompleks, membuat penaakulan melalui setiap langkah sebelum memberi jawapan.

Anda mungkin juga pernah mendengar istilah ‘penaakulan berantai’. Ini merujuk kepada proses langkah demi langkah yang diambil oleh model untuk membuat penaakulan terhadap tugasan yang diberikan.

Model OpenAI o1 tidak memerlukan arahan berantai, kerana ia sudah mempunyai penaakulan berantai terbina dalam. Tetapi anda boleh gunakan arahan berantai pada mana-mana chatbot berasaskan LLM.

Bagaimana penaakulan berantai (chain-of-thought reasoning) berfungsi?

Penaakulan berantai bermaksud memecahkan masalah kepada langkah-langkah kecil dan logik untuk chatbot AI selesaikan secara berurutan.

Mula-mula, AI mengenal pasti bahagian utama masalah. Kemudian ia memproses setiap bahagian secara berurutan, mempertimbangkan bagaimana satu langkah membawa ke langkah seterusnya. Setiap langkah membina di atas langkah sebelumnya, membolehkan AI bergerak secara sistematik ke arah kesimpulan logik.

Contoh prompt chain-of-thought

Prompt ‘strawberry’ yang terkenal

ChatGPT dan LLM lain mempunyai kelemahan yang telah didokumentasikan dengan baik. Salah satunya ialah ketidakmampuan untuk mengenal pasti dengan betul berapa banyak huruf 'R' dalam perkataan ‘strawberry’. (Kemungkinan ini adalah had terkenal di sebalik nama kod model o1: Strawberry.)

ChatGPT-4o tidak menggunakan penaakulan berantai. Sebaliknya, ia merujuk data latihannya dan menjana respons berdasarkan kebarangkalian setiap perkataan mengikut perkataan sebelumnya. Walaupun ia mungkin kedengaran betul kebanyakan masa, ia hanya meniru bahasa manusia – bukan membuat penaakulan atau penyelidikan.

Apabila anda bertanya soalan strawberi yang terkenal kepada ChatGPT-4o, ia tidak dapat memberikan jawapan yang betul:

‍

Namun, anda boleh menggunakan teknik 'chain-of-thought prompting' untuk membantu chatbot berkuasa LLM mendapatkan jawapan yang betul:

‍

Versi terbaru ChatGPT, yang dikuasakan oleh OpenAI o1-preview, merupakan model bahasa utama pertama yang menggunakan penaakulan berantai secara automatik tanpa arahan tambahan.

Ia dapat memberikan jawapan dengan betul pada percubaan pertama kerana ia telah diarahkan untuk mengikuti proses yang sama seperti arahan kedua ChatGPT-4o di atas. Satu-satunya perbezaan ialah ia melakukannya tanpa arahan tambahan.

Matematik

Jika anda bertanya soalan matematik daripada buku teks sekolah rendah kepada versi lama ChatGPT, ia tidak semestinya akan menjawab dengan betul.

Masalah matematik berbilang langkah memerlukan penaakulan, yang tidak terdapat dalam LLM terdahulu. Anda boleh memecahkan setiap langkah masalah, tetapi jika anda tidak tahu langkah yang betul, LLM tidak dapat membantu.

ChatGPT-4o mampu membuat penaakulan untuk menjawab soalan dengan memecahkan siri langkah dalam masalah tersebut:

Ejen AI yang disambungkan ke Hubspot

Untuk aplikasi dunia sebenar, mari ambil ejen AI berkuasa LLM yang telah diintegrasikan ke dalam Hubspot. Pasukan jualan menggunakan ejen AI ini untuk memproses prospek baharu yang dikumpul dari pelbagai saluran.

Senario

‍Seorang jurujual menghantar prospek baharu kepada ejen AI dan memintanya mendaftar dalam Hubspot serta menghantar e-mel sentuhan pertama, tetapi tidak mengisinya jika prospek itu bekerja di syarikat yang sudah menjadi prospek.

LLM tanpa penaakulan berantai

‍Ejen AI berkuasa LLM mendaftar prospek dan menghantar emel tanpa menyemak sama ada syarikat itu sudah menjadi prospek, lalu terlepas syarat utama.

LLM dengan penaakulan berantai

‍Ejen AI berkuasa LLM akan menyemak sama ada syarikat sudah menjadi prospek sebelum bertindak. Jika sudah, ia akan melangkau pendaftaran dan emel; jika belum, ia akan mendaftar prospek dan menghantar emel, mengikut arahan jurujual dengan tepat.

Bila patut saya gunakan prompt chain of thought?

Arahan berantai paling sesuai digunakan dalam situasi yang memerlukan penaakulan langkah demi langkah.

Calon terbaik ialah tugas yang melibatkan deduksi logik, masalah matematik, tugas berprosedur, atau apa-apa situasi yang memerlukan jawapan berbilang langkah.

Tapi tunggu: penaakulan nampak hebat – kenapa saya tak gunakannya setiap masa?

Soalan yang bagus. Tidak semua soalan memerlukan penaakulan. Contohnya:

• Soalan fakta mudah, seperti ‘Apakah ibu negara Kanada?’
• Masalah satu langkah, seperti ‘Berapakah 145 + 37?’
• Tugas penjanaan kandungan, seperti ‘Tulis emel sopan 3 ayat untuk bertanya kepada rakan sekerja sama ada mereka sudah siap dengan projek mereka.’

Prompting berubah vs prompting rantai-pemikiran

Walaupun namanya hampir sama, prompt chaining dan chain-of-thought prompting adalah dua strategi prompt yang berbeza untuk meningkatkan hasil AI generatif.

Chain-of-thought prompting

Dengan chain-of-thought prompting, pengguna membimbing AI untuk menerangkan alasan di sebalik jawapannya dalam satu respons. Ini mendorong AI untuk melalui setiap langkah proses penyelesaian masalah, tetapi dilakukan dalam satu arahan dan respons.

Sebagai contoh, chain-of-thought prompt boleh dilakukan dalam satu mesej:

"Pasukan HR perlu menyemak 5 penilaian prestasi pekerja. Setiap satu mengambil masa 30 minit dan mereka perlukan 15 minit untuk persediaan awal. Penilaian senior memerlukan tambahan 10 minit setiap satu. Berapa lama masa yang diperlukan untuk menyiapkan 5 penilaian senior dan 25 penilaian junior? Sila huraikan langkah demi langkah."

Prompt chaining

Dengan rantaian prompt, tugasan dipecahkan kepada langkah berasingan dengan beberapa prompt, setiap satu membina atas hasil sebelumnya. Ini membantu menyusun dan membimbing AI melalui tugasan kompleks yang mungkin melibatkan penaakulan.

Prompt pertama mungkin seperti:

Arahan 1: Kenal pasti cabaran utama yang mungkin dihadapi oleh syarikat apabila beralih ke kerja jarak jauh.

Output:

• Jurang komunikasi
• Menjaga produktiviti
• Infrastruktur teknologi
• Penglibatan pekerja

Prompt seterusnya boleh mendalami konsep ini. Contohnya:

Arahan 2: Sila beritahu saya bagaimana syarikat boleh mencari penyelesaian kepada jurang komunikasi apabila beralih ke kerja jarak jauh.

Selepas pusingan output seterusnya, sambungan rantaian berikutnya mungkin:

Arahan 3: Apakah cabaran biasa yang dihadapi syarikat apabila mereka menggunakan penyelesaian ini?

Jadi walaupun kedua-duanya serupa, mereka mengambil pendekatan berbeza untuk mendapatkan kandungan paling mendalam dan relevan daripada alat AI generatif.

Chain-of-thought prompting di Botpress

Pengguna Botpress sudah biasa dengan ciri yang menggunakan penaakulan berantai.

Autonomous Node diperkenalkan pada Julai 2024 di Botpress, sebuah platform untuk membina ejen AI. Autonomous Node ini mampu mengautomasikan aliran kerja berbilang langkah dan membuat keputusan secara autonomi.

Autonomous Node boleh dicipta dan diarahkan hanya dengan satu baris teks, seperti ‘Tugas anda ialah menjana prospek berkualiti. Cipta prospek dalam Salesforce apabila pengguna menunjukkan minat membeli.’

Ejen AI yang anda bina menggunakan Autonomous Node ini akan mengambil pelbagai tindakan untuk mencapai matlamatnya, secara bebas daripada aliran kerja yang direka manusia. Ia juga boleh bertukar antara LLM yang berbeza mengikut keperluan, membuat keputusan untuk mengutamakan kelajuan atau keupayaan.

Bina ejen autonomi tersuai

Botpress ialah satu-satunya platform agen AI yang membolehkan anda membina agen benar-benar autonomi.

Botpress Studio yang terbuka dan fleksibel membolehkan pelbagai kes penggunaan merentasi industri, dari HR hingga penjanaan prospek. Perpustakaan integrasi sedia ada dan tutorial kami yang meluas membolehkan pengguna membina agen AI dari awal dengan mudah.

Mula membina hari ini. Ia percuma.

Atau hubungi pasukan jualan kami.

Soalan Lazim

1. Adakah chain-of-thought prompting hanya berguna untuk model AI, atau ia juga mencerminkan cara manusia menyelesaikan masalah?

Chain-of-thought prompting berguna untuk kedua-dua model AI dan juga mencerminkan cara manusia menyelesaikan masalah, kerana ia meniru cara orang berfikir langkah demi langkah untuk menangani masalah yang rumit.

2. Bagaimana penalaran chain-of-thought berbeza daripada sekadar “berfikir langkah demi langkah”?

Walaupun "berfikir langkah demi langkah" adalah pendekatan umum, penaakulan berantai lebih terstruktur dan disengajakan, menggalakkan model AI menyatakan langkah penaakulan pertengahan dengan jelas berbanding terus membuat kesimpulan.

3. Mengapa sesetengah LLM tidak menggunakan penaakulan berantai pemikiran secara lalai?

Sesetengah LLM, terutamanya model awal atau lebih kecil, tidak menggunakan penaakulan berantai secara lalai kerana ia tidak ditala untuk menghasilkan output berbilang langkah dan lebih menumpukan pada meramalkan jawapan berdasarkan corak data latihan.

4. Adakah prompt chain-of-thought satu bentuk 'latihan' model semasa inferens?

Tidak, chain-of-thought prompting bukanlah satu bentuk latihan; ia tidak mengubah berat atau pengetahuan model. Sebaliknya, ia membimbing tingkah laku output model semasa inferens dengan menggalakkan penaakulan berstruktur melalui prompt.

5. Adakah chain-of-thought prompting sentiasa meningkatkan ketepatan?

Chain-of-thought prompting tidak selalu meningkatkan ketepatan. Ia cenderung membantu untuk tugas yang memerlukan penaakulan berbilang langkah, tetapi untuk tugas mudah ia boleh menambah kerumitan yang tidak perlu dan malah mengurangkan prestasi.