Bagaimana caranya ChatGPT Kerja?

1. Generative

ChatGPT ialah model AI generatif – ia boleh menjana teks, kod, imej dan bunyi. Contoh lain AI generatif ialah alat penjanaan imej seperti DALL-E atau penjana audio.

2. Pre-Trained

Aspek 'pra-latihan' daripada ChatGPT itulah sebabnya ia seolah-olah mengetahui segala-galanya di internet. The GPT model telah dilatih mengenai sebahagian besar data dalam proses yang dipanggil 'pembelajaran tanpa pengawasan.'

Sebelum ini ChatGPT , model AI dibina dengan pembelajaran yang diselia - mereka diberi input dan output yang dilabel dengan jelas dan diajar untuk memetakan satu sama lain. Proses ini agak perlahan, kerana set data perlu disusun oleh manusia.

Apabila awal GPT model didedahkan kepada set data besar yang mereka latih, mereka menyerap corak bahasa dan makna kontekstual daripada pelbagai sumber. 

Inilah sebabnya ChatGPT ialah bot sembang pengetahuan am – ia telah dilatih pada set data yang besar sebelum dikeluarkan kepada umum.

Pengguna yang ingin melatih lagi GPT enjin – untuk menjadi pakar dalam tugas tertentu, seperti menulis laporan untuk organisasi unik anda – boleh menggunakan teknik untuk menyesuaikan LLMs .  

3. Transformer

Transformers ialah sejenis seni bina rangkaian saraf yang diperkenalkan dalam kertas kerja 2017 bertajuk "Perhatian Adalah Semua yang Anda Perlukan" oleh Vaswani et al. Sebelum pengubah, model seperti rangkaian neural berulang (RNN) dan rangkaian ingatan jangka pendek (LSTM) panjang biasanya digunakan untuk memproses jujukan teks. 

Rangkaian RNN dan LSTM akan membaca input teks secara berurutan, sama seperti manusia. Tetapi seni bina transformer mampu memproses dan menilai setiap perkataan dalam ayat pada masa yang sama, membolehkannya menjaringkan beberapa perkataan sebagai lebih relevan, walaupun jika perkataan itu berada di tengah atau di hujung ayat. Ini dikenali sebagai mekanisme perhatian diri. 

Ambil ayat: "Tetikus tidak boleh muat di dalam sangkar kerana ia terlalu besar."

Transformer boleh menjaringkan perkataan 'tikus' sebagai lebih penting daripada 'sangkar', dan mengenal pasti dengan betul bahawa 'ia' dalam ayat merujuk kepada tetikus. 

Tetapi model seperti RNN mungkin mentafsir 'ia' sebagai sangkar, kerana ia adalah kata nama yang paling baru diproses.

Aspek 'transformer' membolehkan ChatGPT untuk lebih memahami konteks dan menghasilkan tindak balas yang lebih bijak daripada pendahulunya. 

Apakah pemprosesan bahasa semula jadi?

Pemprosesan bahasa semulajadi (NLP) adalah satu cabang kecerdasan buatan yang memfokuskan pada interaksi antara komputer dan manusia melalui bahasa semula jadi. 

Ia membolehkan mesin memahami, mentafsir dan menjana bahasa manusia dengan cara yang bermakna dan berguna.

NLP lwn NLU lwn NLG

NLP ialah bidang luas yang merangkumi pelbagai sub-disiplin, termasuk pemahaman bahasa semula jadi (NLU) dan penjanaan bahasa semula jadi (NLG). 

NLP ialah domain menyeluruh, manakala NLU dan NLG ialah bidang khusus di dalamnya. Ini kerana pemprosesan bahasa semula jadi mesti melibatkan kedua-dua pemahaman, kemudian penjanaan semasa perbualan berulang-alik.

Bagaimanakah NLP berfungsi?

NLU memecahkan bahasa manusia untuk mentafsir makna dan maksudnya. Begini cara ia berfungsi langkah demi langkah:

1. Teks dipraproses untuk mengalih keluar elemen yang tidak perlu (seperti tanda baca dan perkataan henti).
2. Sistem mengenal pasti komponen utama seperti entiti, kata kunci dan frasa daripada teks.
3. Ia menganalisis struktur ayat untuk memahami hubungan antara perkataan dan konsep.
4. Model NLU memetakan elemen yang diiktiraf kepada niat atau matlamat tertentu.
5. Enjin NLU memperhalusi pemahamannya berdasarkan konteks dan sejarah interaksi pengguna.

Sistem ini menyediakan output berstruktur yang boleh mencetuskan tindakan atau tindak balas yang sesuai.

Pra-latihan

Pertama, model AI terdedah kepada sejumlah besar data teks - daripada buku, tapak web dan fail lain. 

Semasa pra-latihan, model belajar untuk meramal perkataan seterusnya dalam ayat, yang membantunya memahami corak dalam bahasa. Ia pada asasnya membina pemahaman statistik bahasa, yang membolehkannya menjana teks yang kedengaran koheren.

Penalaan halus

Selepas pra-latihan, model ini diperhalusi pada set data yang lebih khusus. Untuk ChatGPT , ini termasuk set data yang dipilih susun untuk perbualan. 

Bahagian penting dalam langkah ini melibatkan Pembelajaran Pengukuhan daripada Maklum Balas Manusia (RLHF), di mana jurulatih manusia menilai respons model. Gelung maklum balas ini membantu ChatGPT meningkatkan keupayaannya untuk menjana respons yang sesuai, membantu dan tepat mengikut konteks.

Token

Unit teks (perkataan atau bahagian perkataan) yang diproses oleh model. ChatGPT Input dan output ditandakan untuk pengiraan yang cekap.

Pembelajaran tembakan sifar

Keupayaan model untuk melaksanakan tugas yang belum dilatih secara khusus dengan bergantung kepada pengetahuan amnya. 

Pembelajaran satu pukulan melibatkan memberi model satu contoh, manakala pembelajaran n-shot melibatkan memberi model banyak contoh untuk belajar. 

Mekanisme perhatian

Komponen model pengubah yang membolehkannya memfokus pada bahagian teks input yang berbeza apabila menjana respons.

Halusinasi

Model AI 'halusinasi' apabila ia menghasilkan maklumat yang tidak betul atau tidak masuk akal. Halusinasi boleh dikurangkan dengan strategi seperti retrieval-augmented generation (RAG) .

Rantaian penaakulan pemikiran

Kaedah yang membantu model berfikir langkah demi langkah, meningkatkan keupayaannya untuk mengendalikan gesaan atau tugas yang kompleks. 

Beberapa ChatGPT model dilengkapi secara automatik dengan strategi ini – seperti model OpenAI o1 terkini. Tetapi anda boleh meminta mana-mana versi untuk melakukan penaakulan rantaian pemikiran : cuma minta ia menerangkan alasannya langkah demi langkah.

Pra-latihan

Fasa awal di mana model dilatih pada set data besar-besaran untuk mempelajari corak bahasa sebelum diperhalusi untuk tugasan tertentu.

Penalaan halus 

Proses memperhalusi model pada set data atau tugas yang lebih sempit untuk meningkatkan prestasinya dalam kes penggunaan tertentu.

Tetingkap konteks

Had pada jumlah teks input yang boleh dipertimbangkan oleh model semasa menjana respons. 

Tetingkap konteks rendah bermakna anda tidak boleh menghantar laporan yang panjang dan meminta ringkasan – model akan 'terlupa' permulaan dokumen. 

Adat GPTs

OpenAI membolehkan penggunanya menyesuaikan GPTs mengikut kesukaan mereka. Anda boleh mengarahkan adat GPT untuk membantu anda mempelajari peraturan untuk permainan papan tertentu, mereka bentuk poster band rock metal atau mengajar anda konsep AI.

Ejen AI tersuai

Dengan kemajuan dalam teknologi AI, mudah (dan percuma) untuk mencipta sendiri LLM -ejen AI berkuasa . 

Daripada pembina seret dan lepas kod rendah, kepada ekosistem pengekodan lanjutan, terdapat platform pembinaan AI yang hebat untuk sebarang kes penggunaan dan tahap kemahiran. 

Membina sendiri LLM -ejen berkuasa bermakna anda boleh mereka bentuk pembantu AI yang dipesan lebih dahulu yang menjadualkan mesyuarat anda dan menjana laporan metrik mingguan anda. Atau anda boleh membina ejen AI sokongan pelanggan yang anda gunakan di WhatsApp . Tidak ada kekurangan kemungkinan.