Bagaimana cara kerja ChatGPT ?

1. Generative

ChatGPT adalah model AI generatif - model ini dapat menghasilkan teks, kode, gambar, dan suara. Contoh lain dari AI generatif adalah alat pembuat gambar seperti DALL-E atau generator audio.

2. Pre-Trained

Aspek 'terlatih' dari ChatGPT adalah alasan mengapa ia tampaknya mengetahui segala sesuatu di internet. Model GPT dilatih pada sejumlah besar data dalam proses yang disebut 'pembelajaran tanpa pengawasan'.

Sebelum ChatGPT, model AI dibangun dengan pembelajaran yang diawasi - model tersebut diberikan input dan output yang dilabeli dengan jelas dan diajarkan untuk memetakan satu sama lain. Proses ini cukup lambat, karena kumpulan data harus disusun oleh manusia.

Ketika model GPT awal dihadapkan pada set data besar yang menjadi bahan pelatihan mereka, mereka menyerap pola bahasa dan makna kontekstual dari berbagai sumber. 

Inilah sebabnya mengapa ChatGPT adalah chatbot pengetahuan umum - chatbot ini telah dilatih dengan set data yang sangat besar sebelum dirilis ke publik.

Pengguna yang ingin melatih mesin GPT lebih lanjut - untuk menjadi terspesialisasi dalam tugas-tugas tertentu, seperti menulis laporan untuk organisasi Anda yang unik - dapat menggunakan teknik untuk menyesuaikan LLMs.  

3. Transformer

Transformers adalah jenis arsitektur jaringan saraf yang diperkenalkan dalam makalah tahun 2017 berjudul "Attention is All You Need" oleh Vaswani dkk. Sebelum transformers, model seperti jaringan saraf berulang (RNN) dan jaringan memori jangka pendek (LSTM) biasanya digunakan untuk memproses urutan teks. 

Jaringan RNN dan LSTM akan membaca input teks secara berurutan, seperti yang dilakukan oleh manusia. Tetapi arsitektur transformator mampu memproses dan mengevaluasi setiap kata dalam sebuah kalimat pada saat yang sama, sehingga memungkinkannya untuk menilai beberapa kata sebagai lebih relevan, meskipun kata tersebut berada di tengah atau di akhir kalimat. Hal ini dikenal sebagai mekanisme perhatian diri. 

Perhatikan kalimat ini: "Tikus itu tidak bisa masuk ke dalam kandang karena terlalu besar."

Seorang transformer dapat menilai kata 'tikus' lebih penting daripada 'kandang', dan dengan tepat mengidentifikasi bahwa 'itu' dalam kalimat tersebut mengacu pada tikus. 

Tetapi model seperti RNN mungkin menafsirkan 'itu' sebagai kandang, karena itu adalah kata benda yang paling baru diproses.

Aspek 'transformer' memungkinkan ChatGPT untuk lebih memahami konteks dan menghasilkan respons yang lebih cerdas daripada pendahulunya. 

Apa yang dimaksud dengan pemrosesan bahasa alami?

Pemrosesan bahasa alami (NLP) adalah cabang dari kecerdasan buatan yang berfokus pada interaksi antara komputer dan manusia melalui bahasa alami. 

Hal ini memungkinkan mesin untuk memahami, menafsirkan, dan menghasilkan bahasa manusia dengan cara yang bermakna dan berguna.

NLP vs NLU vs NLG

NLP adalah bidang yang luas yang mencakup berbagai sub-disiplin ilmu, termasuk pemahaman bahasa alami (NLU ) dan pembuatan bahasa alami (NLG). 

NLP adalah domain yang menyeluruh, sementara NLU dan NLG adalah area khusus di dalamnya. Hal ini dikarenakan pemrosesan bahasa alami harus melibatkan pemahaman, kemudian pembuatan selama percakapan bolak-balik.

Bagaimana cara kerja NLP?

NLU menguraikan bahasa manusia untuk menginterpretasikan makna dan maksudnya. Berikut ini cara kerjanya selangkah demi selangkah:

1. Teks telah diproses sebelumnya untuk menghilangkan elemen yang tidak perlu (seperti tanda baca dan kata berhenti).
2. Sistem ini mengidentifikasi komponen utama seperti entitas, kata kunci, dan frasa dari teks.
3. Ini menganalisis struktur kalimat untuk memahami hubungan antara kata dan konsep.
4. Model NLU memetakan elemen-elemen yang dikenali untuk maksud atau tujuan tertentu.
5. Mesin NLU menyempurnakan pemahamannya berdasarkan konteks dan riwayat interaksi pengguna.

Sistem ini menyediakan output terstruktur yang dapat memicu tindakan atau respons yang tepat.

Pra-pelatihan

Pertama, model AI terpapar pada sejumlah besar data teks - dari buku, situs web, dan file lainnya. 

Selama pra-pelatihan, model belajar untuk memprediksi kata berikutnya dalam sebuah kalimat, yang membantunya memahami pola bahasa. Pada dasarnya, model ini membangun pemahaman statistik tentang bahasa, yang memungkinkannya menghasilkan teks yang terdengar koheren.

Penyempurnaan

Setelah pra-pelatihan, model akan disesuaikan dengan set data yang lebih spesifik. Untuk ChatGPT, ini termasuk set data yang dikurasi untuk percakapan. 

Bagian penting dari langkah ini melibatkan Pembelajaran Penguatan dari Umpan Balik Manusia (RLHF), di mana pelatih manusia memberi peringkat pada respons model. Lingkaran umpan balik ini membantu ChatGPT meningkatkan kemampuannya untuk menghasilkan respons yang tepat, bermanfaat, dan akurat secara kontekstual.

Token

Unit teks (kata atau bagian dari kata) yang diproses oleh model. ChatGPTInput dan output model diberi tanda untuk komputasi yang efisien.

Pembelajaran tanpa tembakan

Kemampuan model untuk melakukan tugas-tugas yang belum dilatih secara khusus dengan mengandalkan pengetahuan umumnya. 

Pembelajaran satu kali (one-shot) melibatkan pemberian satu contoh kepada model, sedangkan pembelajaran n kali (n-shot) melibatkan pemberian banyak contoh kepada model untuk dipelajari. 

Mekanisme perhatian

Komponen model transformator yang memungkinkannya untuk fokus pada bagian yang berbeda dari teks input ketika menghasilkan tanggapan.

Halusinasi

Model AI 'berhalusinasi' ketika menghasilkan informasi yang salah atau tidak masuk akal. Halusinasi dapat dikurangi dengan strategi seperti retrieval-augmented generation (RAG).

Rantai penalaran pemikiran

Metode yang membantu model berpikir selangkah demi selangkah, meningkatkan kemampuannya untuk menangani perintah atau tugas yang kompleks. 

Beberapa model ChatGPT secara otomatis dilengkapi dengan strategi ini - seperti modelOpenAI o1 terbaru. Tetapi Anda dapat meminta versi mana pun untuk melakukan penalaran berantai: minta saja untuk menjelaskan penalarannya langkah demi langkah.

Pra-pelatihan

Fase awal di mana model dilatih pada set data yang sangat besar untuk mempelajari pola bahasa sebelum disesuaikan untuk tugas-tugas tertentu.

Penyempurnaan 

Proses menyempurnakan model pada set data atau tugas yang lebih sempit untuk meningkatkan kinerjanya dalam kasus penggunaan tertentu.

Jendela konteks

Batas jumlah teks input yang dapat dipertimbangkan oleh model saat menghasilkan respons. 

Jendela konteks rendah berarti Anda tidak dapat mengirim laporan yang panjang dan meminta ringkasan - model akan 'melupakan' bagian awal dokumen. 

Kustom GPTs

OpenAI memungkinkan penggunanya untuk menyesuaikan GPTs sesuai dengan keinginan mereka. Anda dapat menginstruksikan GPT khusus untuk membantu Anda mempelajari aturan permainan papan tertentu, mendesain poster band rock metal, atau mengajari Anda konsep AI.

Agen AI khusus

Dengan kemajuan teknologi AI, sangat mudah (dan gratis) untuk membuat agen AI bertenaga LLM Anda sendiri. 

Dari pembangun seret dan lepas kode rendah, hingga ekosistem pengkodean tingkat lanjut, ada platform pembangun AI yang hebat untuk semua kasus penggunaan dan tingkat keahlian. 

Dengan membangun agen bertenaga LLM Anda sendiri, Anda dapat merancang asisten AI yang dapat dipesan lebih dahulu yang menjadwalkan pertemuan Anda dan menghasilkan laporan metrik mingguan Anda. Atau Anda dapat membuat agen AI dukungan pelanggan yang Anda terapkan pada WhatsApp. Tidak ada kekurangan kemungkinan.