Diskusi mengenai bagaimana Large Language Models (LLM) memahami dan merepresentasikan dunia telah memicu perdebatan sengit di komunitas AI. Sementara penelitian baru mengusulkan metrik untuk mengevaluasi model-model dunia ini, komunitas bergulat dengan pertanyaan mendasar tentang sifat dan keterbatasan pemahaman AI terhadap realitas.
Sifat Autoregresif dari Model Dunia LLM
Poin utama diskusi berkisar pada perbedaan mendasar antara bagaimana LLM dan entitas biologis membangun pemahaman mereka tentang dunia. Komunitas menekankan bahwa LLM membangun model mereka melalui prediksi autoregresif teks, bukan melalui interaksi langsung dengan dunia fisik.
Masalahnya adalah LLM adalah model auto-regresif - ia mencoba memprediksi kelanjutan dari sampel set pelatihan hanya berdasarkan urutan kata, dan tidak mengetahui dunia yang sebenarnya digambarkan oleh urutan kata tersebut. Ia tidak dapat memodelkan proses generatif dari manusia yang menciptakan sampel set pelatihan tersebut karena proses generatif tersebut memiliki input yang berbeda - yaitu input sensorik.
Implikasi Praktis dan Keterbatasan
Komunitas telah mengidentifikasi beberapa aspek menarik dari model-model dunia ini:
-
Integrasi Pengetahuan : Para peneliti telah bereksperimen dengan menanamkan model grafik pengetahuan yang telah dilatih sebelumnya ke dalam arsitektur transformer, menunjukkan hasil yang menjanjikan untuk aplikasi domain-spesifik.
-
Koherensi Model : Evaluasi pemetaan jalan Manhattan dalam penelitian mengungkapkan bahwa meskipun model dapat menghasilkan representasi yang tampak koheren, mereka sering mengandung kesalahan mendasar dan konfigurasi fisik yang tidak mungkin.
-
Koreksi Kesalahan : Pengamatan menarik menunjukkan bahwa dalam aplikasi praktis, semakin signifikan kesalahan dalam model dunia LLM, semakin cepat ia cenderung melakukan koreksi diri melalui interaksi dan umpan balik.
Paralel dengan Manusia
Diskusi ini telah memunculkan paralel yang menarik antara model dunia LLM dan kognisi manusia. Beberapa anggota komunitas menunjukkan bahwa model dunia manusia juga tidak sempurna dan berpotensi tidak koheren menurut metrik yang ketat. Ini memunculkan pertanyaan tentang tingkat koherensi apa yang seharusnya kita harapkan atau tuntut dari sistem AI.
Perdebatan meluas ke pertimbangan filosofis tentang bagaimana kita semua membangun pemahaman tentang realitas, baik melalui pengalaman sensorik langsung atau, seperti dalam kasus konsep warna untuk individu seperti Helen Keller, melalui bahasa dan deskripsi saja.
Arah Masa Depan
Komunitas melihat potensi dalam pendekatan hibrid, terutama dalam menggabungkan LLM dengan:
- Simulator fisik selama pelatihan
- Embedding grafik pengetahuan
- Lingkungan pembelajaran interaktif
- Basis pengetahuan domain-spesifik
Perkembangan ini menunjukkan bahwa meskipun model dunia LLM saat ini memiliki keterbatasan signifikan, ada jalur yang menjanjikan untuk meningkatkan pemahaman dan representasi mereka terhadap realitas.
Source: Evaluating the World Model Implicit in a Generative Model Source: Hacker News Discussion