Komunitas peneliti AI telah merespons dengan skeptisisme yang signifikan terhadap proyek yang baru diumumkan bernama Neural Graffiti, yang mengklaim memungkinkan modifikasi perilaku model bahasa besar secara real-time melalui apa yang digambarkan penciptanya sebagai pendekatan neuroplastik. Proyek tersebut, yang diklaim memungkinkan pembengkokan model dasar secara langsung pada tingkat jaringan saraf, telah menuai kritik karena berpotensi melebih-lebihkan kebaruan dan efektivitasnya.
Penemuan Ulang Daripada Inovasi
Banyak komentator telah menunjukkan bahwa konsep inti di balik Neural Graffiti tampaknya hanyalah pemberian merek baru dari teknik yang sudah ada. Pendekatan ini, yang melibatkan penyuntikan vektor ke lapisan tersembunyi terakhir model transformer untuk mempengaruhi output, sangat mirip dengan metode yang sudah mapan seperti control vectors. Hal ini telah menimbulkan frustrasi di antara praktisi AI yang melihat ini sebagai bagian dari tren yang mengkhawatirkan di bidang ini.
Great, somebody reinvented control vectors. This industry needs to stop reinventing things every 6 months.
Proyek ini menggambarkan dirinya terinspirasi oleh seni grafiti tagging dan sifat neuroplastik dari otak hidup, bahasa yang menurut beberapa anggota komunitas terlalu berbunga-bunga dan berpotensi menyesatkan. Para kritikus menunjukkan bahwa penggunaan terminologi semacam itu mengaburkan kesederhanaan teknis dari apa yang diusulkan – pada dasarnya rata-rata bergerak eksponensial melalui serangkaian vektor yang diterapkan pada lapisan terakhir model.
Implementasi Teknis yang Dipertanyakan
Analisis teknis dari komunitas menimbulkan keraguan tentang detail implementasi. Menurut komentator yang memeriksa kode, pemetaan linier yang digunakan dalam pendekatan ini diinisialisasi secara acak tanpa pelatihan yang tepat, yang kemungkinan akan mencegahnya berfungsi seperti yang dijelaskan. Pengamatan ini didukung oleh laporan dari pengguna yang menguji demo dan menemukan sedikit bukti bahwa sistem benar-benar mempertahankan konsep seperti yang diklaim.
Seorang pengguna melaporkan bahwa setelah berulang kali memberi tahu model bahwa mereka menyukai kucing, ketika ditanya tentang hewan favoritnya, model terus merespons dengan lebah madu dan gurita, tidak menunjukkan tanda-tanda efek memori yang dijanjikan. Ini menunjukkan bahwa dampak sebenarnya dari Spray Layer mungkin minimal atau bahkan tidak ada dalam praktiknya.
Cakupan dan Potensi Terbatas
Bahkan jika pendekatan ini bekerja seperti yang dijelaskan, beberapa ahli mempertanyakan apakah memodifikasi hanya lapisan tersembunyi terakhir akan secara bermakna mengubah cara model berpikir secara substansial. Proyek ini mengklaim dapat mengubah cara pandangnya terhadap dunia dan mempengaruhi bagaimana ia menghubungkan konsep, tetapi implementasi teknisnya tampak terlalu terbatas untuk mencapai tujuan yang ambisius tersebut.
Diskusi komunitas juga menyoroti bahwa jika sistem ini bekerja, itu pada dasarnya akan berfungsi sebagai versi rudimenter dan kurang terlatih dari teknik seperti LoRA (Low-Rank Adaptation), tetapi dengan jauh lebih sedikit kecanggihan dan efektivitas. Ini menimbulkan pertanyaan tentang kegunaan praktis dari pendekatan ini di luar eksplorasi konseptual.
Kritik Utama terhadap Neural Graffiti
- Kurangnya kebaruan: Tampaknya hanya menciptakan kembali teknik yang sudah ada seperti vektor kontrol
- Masalah implementasi: Inisialisasi bobot secara acak tanpa pelatihan yang tepat
- Bukti terbatas: Pengguna melaporkan tidak ada efek memori yang terlihat dalam pengujian
- Keterbatasan teknis: Modifikasi hanya pada lapisan tersembunyi terakhir tidak mungkin menghasilkan efek yang diklaim
- Bahasa pemasaran: Penggunaan istilah seperti "neuroplastic" dan "graffiti" dipandang sebagai hiasan yang tidak perlu
- Tidak ada tolok ukur: Tidak ada data perbandingan atau metrik kinerja yang disediakan
Konteks Lebih Luas: Kekhawatiran tentang Hype AI
Proyek Neural Graffiti muncul di tengah kekhawatiran yang berkembang tentang hype dan bahasa pemasaran dalam penelitian AI. Anggota komunitas mengungkapkan kelelahan dengan apa yang mereka anggap sebagai pemberian merek ulang yang tidak perlu terhadap teknik yang sudah ada dengan nama dan grafik yang mencolok, disertai dengan klaim muluk yang tidak didukung oleh bukti empiris.
Diskusi ini terhubung dengan pengamatan yang lebih luas tentang perubahan dalam sistem AI komersial. Beberapa pengguna mencatat pergeseran terbaru dalam perilaku ChatGPT ke arah respons yang lebih suka menjilat, berspekulasi apakah teknik serupa untuk memodifikasi perilaku model mungkin digunakan oleh perusahaan AI besar untuk membentuk pengalaman pengguna, seringkali dengan cara yang memprioritaskan keterlibatan daripada kegunaan.
Seiring dengan pesatnya perkembangan bidang AI, respons komunitas terhadap Neural Graffiti menyoroti pentingnya mendukung klaim dengan bukti, mengakui karya sebelumnya, dan mempertahankan presisi teknis dalam komunikasi – nilai-nilai yang tampaknya semakin bertentangan dengan ekonomi perhatian yang mendorong sebagian besar pengembangan AI.
Referensi: neuralgraffiti