Komunitas teknologi sedang ramai membicarakan bocornya sistem prompt dari asisten AI milik Anthropic, Claude, yang mengungkapkan instruksi ekstensif yang memandu perilakunya. Dokumen tersebut, yang dilaporkan berisi lebih dari 24.000 token, memberikan wawasan yang belum pernah ada sebelumnya tentang bagaimana asisten model bahasa besar (LLM) diarahkan untuk berinteraksi dengan pengguna.
Sistem Prompt yang Masif
Sistem prompt Claude yang bocor mencakup lebih dari 24.000 token, mengkonsumsi sebagian besar jendela konteks AI tersebut. Rangkaian instruksi yang luas ini mencakup segala hal mulai dari cara merespons berbagai jenis pertanyaan hingga pedoman khusus untuk menangani topik sensitif. Prompt tersebut mencakup instruksi terperinci tentang pemformatan respons, penggunaan markdown, pemberian contoh kode, dan bahkan penanganan skenario hipotetis.
Banyak anggota komunitas mengungkapkan keterkejutan mereka akan ukuran sistem prompt yang sangat besar. Dokumen tersebut berisi banyak instruksi spesifik, termasuk cara menangani skala prioritas yang berbeda (dari 1-10), pedoman pemformatan respons yang detail, dan bahkan contoh spesifik tentang cara menjawab pertanyaan umum.
Astaga, begitu banyak jendela konteks yang terbuang untuk hal-hal yang hanya sedikit meningkatkan pengalaman pengguna.
Komponen Utama dari System Prompt Claude:
- Skala prioritas (1-10) yang menentukan gaya dan kedalaman respons
- Pedoman pemformatan respons menggunakan markdown
- Prinsip-prinsip untuk penggunaan alat dan sumber pengetahuan
- Pedoman etis untuk pembuatan konten
- Instruksi untuk menangani topik politik, keuangan, hukum, dan medis
- Contoh spesifik untuk jenis pertanyaan umum
- Pedoman untuk sitasi dan menghindari pelanggaran hak cipta
Kekhawatiran Komunitas:
- Efisiensi jendela konteks (24 ribu token digunakan untuk instruksi)
- Implikasi privasi dari penggunaan alat
- Konsistensi dalam mengikuti instruksi pengguna
- Keseimbangan antara instruksi eksplisit vs. perilaku yang dipelajari
Teknik Caching Token
Meskipun ada kekhawatiran tentang panjangnya prompt yang mengkonsumsi ruang jendela konteks yang berharga, beberapa komentator menunjukkan bahwa Anthropic kemungkinan menggunakan teknik caching token untuk mengatasi masalah ini. Pendekatan ini memungkinkan sistem untuk menghindari pemrosesan ulang seluruh prompt pada setiap interaksi pengguna.
Seorang komentator membagikan tautan ke dokumentasi Anthropic tentang prompt caching, menjelaskan bahwa teknik ini sudah banyak digunakan. Yang lain menyebutkan KV (key-value) prefix caching sebagai metode spesifik yang digunakan. Teknik-teknik ini memungkinkan AI untuk mempertahankan perilaku yang diinstruksikan tanpa mengorbankan kinerja atau ruang konteks untuk interaksi pengguna.
Kepribadian dan Perilaku Claude
Sistem prompt memberikan wawasan menarik tentang bagaimana kepribadian dan perilaku Claude yang terlihat dirancang. Beberapa pengguna bertanya-tanya seberapa banyak karakter khas Claude berasal dari sistem prompt versus LLM yang mendasarinya dan pelatihannya. Prompt tersebut merujuk pada Claude dalam orang ketiga, menggambarkannya sebagai asisten yang senang membantu manusia dan melihat perannya sebagai asisten yang cerdas dan baik bagi orang-orang, dengan kedalaman dan kebijaksanaan yang membuatnya lebih dari sekadar alat.
Pendekatan untuk mendefinisikan persona AI ini menimbulkan pertanyaan tentang apakah kepribadian serupa dapat diterapkan pada LLM lain menggunakan prompt yang sebanding - pada dasarnya menciptakan mode Claude untuk model lain.
Penggunaan Alat dan Pemanggilan Fungsi
Prompt yang bocor berisi instruksi ekstensif tentang bagaimana Claude harus menggunakan berbagai alat dan pemanggilan fungsi. Beberapa pengguna mencatat bahwa instruksi ini mencakup contoh alat yang dapat mengakses data pengguna, seperti profil email dan dokumen Google Drive, yang menimbulkan kekhawatiran privasi.
Salah satu contoh dalam prompt menunjukkan Claude diperintahkan untuk mencari tahu di mana Anda bekerja dengan membaca profil Gmail Anda saat menganalisis strategi investasi yang terpengaruh oleh pembatasan ekspor semikonduktor. Meskipun ini merupakan respons terhadap kueri ambigu menggunakan strategi investasi kami, beberapa pengguna mempertanyakan apakah akses seperti itu akan selalu memiliki persetujuan pengguna yang jelas.
Anggota komunitas lain menyebutkan menonaktifkan ekstensi dan alat di Claude karena mereka menemukan bahwa pemanggilan fungsi mengurangi kinerja model dalam tugas seperti pengkodean. Diskusi menyoroti trade-off antara kemampuan yang ditingkatkan melalui penggunaan alat dan mempertahankan kinerja inti.
Kepatuhan pada Instruksi
Beberapa pengguna mengungkapkan frustrasi bahwa meskipun ada sistem prompt yang ekstensif, Claude tidak selalu mengikuti instruksi pengguna secara konsisten. Seorang komentator mencatat bahwa ketika bekerja pada proyek pengkodean, Claude sering mengabaikan arahan spesifik, seperti memberikan kode lengkap tanpa cuplikan atau menghindari optimasi dan refactoring yang tidak diminta.
Pengamatan ini menunjukkan bahwa bahkan dengan sistem prompt yang detail, LLM masih kesulitan untuk secara konsisten mengikuti instruksi pengguna, terutama dalam tugas kompleks dan multi-langkah seperti pengembangan perangkat lunak.
Instruksi Tersembunyi Tambahan
Seorang pengguna melaporkan bahwa Claude terkadang mengungkapkan instruksi sistem tambahan selama interaksi, terutama setelah menggunakan alat pencarian. Ini termasuk pengingat tentang tidak mereproduksi lirik lagu karena hak cipta, menghindari halusinasi, terlibat dengan hipotetis secara tepat, dan mempertahankan netralitas politik.
Sekilas ini menunjukkan bahwa sistem prompt lengkap mungkin lebih luas daripada yang bocor, dengan pengingat kontekstual tambahan yang aktif dalam situasi tertentu.
Bocornya sistem prompt Claude menawarkan jendela langka ke dalam rekayasa kompleks di balik asisten AI modern. Sementara beberapa pengguna mengungkapkan kekecewaan bahwa banyak perilaku AI berasal dari instruksi eksplisit daripada kecerdasan yang muncul, yang lain menghargai transparansi dan wawasan tentang bagaimana sistem ini dirancang untuk berinteraksi dengan manusia.
Referensi: system_prompts/priority_scale.txt