Dalam dunia pengembangan AI yang berkembang pesat, DeepSeek baru-baru ini mengumumkan pendekatannya untuk membuka sumber (open-source) komponen mesin inferensinya, memicu diskusi signifikan dalam komunitas teknologi. Alih-alih merilis seluruh kode sumbernya, yang menghadapi beberapa tantangan praktis, perusahaan ini memilih untuk memberikan kontribusi yang lebih strategis pada ekosistem open-source.
Kesenjangan Performa Mengungkapkan Potensi Optimasi yang Signifikan
Komunitas telah mengidentifikasi adanya kesenjangan performa yang substansial antara mesin inferensi yang tersedia untuk publik dan sistem internal DeepSeek. Menurut komentar dari pengguna yang familiar dengan tolok ukur, vLLM (mesin inferensi open-source) mencapai sekitar 5.000 token total per detik dengan dataset sharegpt dan 12.000 token per detik dengan konfigurasi acak 2000/100 di bawah konkurensi tinggi. Sebaliknya, sistem internal DeepSeek dilaporkan memberikan sekitar 73.700 token per detik selama prefilling dan 14.800 token per detik selama decoding pada satu node H800. Perbedaan dramatis ini menyoroti betapa banyak ruang untuk perbaikan yang ada dalam ruang inferensi open-source.
Perbandingan Performa: vLLM vs. DeepSeek Internal Engine
| Sistem | Konfigurasi | Performa |
|---|---|---|
| vLLM | dataset sharegpt, konkurensi tinggi | ~5.000 token/detik |
| vLLM | random 2000/100, konkurensi tinggi | ~12.000 token/detik |
| DeepSeek Internal | Node H800, prefilling | ~73.700 token/detik input |
| DeepSeek Internal | Node H800, decoding | ~14.800 token/detik output |
Tantangan Open-Source DeepSeek
- Divergensi Kode: Berbasis pada fork vLLM yang berusia setahun dengan kustomisasi berat
- Ketergantungan Infrastruktur: Terhubung erat dengan sistem internal
- Keterbatasan Bandwidth Pemeliharaan: Tim penelitian kecil yang berfokus pada pengembangan model
Strategi Kontribusi DeepSeek
- Mengekstrak fitur mandiri sebagai pustaka independen
- Berbagi teknik optimasi dan detail implementasi
- Berkolaborasi dengan proyek open-source yang sudah ada
Tantangan Memelihara Kode yang Telah Di-Fork
Banyak pengembang dalam komunitas mengungkapkan empati terhadap penjelasan DeepSeek tentang divergensi kode sumber. Mesin inferensi perusahaan didasarkan pada fork awal vLLM dari lebih dari setahun yang lalu, dan sejak itu telah banyak dikustomisasi untuk model spesifik mereka. Situasi ini beresonansi dengan banyak insinyur perangkat lunak yang telah mengalami tantangan serupa dengan memelihara fork yang terlalu jauh dari kode sumber aslinya. Utang teknis yang terakumulasi melalui kustomisasi ekstensif membuat semakin sulit untuk menggabungkan perbaikan komunitas atau memelihara kode untuk kasus penggunaan yang lebih luas.
Saya pernah mengalaminya. Mungkin beberapa dari kita juga pernah... Pendekatan mereka untuk bekerja pada pemisahan sublibrari yang dapat dipelihara dan berbagi informasi secara langsung meskipun tidak terintegrasi tampaknya cara yang sangat baik untuk bekerja dengan komunitas.
Logika Komersial di Balik AI Open-Source
Diskusi yang menarik berpusat pada mengapa perusahaan AI komersial membagikan penelitian dan teknologi mereka. Beberapa anggota komunitas menawarkan wawasan tentang logika bisnis yang mendorong perilaku yang tampaknya kontraproduktif ini. Motivasinya tampak beragam: menarik talenta terbaik yang ingin karyanya dipublikasikan, membangun mindshare di industri, memposisikan teknologi sebagai standar, dan mempercepat kemajuan seluruh bidang yang pada akhirnya menguntungkan semua peserta.
Beberapa komentator mencatat bahwa dalam bidang yang berkembang pesat seperti AI, berada dekat dengan kemajuan yang terjadi di seluruh ekosistem mungkin lebih berharga daripada menjaga inovasi tetap rahasia. Perspektif ini membingkai kontribusi open-source bukan sebagai tindakan altruisme tetapi sebagai keputusan bisnis strategis yang mengejar keuntungan ekonomi melalui manfaat bersama dan pertumbuhan ekosistem.
Nilai Praktis Berbagi Pengetahuan vs. Kode
Perspektif menarik muncul mengenai nilai berbagi pengetahuan bahkan ketika kode yang lengkap dan dapat dijalankan tidak tersedia. Beberapa pengembang menunjukkan bahwa kode yang tidak dapat dijalankan atau deskripsi teknis dapat sangat berharga untuk memahami detail implementasi yang tidak sepenuhnya disampaikan oleh makalah saja. Ini menunjukkan bahwa pendekatan DeepSeek untuk berbagi optimasi dan peningkatan desain, bahkan jika tidak dalam bentuk mesin inferensi lengkap, masih dapat memberikan manfaat signifikan bagi komunitas.
Sebagai kesimpulan, keputusan DeepSeek mewakili pendekatan pragmatis terhadap kontribusi open-source yang mengakui baik nilai berbagi inovasi maupun tantangan praktis dalam memelihara kode sumber yang kompleks. Seiring pengembangan AI terus dipercepat, menemukan model berkelanjutan untuk berbagi pengetahuan yang menguntungkan baik perusahaan maupun komunitas yang lebih luas akan tetap penting. Sambutan positif terhadap transparansi DeepSeek mengenai tantangan-tantangan ini menunjukkan bahwa komunitas teknologi menghargai komunikasi jujur tentang realitas pemeliharaan open-source sebanyak kontribusinya sendiri.
Referensi: The Path to Open-Sourcing the DeepSeek Inference Engine