Klaim terbaru dari Cerebras mengenai keunggulan performa inferensi AI mereka dibandingkan GPU NVIDIA telah memicu diskusi intens di komunitas teknologi, menyoroti potensi terobosan sekaligus tantangan signifikan dalam lanskap perangkat keras AI.
Keterbatasan Memori Memunculkan Kekhawatiran
Poin kritis yang diangkat oleh komunitas adalah kapasitas SRAM Cerebras yang terbatas. Meskipun perusahaan membanggakan 44GB SRAM dalam sistem CS-3 mereka, jumlah ini terbukti tidak mencukupi untuk model yang lebih besar. Seperti yang diungkapkan pengguna 'menaerus':
CS-1 memiliki 18G SRAM, CS-2 ditingkatkan menjadi 40G dan CS-3 memiliki 44G SRAM. Tidak satupun dari kapasitas ini cukup untuk menjalankan inferensi Llama 70B, apalagi untuk model yang lebih besar.
Pertimbangan Biaya-Performa
Aspek ekonomi dari solusi Cerebras mendapat pengawasan khusus. Dengan biaya $900 juta untuk 576 node CS-3 ($1,56 juta per node), struktur biayanya tampak menantang. Analisis komunitas mengungkapkan:
- 4 node CS-3 ($6,24M) dibutuhkan untuk menjalankan satu model 70B
- Kluster AMD MI300x yang sebanding (~$5M) dapat menjalankan beberapa model dengan total memori 24.576GB
- Google Cloud TPU v5e menawarkan 2.175 token/detik pada Llama2 70B dengan biaya sekitar $100K per tahun
Lanskap Kompetitif
AMD dan Google muncul sebagai pesaing kuat:
- AMD MI300x menawarkan memori HBM3 192GB per unit
- MI325x akan menyediakan HBM3e 256GB
- TPU v6 Google yang baru diumumkan menjanjikan peningkatan 4x dalam performa pelatihan dan peningkatan 3x dalam throughput inferensi
Potensi Pasar Ceruk
Terlepas dari keterbatasan, Cerebras mungkin menemukan kesuksesan dalam kasus penggunaan tertentu. Seperti yang dicatat 'krasin', teknologi mereka bisa berharga untuk umpan balik latensi rendah: obrolan audio dengan LLM, robotika, dll. Namun, ini hanya mewakili segmen kecil dari keseluruhan pasar AI.
Konsensus komunitas menunjukkan bahwa meskipun Cerebras menunjukkan performa yang menjanjikan dalam skenario tertentu, keterbatasan memori dan biaya tinggi dapat membatasi adopsi pasar yang lebih luas. Strategi perusahaan dalam mensubsidi tarif penggunaan cloud versus penjualan perangkat keras juga menimbulkan pertanyaan tentang keberlanjutan bisnis jangka panjang.