Tenstorrent Menghadapi Kritik Keras Atas Software Stack yang Kompleks dan Pengalaman Developer

George Hotz , pendiri Comma.ai dan pencipta framework machine learning tinygrad , telah menerbitkan kritik pedas terhadap pendekatan software Tenstorrent . Komentarnya menyoroti kekhawatiran yang berkembang tentang pengalaman developer perusahaan chip AI ini dan lapisan abstraksi yang terlalu kompleks.

Tenstorrent , yang dipimpin oleh arsitek chip legendaris Jim Keller , telah memposisikan diri sebagai pesaing NVIDIA di ruang komputasi AI. Perusahaan ini menjanjikan hardware yang lebih dapat diprogram dibandingkan GPU tradisional, namun Hotz berargumen bahwa mereka gagal mengekspos keunggulan utama ini kepada para developer.

Frustrasi Developer dengan Beberapa Lapisan Abstraksi

Kritik utama berpusat pada software stack Tenstorrent yang memiliki terlalu banyak lapisan abstraksi. Hotz secara khusus mengkritik pendekatan Low Level Kernel (LLK) mereka sebagai cacat fundamental, membandingkannya dengan membangun kastil di atas rawa kotoran. Dia mengadvokasi pendekatan tiga lapisan yang lebih sederhana: frontend, compiler, dan runtime/driver.

Umpan balik komunitas mendukung kekhawatiran ini. Developer berpengalaman yang seharusnya menjadi early adopter ideal melaporkan kesulitan membuat kemajuan dengan tools Tenstorrent . Seorang mahasiswa PhD dalam machine learning dengan pengalaman luas dalam systems programming menggambarkan ketidakmampuannya memahami semua abstraksi mereka yang beragam meskipun telah membaca dokumentasi dan menghadiri meetup.

Developer lain mencoba menjalankan Vision Language Model terbaru pada hardware Blackhole Tenstorrent selama akhir pekan tetapi membuat sedikit kemajuan, terjebak pada operasi yang tidak didukung yang mencakup beberapa bagian dari software stack.

Struktur Stack Software yang Direkomendasikan:

• Pendekatan Tenstorrent saat ini: 7+ lapisan abstraksi termasuk LLK (Low Level Kernel)
• Pendekatan sederhana yang diusulkan: Hanya 3 lapisan
  1. Frontend ( PyTorch , ONNX , tensor.py)
  2. Compiler (penempatan memori, penjadwalan operasi, penggabungan kernel)
  3. Runtime/Driver (eksposur perangkat keras, kompilasi, pengiriman, antrian)

Masalah ELU sebagai Simbol Isu yang Lebih Dalam

Hotz menggunakan fungsi aktivasi Exponential Linear Unit (ELU) sebagai contoh kompleksitas yang salah tempat. Dia berargumen bahwa fungsi dasar seperti ELU seharusnya tidak memerlukan implementasi khusus di tingkat rendah stack. Sebaliknya, mereka harus disusun dari operasi yang lebih sederhana seperti fungsi ReLU dan eksponensial.

Ini mencerminkan masalah organisasi yang lebih luas di mana engineer brilian mungkin secara obsesif melakukan tuning untuk kasus penggunaan mereka sendiri tanpa mempertimbangkan pengalaman developer yang lebih luas. Hasilnya adalah sistem yang bekerja untuk tim internal tetapi menciptakan hambatan bagi developer eksternal.

Isu Teknis Utama yang Teridentifikasi:

• Implementasi ELU: Seharusnya disusun sebagai self.relu() - alpha*(1-self.exp()).relu() daripada dikodekan secara keras di tingkat rendah
• Masalah Abstraksi: LLK ( Low Level Kernel ) yang berada di bawah tt-metalium mencegah eksposur perangkat keras yang tepat
• Hambatan Developer: Abstraksi multi-layer yang kompleks membuat sulit bagi developer eksternal untuk mengimplementasikan model seperti Mixtral atau Pixtral

Keunggulan NVIDIA dan Jalan ke Depan

Kritik ini datang pada waktu yang krusial bagi Tenstorrent . Seperti yang ditunjukkan Hotz , perusahaan tidak dapat bersaing dalam kesepakatan manufaktur atau lisensi kekayaan intelektual melawan pemain mapan seperti NVIDIA dan AMD . Satu-satunya keunggulan berkelanjutan mereka terletak pada mengekspos kemampuan pemrograman hardware mereka.

Tidak ada kepemimpinan produk dalam desain API. Hanya banyak engineer yang sangat brilian yang secara obsesif melakukan tuning untuk kasus penggunaan mereka sendiri, tidak mau mengorbankan penurunan performa atau ekspresivitas demi keterbacaan atau kemudahan penulisan.

Diskusi komunitas mengungkapkan bahwa platform hardware AI yang sukses memerlukan lebih dari sekadar keunggulan teknis. Mereka membutuhkan kepemimpinan produk yang kuat yang berfokus pada pengalaman developer dan disiplin untuk mempertahankan abstraksi yang bersih bahkan ketika itu berarti mengorbankan beberapa performa atau kenyamanan internal.

Kesimpulan

Meskipun kemampuan hardware Tenstorrent mungkin mengesankan, perjuangan komunitas developer menunjukkan bahwa perusahaan perlu secara fundamental memikirkan kembali pendekatan software mereka. Kritik dari developer berpengalaman yang seharusnya menjadi advokat alami menunjukkan bahwa kecemerlangan teknis saja tidak cukup untuk menantang dominasi NVIDIA dalam komputasi AI.

Jalan ke depan kemungkinan memerlukan keputusan sulit tentang menyederhanakan software stack, bahkan jika itu berarti trade-off performa jangka pendek. Tanpa mengatasi masalah pengalaman developer ini, Tenstorrent berisiko menjadi perusahaan chip AI menjanjikan lainnya yang gagal mendapatkan traksi pasar yang berarti.

Referensi: tt-tiny