Dalam demonstrasi kemampuan AI berbasis browser yang luar biasa, seorang pengembang telah menciptakan implementasi lengkap dari GPT-2 small (117M parameter) yang berjalan sepenuhnya di WebGL2 shaders. Proyek ini menunjukkan bagaimana browser modern dapat memanfaatkan akselerasi GPU untuk tugas-tugas pembelajaran mesin tanpa bergantung pada framework khusus.
WebGL vs WebGPU: Masalah Kompatibilitas dan Pengalaman
Pengembang memilih WebGL dibandingkan standar WebGPU yang lebih baru terutama karena keakraban dan persyaratan proyek. Menurut komentar dari pembuatnya, ini dikembangkan sebagai proyek akhir untuk kelas grafis yang banyak menggunakan WebGL. Anggota komunitas menunjukkan bahwa sementara WebGPU mungkin menawarkan keunggulan kinerja, WebGL menyediakan kompatibilitas yang lebih luas di berbagai browser. Salah satu komentator mencatat bahwa dukungan WebGPU masih tidak stabil di berbagai platform, menjadikan WebGL pilihan yang lebih andal untuk akses universal.
Diskusi menyoroti bahwa beberapa pustaka yang ada seperti transformers.js sudah memanfaatkan WebGPU, membuat implementasi WebGL ini terkenal karena orisinalitasnya, bukan hanya fungsionalitasnya. Proyek ini bergabung dengan implementasi kreatif lainnya dari model bahasa di lingkungan yang tidak terduga, termasuk dunia VRChat yang disebutkan menjalankan Qwen2-0.5B dalam shaders dan bahkan implementasi GPT-2 sebelumnya di Microsoft Excel.
Implementasi Teknis dan Pertimbangan Kinerja
Implementasi ini menampilkan forward pass GPT-2 small yang lengkap berjalan di GPU melalui WebGL2 shaders, dengan tokenisasi BPE yang ditangani oleh js-tiktoken langsung di browser tanpa memerlukan pengambilan WebAssembly. Anggota komunitas menyatakan ketertarikan untuk memahami karakteristik kinerja, terutama berapa banyak waktu inferensi yang terikat GPU versus terikat CPU di lingkungan browser.
Super cool project! How much of the inference time is actually GPU-bound vs CPU-bound in the browser? Curious if WebGPU would offer a big perf boost over WebGL2 here.
Pertanyaan ini menyoroti pertimbangan teknis utama untuk pembelajaran mesin berbasis browser: keseimbangan antara beban kerja GPU dan CPU dapat secara signifikan mempengaruhi kinerja keseluruhan. Beberapa komentator menyarankan bahwa mendorong teknologi lama seperti WebGL mungkin sebenarnya mendorong pemahaman yang lebih dalam tentang bagaimana model-model ini bekerja dibandingkan dengan menggunakan pustaka yang lebih baru yang mengabstraksikan detail implementasi.
Fitur Teknis Proyek
- Forward pass lengkap GPT-2 small (117M) di GPU melalui shader WebGL2
- Tokenisasi BPE menggunakan js-tiktoken di browser (tanpa pengambilan WASM)
- Skrip Python untuk mengunduh bobot model yang telah dilatih sebelumnya
Prasyarat
- Node.js ≥ 16.x dan npm
- Python ≥ 3.8
- Browser modern dengan dukungan WebGL2 (Chrome, Firefox, Safari, Edge)
Proyek Komunitas Serupa yang Dirujuk
- Implementasi GPT-2 di Excel
- Qwen2-0.5B berjalan di shader dunia VRChat
- transformers.js menggunakan runtime ONNX (mendukung WASM, WebGL, WebGPU, WebNN)
Tantangan Penerapan dan Aksesibilitas
Proyek ini saat ini menghadapi tantangan penerapan, terutama mengenai distribusi bobot model. Meskipun kode tersedia di GitHub, pengguna mencatat kesulitan mengakses demo langsung karena masalah dengan hosting bobot model. Beberapa anggota komunitas menyarankan solusi, termasuk mengambil bobot langsung dari repositori Hugging Face sesuai permintaan daripada menggabungkannya dengan aplikasi.
Pembuatnya menyebutkan sedang mengerjakan penerapan GitHub Pages tetapi mengakui tantangan dengan pendekatan pemuatan bobot saat ini. Anggota komunitas menawarkan saran yang membantu, termasuk mereferensikan proyek yang ada yang berhasil mengambil bobot GPT-2 dari Hugging Face secara dinamis.
Proyek ini merepresentasikan pertemuan menarik antara pemrograman grafis dan pembelajaran mesin, menunjukkan bahwa browser modern semakin mampu menjalankan model AI yang canggih langsung di sisi klien. Seiring teknologi browser terus berkembang, kita dapat mengharapkan untuk melihat lebih banyak aplikasi inovatif yang memanfaatkan akselerasi GPU untuk tugas AI tanpa memerlukan perangkat keras atau lingkungan perangkat lunak khusus.
Referensi: GPT-2 WebGL Inference Demo