Pengenalan terbaru dari BrowserAI telah memicu diskusi di kalangan komunitas pengembang tentang perannya dalam lanskap AI berbasis browser. Meskipun awalnya memperkenalkan diri sebagai solusi untuk menjalankan Large Language Models (LLM) lokal di browser, dialog komunitas telah mengungkapkan batasan dan potensi masa depannya.
Implementasi Saat Ini dan Ketergantungan Framework
BrowserAI saat ini terutama berfungsi sebagai pembungkus untuk WebLLM dan Transformers.js, meskipun dengan beberapa modifikasi penting. Para pengembang telah mengambil langkah untuk meningkatkan kompatibilitas framework dengan melakukan fork dan mengkonversi kode Transformers.js ke TypeScript, mengatasi masalah build yang sebelumnya mempengaruhi framework seperti Next.js. Keputusan teknis ini mencerminkan fokus pada pengalaman pengembang dan dukungan framework yang lebih luas.
Fitur yang Direncanakan dan Arah Pengembangan
Tim proyek telah menguraikan beberapa fitur ambisius yang sedang dikembangkan, dengan penekanan khusus pada Retrieval-Augmented Generation (RAG) dan integrasi observabilitas. Namun, anggota komunitas telah mencatat tidak adanya komponen penting, seperti encoder keluarga BERT, yang akan diperlukan untuk mengimplementasikan fungsionalitas RAG. Para pengembang telah mengakui keterbatasan ini dan menunjukkan rencana untuk menambahkan encoder sesuai kebutuhan.
Ketika saya membaca judulnya, saya pikir proyek ini akan menjadi plugin browser LLM (atau semacamnya) yang akan secara otomatis menggunakan halaman saat ini sebagai konteks. Namun, setelah melihat proyek GitHub, sepertinya ini adalah antarmuka browser untuk LLM lokal.
Aplikasi Praktis dan Minat Komunitas
Meskipun masih dalam tahap awal, komunitas telah mengidentifikasi beberapa aplikasi praktis untuk BrowserAI, termasuk manajemen pemberitahuan cookie otomatis dan peningkatan ekstensi browser autocorrect/autocomplete. Fokus proyek pada pemrosesan AI berbasis browser telah menarik minat dari pengembang yang ingin mengimplementasikan solusi AI yang memperhatikan privasi tanpa ketergantungan server.
Model yang Saat Ini Didukung:
-
Model MLC:
- LLama-3.2-1b-Instruct
- SmolLM2-135M-Instruct
- SmolLM2-360M-Instruct
- Qwen-0.5B-Instruct
- Gemma-2B-IT
- TinyLLama-1.1b-Chat-v0.4
- Phi-3.5-mini-Instruct
- Qwen2.5-1.5B-Instruct
-
Model Transformers:
- LLama-3.2-1b-Instruct
- Whisper-tiny-en
- SpeechT5-TTS
Pertimbangan Kinerja Teknis
Para pengembang telah melaporkan bahwa meskipun kompresi model dan penggunaan RAM WebLLM mengesankan, mereka telah menemui kasus di mana model yang dikuantisasi terkadang menghasilkan output yang tidak konsisten. Pengamatan ini telah mendorong eksperimen berkelanjutan untuk mengoptimalkan kinerja dan keandalan model dalam lingkungan browser.
Proyek ini merepresentasikan upaya yang terus berkembang untuk membuat AI lebih mudah diakses dalam lingkungan browser, meskipun nilai proposisi utamanya masih terus didefinisikan melalui umpan balik komunitas dan upaya pengembangan yang berkelanjutan.
Referensi: BrowserAI: Run local LLMs in the Browser