Asisten penelitian AI open-source bernama Local Deep Research telah memicu diskusi komunitas yang signifikan tentang masa depan alat AI yang memprioritaskan privasi dan kemandirian dari layanan korporat. Seiring alat penelitian AI yang semakin umum, proyek ini menonjol karena fokusnya pada pengoperasian sepenuhnya di perangkat keras lokal jika diinginkan, menawarkan alternatif bagi pengguna dari layanan berbasis cloud yang mungkin mengkompromikan privasi data.
 |
|---|
| Tampilan dasbor dari alat Deep Research yang menampilkan tugas-tugas penelitian yang telah selesai, selaras dengan fokus proyek pada kemampuan penelitian AI secara mandiri |
Pendekatan Utamakan Privasi Mendapat Sambutan dari Komunitas
Penekanan proyek pada pemrosesan lokal telah menarik perhatian banyak pengembang dan pengguna yang peduli tentang privasi data. Salah satu penulis bersama proyek ini, yang bergabung ketika proyek ini memiliki kurang dari 100 bintang, menjelaskan motivasi mereka didorong oleh frustrasi terhadap alternatif terbuka yang pada akhirnya bergantung pada layanan API berbayar:
Saya pikir semua alternatif 'terbuka' itu hanyalah pembungkus API 'Open'AI BERBAYAR, yang hanya merusak istilah 'Open'. Visi saya untuk repositori ini adalah sistem yang independen dari penyedia LLM (dan perantara) dan layanan pencarian web yang terlalu mahal (5$ per 1000 permintaan pencarian di Google itu gila).
Sentimen ini tampaknya telah mendapat sambutan luas, karena repositori mengalami pertumbuhan pesat dalam waktu singkat. Penulis bersama mengungkapkan keterkejutannya dengan seberapa cepat proyek ini mendapatkan daya tarik, menunjukkan adanya permintaan yang signifikan untuk alat penelitian AI yang benar-benar independen yang tidak bergantung pada infrastruktur korporat.
Tantangan Teknis dan Keterbatasan
Meskipun ada antusiasme terhadap konsep ini, pengguna telah menyoroti beberapa tantangan teknis. Beberapa komentator mencatat bahwa LLM lokal menghadapi keterbatasan signifikan dibandingkan dengan rekan berbasis cloud mereka. Satu pengguna menjelaskan bahwa kebanyakan LLM kehilangan kemampuan untuk melacak fakta di luar sekitar 20.000 kata konten, dengan model terbaik hanya mampu menangani sekitar 40.000 kata. Ini menciptakan keterbatasan inheren untuk aplikasi penelitian mendalam yang perlu memproses volume informasi yang besar.
Persyaratan perangkat keras menjadi hambatan lain. Menjalankan model canggih secara lokal membutuhkan sumber daya komputasi yang substansial, dengan satu komentator mencatat bahwa hanya orang dengan server perusahaan di rumah yang dapat menjalankan model dengan jendela konteks yang benar-benar besar secara lokal. Namun, pengguna lain menyarankan bahwa perangkat keras konsumen yang dimodifikasi seperti RTX 4090 dengan 48GB VRAM berpotensi dapat menangani model 32B yang dikuantisasi dengan konteks 200.000 token.
Keterbatasan yang Diidentifikasi oleh Komunitas
- Kemampuan pelacakan fakta yang terbatas pada LLM lokal (biasanya 20k-40k kata)
- Persyaratan perangkat keras yang tinggi untuk menjalankan model canggih secara lokal
- Masalah keandalan dalam proses generasi yang dilaporkan oleh beberapa pengguna
- Kualitas output bervariasi berdasarkan pemilihan model dan jenis pertanyaan
- Model penalaran berkinerja lebih baik tetapi berjalan lebih lambat untuk tugas penelitian kompleks
Saran Komunitas untuk Perbaikan
Diskusi telah menghasilkan banyak saran untuk meningkatkan kemampuan alat. Beberapa pengguna merekomendasikan untuk mengintegrasikan basis data grafik untuk meningkatkan organisasi dan pengambilan informasi. Seperti yang dijelaskan oleh satu komentator, ini akan memungkinkan LLM untuk menempatkan semua informasinya, melihat interkoneksi yang relevan, melakukan kueri untuk mempertanyakan dirinya sendiri, dan kemudian menghasilkan laporan akhir.
Yang lain menyarankan untuk mengintegrasikan API pencarian tambahan seperti Kagi dan Tavily untuk memperluas kemampuan penelitian alat tersebut. Ada juga minat pada fitur yang memungkinkan pengguna untuk menggabungkan basis pengetahuan kurasi mereka sendiri, dengan satu pengguna mengekspresikan frustrasi bahwa penandaan (bookmarking) adalah kekacauan yang tidak berguna saat ini dan menyarankan bahwa alat AI dapat membuat kurasi pengetahuan pribadi berharga lagi.
Fragmentasi dalam Ruang Penelitian AI Open-Source
Tema yang berulang dalam diskusi adalah kekhawatiran tentang fragmentasi dalam ekosistem alat penelitian AI open-source. Beberapa komentator menunjuk ke proyek serupa seperti Onyx dan Open Deep Research, menyarankan bahwa komunitas mungkin mendapat manfaat dari konsolidasi upaya. Satu pengguna mengkhawatirkan bahwa ada banyak proyek penelitian mendalam terbuka yang saya takut akan hanya menghilang, menganjurkan agar pengembang bergabung bekerja pada aspek-aspek yang paling mereka pedulikan.
Ini menyoroti ketegangan yang lebih luas dalam pengembangan AI open-source antara inovasi melalui beberapa pendekatan yang bersaing versus konsentrasi sumber daya pada proyek yang lebih sedikit namun lebih matang.
Fitur Utama Local Deep Research
- Pemrosesan AI Lokal: Berjalan sepenuhnya di mesin pengguna saat menggunakan model lokal seperti Ollama
- Beragam Sumber Pencarian: Mendukung Wikipedia, arXiv, PubMed, DuckDuckGo, The Guardian, SerpAPI, dan koleksi dokumen lokal
- Pemilihan Pencarian Cerdas: Mesin pencari "Auto" menganalisis kueri dan memilih sumber yang paling sesuai
- Pencarian Dokumen Lokal (RAG): Memungkinkan pencarian koleksi dokumen pribadi dengan embedding vektor
- Dukungan LLM Fleksibel: Kompatibel dengan model lokal melalui Ollama atau LLM berbasis cloud seperti Claude dan GPT
- Pelacakan Sitasi: Mempertahankan sitasi yang tepat dan verifikasi sumber
Arah Masa Depan: Kemandirian dari Infrastruktur Korporat
Tujuan akhir proyek, menurut penulis bersamanya, adalah ambisius: menciptakan sistem penggunaan LLM bebas korporasi dengan kemampuan basis data grafik terintegrasi dan pencarian web bebas korporasi. Yang terakhir diakui sebagai tantangan besar karena bahkan mesin meta-pencarian yang berfokus pada privasi biasanya bergantung pada penyedia pencarian utama di balik layar.
Visi kemandirian total dari infrastruktur AI korporasi ini merupakan tantangan teknis yang signifikan tetapi tampaknya memotivasi minat dan kontribusi komunitas yang substansial. Seiring alat AI menjadi semakin penting untuk pekerjaan pengetahuan dan penelitian, pertanyaan tentang siapa yang mengendalikan infrastruktur yang mendasarinya—dan dengan biaya apa terhadap privasi dan kemandirian—kemungkinan akan tetap menjadi perhatian utama bagi pengembang dan pengguna.
Proyek Local Deep Research, dengan fokusnya pada menjalankan kemampuan penelitian AI di perangkat keras pribadi, mewakili salah satu pendekatan untuk mengatasi kekhawatiran ini. Meskipun keterbatasan teknis tetap ada, minat komunitas yang cepat menunjukkan bahwa alat AI yang menjaga privasi dan dijalankan secara lokal mungkin memainkan peran penting dalam ekosistem AI yang lebih luas ke depan.
Referensi: Local Deep Research