Dalam lanskap asisten suara AI yang berkembang pesat, para pengembang terus mendorong batas untuk menciptakan pengalaman percakapan yang lebih alami. Sebuah proyek sumber terbuka terbaru bernama RealtimeVoiceChat telah memicu diskusi tentang tantangan mendasar dalam membuat interaksi suara AI terasa benar-benar seperti manusia. Meskipun pencapaian teknis yang mengesankan telah dibuat dalam mengurangi latensi, komunitas telah mengidentifikasi dinamika percakapan yang lebih dalam yang masih perlu diselesaikan.
Tantangan Latensi
Latensi—penundaan antara ucapan manusia dan respons AI—tetap menjadi faktor kritis dalam interaksi suara. Asisten suara tradisional biasanya memiliki penundaan minimal sekitar 300ms, terutama karena mereka mengandalkan deteksi keheningan untuk menentukan kapan harus merespons. Proyek RealtimeVoiceChat bertujuan mencapai latensi respons sekitar 500ms bahkan ketika menjalankan model lokal yang lebih besar, yang menurut komunitas mendekati standar emas untuk aplikasi komersial. Namun, ini masih belum cocok dengan dinamika percakapan manusia, di mana penundaan median antara pembicara sebenarnya adalah nol milidetik—artinya manusia sering tumpang tindih atau menyela satu sama lain ketika berbicara secara alami.
Penundaan median antara pembicara dalam percakapan manusia ke manusia adalah nol milidetik. Dengan kata lain, sekitar 1/2 waktu, satu pembicara menyela yang lain, membuat penundaan menjadi negatif.
Paradoks Interupsi
Salah satu fitur yang paling banyak dibahas dari sistem RealtimeVoiceChat adalah kemampuannya untuk menangani interupsi, memungkinkan pengguna untuk menyela saat AI berbicara. Implementasinya menggunakan transkripsi real-time yang masuk sebagai pemicu daripada deteksi aktivitas suara sederhana, yang memberikan akurasi lebih baik dengan biaya sedikit tambahan latensi. Namun, anggota komunitas menunjukkan paradoks yang menantang: sementara kita menginginkan sistem AI yang dapat diinterupsi, kita juga tidak ingin mereka menyela kita selama jeda alami dalam pembicaraan kita. Ini menciptakan masalah kompleks di mana sistem harus membedakan antara jeda berpikir pengguna dan akhir giliran bicara yang sebenarnya.
Masalah Jeda Alami
Mungkin tantangan yang belum terpecahkan paling signifikan yang diidentifikasi dalam diskusi adalah penanganan jeda alami dalam pembicaraan manusia. Sistem suara AI saat ini cenderung menafsirkan setiap keheningan singkat sebagai isyarat pergantian giliran, langsung merespons sebelum pengguna sepenuhnya merumuskan pikiran mereka. Ini memaksa pengguna untuk mengadopsi pola berbicara yang tidak alami, seperti menggunakan kata pengisi (uhhhh) untuk mempertahankan giliran mereka atau menekan tombol untuk menunjukkan kapan mereka selesai berbicara. Komunitas menyarankan beberapa solusi potensial, mulai dari perintah tunggu khusus hingga aliran input ganda yang dapat mendeteksi kata pengisi versus penyelesaian giliran yang sebenarnya, tetapi belum ada solusi sempurna yang muncul.
Stack Teknis RealtimeVoiceChat:
- Backend: Python 3.x, FastAPI
- Frontend: HTML, CSS, JavaScript (Vanilla JS, Web Audio API, AudioWorklets)
- Komunikasi: WebSockets
- Kontainerisasi: Docker, Docker Compose
- Komponen Utama AI/ML:
- Deteksi Aktivitas Suara: Webrtcvad + SileroVAD
- Transkripsi: Whisper base.en (CTranslate2)
- Deteksi Giliran: Model BERT kustom (KoljaB/SentenceFinishedClassification)
- LLM: Model lokal melalui Ollama (default) atau OpenAI (opsional)
- TTS: Coqui XTTSv2, Kokoro, atau Orpheus
Persyaratan Perangkat Keras:
- GPU NVIDIA dengan dukungan CUDA (diuji pada RTX 4090)
- Perkiraan latensi respons: ~500ms
Pemrosesan Lokal dan Persyaratan Teknis
Sistem RealtimeVoiceChat berjalan sepenuhnya pada perangkat keras lokal, menggunakan model sumber terbuka untuk setiap komponen pipeline interaksi suara: deteksi aktivitas suara, transkripsi ucapan, deteksi giliran, pemrosesan model bahasa, dan sintesis teks-ke-suara. Pendekatan ini memberikan manfaat privasi dan menghilangkan ketergantungan pada layanan cloud, tetapi datang dengan persyaratan perangkat keras yang substansial. Pengembang baru mengujinya pada GPU NVIDIA RTX 4090 sejauh ini, menyoroti betapa intensifnya sumber daya interaksi suara AI real-time ini, meskipun mereka menjadi lebih mudah diakses oleh pengembang.
Pencarian percakapan suara AI yang terasa alami terus menjadi pertemuan menarik antara tantangan teknis dan manusia. Sementara mengurangi latensi dan memungkinkan interupsi mewakili kemajuan penting, dinamika halus dari pergantian giliran, jeda, dan mendengarkan aktif tetap menjadi area di mana bahkan sistem yang paling canggih masih kurang dari interaksi seperti manusia. Seperti yang tepat dicatat oleh seorang anggota komunitas, ini menyajikan kesempatan untuk berpotensi membuat komunikasi AI bahkan lebih baik daripada percakapan manusia, yang sendirinya sering dipenuhi dengan interupsi canggung dan isyarat sosial yang salah dibaca.
Referensi: Real-Time AI Voice Chat