Dalam dunia rendering 3D dan visi komputer yang berkembang pesat, sebuah teknologi baru bernama LiveSplat sedang menarik perhatian besar. Algoritma inovatif ini memungkinkan Gaussian splatting secara real-time menggunakan aliran kamera RGBD, yang berpotensi mengubah cara kita memvisualisasikan dan berinteraksi dengan lingkungan 3D.
Mematahkan Hambatan Kecepatan dalam Gaussian Splatting
Metode Gaussian splatting tradisional biasanya membutuhkan waktu berjam-jam untuk menciptakan adegan 3D fotorealistik dari gambar 2D. LiveSplat, yang dikembangkan oleh Mark Liu, mengambil pendekatan yang sangat berbeda dengan memanfaatkan data kedalaman untuk menghasilkan representasi ini dalam waktu hanya 33 milidetik per frame. Ini merupakan lompatan besar ke depan, memungkinkan aplikasi real-time yang sebelumnya dianggap tidak mungkin dengan teknik rendering ini.
Saya membayangkan kita akan dapat memiliki kursi baris depan virtual di setiap acara langsung, dan banyak aplikasi lain yang belum terpikirkan.
Teknologi ini bekerja dengan memasukkan data RGBD (RGB + Kedalaman) dari hingga empat kamera ke dalam jaringan saraf yang menghasilkan output Gaussian splat. Tidak seperti rendering point cloud tradisional, yang sering mengalami artefak visual dan objek tembus pandang, LiveSplat menciptakan visualisasi 3D yang lebih koheren dengan rendering tekstur yang lebih baik, penanganan oklusi, dan efek yang bergantung pada sudut pandang.
Kompromi Teknis untuk Performa Real-time
Untuk mencapai kecepatan luar biasanya, LiveSplat membuat beberapa kompromi teknis dibandingkan dengan metode Gaussian splatting tradisional. Pengembang mengakui bahwa sistem ini memiliki kemampuan terbatas untuk menyesuaikan posisi dan ukuran splat karena anggaran komputasi yang ketat, yang dapat menghasilkan beberapa efek pikselasi.
Tidak seperti pendekatan konvensional yang menggunakan prosedur optimasi berbasis gradien yang memakan waktu menit atau jam, LiveSplat menggunakan jaringan saraf untuk langsung mengkonversi input RGBD dan informasi pose kamera menjadi output Gaussian splat. Ini melewati proses optimasi yang memakan waktu dengan memanfaatkan informasi geometris yang sudah ada di saluran kedalaman.
Jaringan saraf dilatih menggunakan pendekatan pembelajaran terawasi yang cerdas: dengan empat kamera yang tersedia, tiga akan digunakan sebagai input sementara yang keempat berfungsi sebagai ground truth. Ini memungkinkan sistem untuk mempelajari efek yang bergantung pada sudut pandang dan menginterpolasi antar perspektif kamera.
Persyaratan LiveSplat
- Python 3.12+
- Windows atau Ubuntu (distribusi Linux lainnya belum diuji)
- CPU x86_64
- Kartu grafis Nvidia
- Satu hingga empat sensor RGBD
Perbedaan Teknis Utama dari Gaussian Splatting Tradisional
- Waktu pemrosesan 33ms dibandingkan dengan menit/jam untuk metode tradisional
- Menggunakan jaringan neural alih-alih optimasi berbasis gradien
- Memanfaatkan input RGBD untuk melewati rekonstruksi geometri yang memakan waktu lama
- Implementasi closed-source dengan distribusi biner
- Kemampuan real-time dengan pemrosesan frame-by-frame
Implikasi dan Aplikasi Masa Depan
Respons komunitas terhadap LiveSplat menyoroti potensi signifikansinya dalam dunia grafis. Banyak yang melihatnya sebagai batu loncatan menuju pengalaman virtual yang lebih mendalam, dengan aplikasi mulai dari telepresence VR hingga siaran acara langsung.
Meskipun saat ini bersifat closed-source (didistribusikan sebagai paket biner untuk Windows dan Ubuntu), LiveSplat merepresentasikan tonggak penting dalam membuat teknik rendering canggih dapat diakses untuk aplikasi real-time. Teknologi ini dapat bekerja melalui jaringan IP, dengan catatan pengembang bahwa sementara kompresi RGB adalah masalah yang sudah terpecahkan, kompresi saluran kedalaman memerlukan pertimbangan khusus.
Ke depannya, akumulasi temporal tampaknya menjadi langkah pengembangan logis berikutnya, yang dapat lebih meningkatkan kualitas visual sambil mempertahankan performa real-time. Seiring teknik Gaussian splatting terus berkembang, kita mungkin akan melihatnya menjadi dasar untuk generasi baru alat pembuatan dan konsumsi media 3D interaktif.
Referensi: LiveSplat