Komunitas rekayasa data sedang aktif mendiskusikan Bruin, sebuah alat pipeline data yang baru diluncurkan yang bertujuan untuk menyatukan berbagai aspek alur kerja data. Sementara solusi tradisional sering membutuhkan beberapa alat untuk tahapan pemrosesan data yang berbeda, pendekatan Bruin yang menggabungkan proses ingesti, transformasi, dan kontrol kualitas dalam satu kerangka kerja telah menarik perhatian para profesional industri.
Fitur Utama:
- Menggabungkan proses pemasukan data, transformasi, dan kontrol kualitas
- Pendekatan pengembangan yang mengutamakan lokal
- Dukungan untuk transformasi SQL & Python
- Integrasi dengan platform data utama
- Ekstensi VS Code untuk pengalaman pengembang
- Pilihan penerapan yang fleksibel (lokal, EC2, GitHub Actions)
Solusi Alur Kerja Terpadu
Respon komunitas menyoroti masalah signifikan dalam praktik rekayasa data saat ini - fragmentasi alat di berbagai tahap pemrosesan data. Beberapa praktisi mencatat bahwa pendekatan Bruin menangani realitas bahwa pipeline transformasi data biasanya terkait erat dengan proses ingesti data. Pendekatan terpadu ini berpotensi menggantikan tumpukan kompleks yang saat ini membutuhkan berbagai alat seperti Meltano, dbt, Great Expectations, dan Airflow untuk mencapai fungsionalitas serupa.
Fleksibilitas Teknis dan Pengembangan Lokal
Poin diskusi utama di antara pengembang berpusat pada arsitektur teknis dan pengalaman pengembangan Bruin. Dibangun dengan Golang, alat ini menawarkan kemampuan pengembangan lokal dengan dukungan Python native dan lingkungan terisolasi menggunakan UV. Anggota komunitas sangat menghargai kecepatan iterasi untuk pengembangan dan pengujian, dengan fitur seperti query yang dirender dan backfill yang berjalan secara lokal.
Saya sangat ingin tahu bagaimana ini akan menguntungkan saya sebelum saya mulai mengerahkan banyak usaha untuk beralih menggunakannya. Itu berarti saya perlu melihat mengapa ini lebih baik dari ${EXISTING_TOOL}.
Kemampuan Integrasi dan Penjadwalan
Diskusi mengungkapkan bahwa Bruin mengambil pendekatan fleksibel untuk penjadwalan dan orkestrasi pipeline. Alih-alih memaksa pengguna menggunakan kerangka penjadwalan tertentu, ini memungkinkan integrasi dengan berbagai alat penjadwalan termasuk GitHub Actions, Airflow, atau cronjob sederhana. Fleksibilitas ini memungkinkan tim untuk mempertahankan infrastruktur penjadwalan yang ada sambil memanfaatkan kemampuan orkestrasi pipeline Bruin.
Pilihan Penerapan:
- Mesin lokal
- Instance EC2
- GitHub Actions
- Integrasi dengan alat penjadwalan yang ada ( Airflow , cronjobs )
Umpan Balik Komunitas dan Pengembangan Masa Depan
Dialog komunitas telah menyoroti beberapa area untuk perbaikan potensial, terutama seputar dokumentasi dan analisis komparatif dengan alat yang ada. Pengguna sangat tertarik untuk memahami bagaimana Bruin menangani kasus penggunaan spesifik seperti basis data multi-tenant dan skenario data yang tiba terlambat. Tim pengembangan telah menunjukkan keterlibatan aktif dengan masalah ini, menunjukkan rencana untuk mengimplementasikan fitur seperti sensor untuk menangani eksekusi pipeline bersyarat dan memperluas dokumentasi untuk menangani berbagai skenario penerapan.
Kemunculan Bruin dalam lanskap rekayasa data merepresentasikan pergeseran menuju alat yang lebih terintegrasi dan ramah pengembang yang mengakui sifat saling terhubung dari alur kerja data modern. Sementara respons komunitas menunjukkan minat yang kuat pada kemampuannya, ada juga keinginan yang jelas untuk dokumentasi yang lebih detail dan perbandingan kasus penggunaan untuk memfasilitasi keputusan adopsi.
Referensi: Bruin: Alat Pipeline Data