Xiaomi telah memasuki arena AI dengan MiMo-7B, sebuah seri model bahasa baru yang menunjukkan kemampuan penalaran luar biasa meskipun ukuran parameternya relatif kecil. Model ini, yang berfokus pada tugas-tugas matematika dan pemrograman, menghasilkan minat yang signifikan di komunitas pengembang karena performa benchmark-nya yang mengesankan yang mampu bersaing dengan model-model yang jauh lebih besar.
 |
|---|
| Tangkapan layar repositori GitHub untuk Xiaomi MiMo, yang menjelaskan pengembangan dan ketersediaannya sebagai open source |
Model Dasar yang Dirancang untuk Penalaran
MiMo-7B menonjol karena pendekatannya dalam pengembangan model, yang berfokus pada kemampuan penalaran dari awal daripada hanya melalui pelatihan lanjutan. Tim Xiaomi mengoptimalkan proses pra-pelatihan dengan toolkit ekstraksi data yang ditingkatkan dan penyaringan multi-dimensi untuk meningkatkan kepadatan pola penalaran. Model dasar ini telah dilatih pada sekitar 25 triliun token—skala yang sebanding dengan Llama 4 Maverick dari Meta, yang menggunakan 22 triliun token. Korpus pelatihan yang sangat besar ini menunjukkan investasi signifikan dalam sumber daya komputasi yang biasanya dikaitkan dengan perusahaan teknologi yang jauh lebih besar.
Ini adalah jalur yang menarik untuk diambil - bukan model yang didistilasi atau lapisan RL untuk mendapatkan penalaran dari model lain, tetapi model RL dari awal dengan penalaran yang sudah tertanam; klaim-klaim tersebut tampaknya menunjukkan bahwa Anda mendapatkan efisiensi tambahan per parameter dengan melakukan ini.
Menantang Model yang Lebih Besar dengan Benchmark yang Mengesankan
Komunitas telah mengekspresikan kegembiraan dan skeptisisme tentang hasil benchmark MiMo-7B. Model ini dilaporkan mengungguli banyak model yang lebih besar, termasuk beberapa model dengan parameter 32B, terutama dalam tugas pemrograman. Seorang pengguna mencatat bahwa performa MiMo-7B pada benchmark pemrograman (57,8) mendekati Gemini Pro 2.5 (67,8) dan Gemini 2.5 Flash (60,6). Tingkat performa ini dari model 7B sangat tidak biasa, menyebabkan beberapa orang mempertanyakan apakah model tersebut mungkin terlalu disesuaikan dengan tes benchmark—kritik umum dalam lanskap AI saat ini di mana banyak model dilatih pada dataset benchmark.
Inovasi Pelatihan untuk Kode dan Matematika
Pendekatan Xiaomi terhadap pembelajaran penguatan untuk generasi kode telah menarik perhatian khusus. Tim ini mengkurasi 130.000 masalah matematika dan pemrograman yang dapat diverifikasi oleh sistem berbasis aturan. Khusus untuk masalah pemrograman, mereka menerapkan sistem penghargaan berbasis kesulitan tes yang memberikan skor terperinci berdasarkan kompleksitas kasus uji, menyediakan optimasi yang lebih efektif melalui sinyal penghargaan yang padat. Seamless Rollout Engine mereka mempercepat pelatihan dan validasi RL dengan mengintegrasikan rollout berkelanjutan, komputasi penghargaan asinkron, dan penghentian dini, yang dilaporkan mencapai pelatihan lebih dari 2 kali lebih cepat.
Gambaran Model MiMo-7B
| Model | Deskripsi | Tautan |
|---|---|---|
| MiMo-7B-Base | Model dasar dengan potensi penalaran | HuggingFace |
| MiMo-7B-RL-Zero | Model RL yang dilatih dari model dasar | HuggingFace |
| MiMo-7B-SFT | Model SFT yang dilatih dari model dasar | HuggingFace |
| MiMo-7B-RL | Model RL yang dilatih dari model SFT | HuggingFace |
Fitur Teknis Utama:
- Pra-pelatihan pada sekitar 25 triliun token
- Menggabungkan Prediksi Multi-Token sebagai tujuan pelatihan tambahan
- Menggunakan sistem penghargaan kode berbasis tingkat kesulitan tes
- Menerapkan strategi pengambilan sampel ulang data untuk efisiensi pelatihan
- Dikembangkan dengan "Seamless Rollout Engine" untuk pelatihan 2,295× lebih cepat
Kebangkitan Model Lokal
Performa mengesankan dari MiMo-7B menambah tren yang berkembang di mana model yang lebih kecil dan dapat dijalankan secara lokal menjadi semakin mampu. Anggota komunitas telah mencatat bahwa kualitas model yang lebih kecil telah terus meningkat, menjadikannya alternatif yang layak untuk layanan berbasis cloud untuk banyak tugas sehari-hari. Perkembangan ini memiliki implikasi signifikan untuk privasi, biaya, dan aksesibilitas—memungkinkan pengembang untuk membangun aplikasi tanpa bergantung pada panggilan API ke layanan berpemilik.
Pertimbangan Multibahasa
Diskusi menarik muncul seputar pilihan Xiaomi untuk merilis model yang mahir berbahasa Inggris meskipun merupakan perusahaan Tiongkok. Anggota komunitas menunjukkan bahwa bahasa Inggris mendominasi konten internet (43% dari data Common Crawl), menjadikannya pilihan praktis untuk data pelatihan. Selain itu, komunitas penelitian ilmiah dan benchmark AI sebagian besar menggunakan bahasa Inggris, menjadikannya pilihan logis untuk pengembangan model terlepas dari asal perusahaan. Beberapa pengguna mencatat bahwa konten internet Tiongkok lebih sulit untuk di-crawl karena ekosistem tertutup yang dikendalikan oleh perusahaan-perusahaan besar, menghadirkan tantangan tambahan untuk melatih model yang mengutamakan bahasa Tiongkok.
Bobot Terbuka dan Aksesibilitas
Xiaomi telah membuat MiMo-7B series menjadi open-source, termasuk checkpoint untuk model dasar, model SFT (Supervised Fine-Tuning), dan dua model RL (Reinforcement Learning). Komunitas telah mulai mengkonversi model tersebut ke format yang lebih mudah diakses seperti GGUF untuk digunakan dengan alat seperti Ollama dan LM Studio, memperluas jangkauannya kepada pengembang yang ingin menjalankannya secara lokal. Langkah ini sejalan dengan tren yang berkembang untuk membuat model AI lebih mudah diakses oleh pengembang dan peneliti di luar perusahaan teknologi besar.
Seiring model yang lebih kecil terus meningkat kemampuannya sambil tetap efisien untuk dijalankan secara lokal, kita mungkin akan melihat pergeseran dalam bagaimana AI digunakan dalam aplikasi sehari-hari. MiMo-7B mewakili langkah lain menuju AI yang kuat dan mudah diakses yang tidak memerlukan sumber daya komputasi besar atau ketergantungan cloud.
Referensi: Xiaomi MiMo