AMD telah melakukan langkah pertamanya ke dunia model bahasa kecil dengan peluncuran AMD-135M, menunjukkan ambisi perusahaan yang berkembang di bidang AI. Model baru ini bertujuan untuk menyediakan kemampuan AI yang efisien bagi bisnis sambil memanfaatkan kekuatan perangkat keras AMD.
Poin-poin utama dari AMD-135M:
- Dua varian: AMD-Llama-135M untuk penggunaan umum dan AMD-Llama-135M-code yang dioptimalkan untuk tugas pemrograman
- Proses pelatihan:
- Model dasar dilatih dengan 670 miliar token selama 6 hari
- Varian kode dilatih lebih lanjut dengan tambahan 20 miliar token selama 4 hari
- Menggunakan empat node berbasis AMD Instinct MI250 8-way untuk pelatihan
- Decoding spekulatif: Menggunakan model draft yang lebih kecil untuk menghasilkan beberapa token kandidat secara bersamaan, diverifikasi oleh model target yang lebih besar
- Klaim performa: AMD melaporkan peningkatan kecepatan yang signifikan pada perangkat keras mereka dibandingkan dengan inferensi tanpa decoding spekulatif
Pengenalan AMD-135M menandakan niat perusahaan untuk bersaing di ruang model AI, berpotensi menantang dominasi NVIDIA. Dengan fokus pada model bahasa kecil, AMD menargetkan ceruk yang mungkin sangat berharga bagi bisnis yang membutuhkan solusi AI on-premises dengan tuntutan komputasi yang lebih rendah.
Pendekatan AMD untuk membuka kode pelatihan, dataset, dan bobot untuk AMD-135M dapat mendorong kolaborasi dan inovasi dalam komunitas AI. Langkah ini sejalan dengan tren yang berkembang untuk pengembangan AI yang lebih mudah diakses dan transparan.
Meskipun klaim performa terlihat menjanjikan, perlu dicatat bahwa pengujian dilakukan oleh AMD sendiri. Pengujian independen akan sangat penting untuk memvalidasi hasil ini di berbagai skenario dan konfigurasi perangkat keras yang berbeda.
Sementara AMD terus mengembangkan portofolio AI-nya, termasuk penawaran perangkat keras dan perangkat lunak, industri teknologi akan mengamati dengan seksama untuk melihat bagaimana hal ini berdampak pada lanskap kompetitif dan mendorong inovasi dalam teknologi AI.