AMD akhirnya mengungkapkan hasil benchmark kinerja untuk akselerator AI Instinct MI300X yang sangat dinantikan, menandai langkah signifikan dalam upaya perusahaan memasuki pasar perangkat keras AI yang kompetitif. Hasilnya, meskipun menjanjikan, mengungkapkan kekuatan dan area yang perlu ditingkatkan saat AMD berusaha menantang dominasi NVIDIA.
Kinerja Kompetitif, dengan Catatan
Dalam benchmark AI MLPerf v4.1, khususnya pada model Llama 2 70B, MI300X menunjukkan kinerja yang kurang lebih setara dengan GPU NVIDIA H100:
- Skenario server: MI300X sedikit mengungguli H100 (21.028 vs 20.605 token/detik)
- Skenario offline: MI300X sedikit tertinggal dari H100 (23.514 vs 24.323 token/detik)
Meskipun hasil ini menunjukkan kemampuan AMD untuk bersaing, ada konteks penting yang perlu diperhatikan. MI300X memiliki kinerja teoritis yang jauh lebih tinggi (2,6 POPS vs 1,98 TFLOPS untuk H100) dan kapasitas memori lebih dari dua kali lipat (192GB vs 80GB). Ini menunjukkan bahwa AMD mungkin belum sepenuhnya memanfaatkan potensi perangkat keras, kemungkinan karena tantangan optimasi perangkat lunak.
 |
|---|
| Perbandingan tolok ukur kinerja antara platform MI300X dari AMD dan H100 dari Nvidia |
Spesifikasi Perangkat Keras
MI300X mengesankan dengan keunggulan teknisnya:
- 153 miliar transistor menggunakan proses TSMC 5nm dan 6nm
- 320 unit komputasi (304 aktif dalam konfigurasi saat ini)
- Memori HBM3 192GB dengan bandwidth 5,3 TB/detik
- Interkoneksi Infinity Fabric generasi keempat
Melihat ke Depan: Tantangan dan Peluang
-
Optimasi Perangkat Lunak: Stack perangkat lunak ROCm AMD akan sangat penting untuk mengejar ketertinggalan dengan ekosistem CUDA NVIDIA yang sudah matang.
-
Persaingan yang Akan Datang: GPU H200 dan B200 NVIDIA di masa depan menjanjikan peningkatan kinerja yang signifikan, mempertahankan tekanan pada AMD.
-
Keunggulan Memori: Kapasitas memori besar MI300X bisa menjadi pembeda kunci untuk menangani model AI yang lebih besar.
-
Diperlukan Benchmark yang Lebih Luas: AMD baru merilis hasil Llama 2 70B sejauh ini. Kinerja di seluruh rangkaian tes MLPerf akan memberikan gambaran yang lebih komprehensif.
-
Perangkat Keras Generasi Berikutnya: AMD berencana meluncurkan MI325X dengan memori HBM3e 288GB akhir tahun ini, berpotensi melampaui NVIDIA dalam kapasitas memori.
Saat AMD terus menyempurnakan perangkat keras dan stack perangkat lunak AI-nya, persaingan di pasar akselerator AI akan semakin intensif. Meskipun MI300X menunjukkan potensi, AMD masih memiliki pekerjaan rumah untuk sepenuhnya memanfaatkan keunggulan perangkat kerasnya dan menantang posisi NVIDIA yang sudah mapan.
 |
|---|
| Gambaran promosi Platform AMD Instinct™, menyoroti fitur-fitur canggih dan kemampuannya yang penting untuk komputasi AI |