Ini mungkin momen yang telah lama ditunggu-tunggu oleh AMD.
Baru-baru ini, Wafer AI telah mendeploy model Kimi K3 pada AMD MI355X. Hasilnya, model yang awalnya membutuhkan 16 kartu NVIDIA B200 yang berjalan di dua server, kini dapat dijalankan dalam satu server AMD yang dilengkapi dengan 8 kartu MI355X.
Yang lebih penting, ini bukan sekadar memuat model saja.
Dalam pengujian dengan input 1024 Token dan output 400 Token, MI355X mencapai total throughput 952 Token/s, dengan kecepatan generasi per pengguna mencapai 118 Token/s.
Dihitung berdasarkan satu node, throughput-nya sekitar 3,8 kali lipat dari solusi 16 kartu B200, dan juga lebih hemat biaya dibandingkan B200 dan B300.
Dan yang paling mengejutkan, ROCm kali ini tidak terlalu menyusahkan.
Model Terlalu Besar, Memori VRAM Mulai Lebih Penting daripada Kekuatan Komputasi
Kimi K3 memiliki 2,8 triliun parameter. Hanya bobot modelnya saja membutuhkan lebih dari 1,5 TB memori VRAM, belum termasuk KV Cache yang dibutuhkan untuk konteks jutaan Token.
Satu server 8 kartu B200, dengan 192 GB VRAM per kartu, memiliki total kapasitas sekitar 1,5 TB. Artinya, bobot model saja sulit untuk dimuat sepenuhnya, apalagi menyisakan ruang untuk KV Cache. Oleh karena itu, B200 harus menggunakan dua server dengan 16 GPU.
B300 memiliki 288 GB VRAM per kartu, sehingga dapat memuat model dalam satu node. Kebetulan, AMD MI355X juga memiliki 288 GB VRAM. 8 kartu MI355X totalnya sekitar 2,3 TB, sehingga satu server sudah cukup.
Ini bukan hanya tentang menggunakan lebih sedikit mesin. Setelah model berjalan melintasi node, setiap pembuatan satu Token mungkin memerlukan sinkronisasi data melalui jaringan. Meskipun menggunakan jaringan RoCE v2 sekitar 195 Gb/s, komunikasi antar node tetap akan memperlambat decoding.
Dengan VRAM yang lebih besar, MI355X berhasil menyimpan seluruh model dalam satu node.
Dari hasil akhir, total throughput puncak 8 kartu MI355X mencapai 952 Token/s, dengan kecepatan generasi per jalur sebesar 118 Token/s.
Sebagai perbandingan, total throughput deployment dua node dengan 16 kartu B200 adalah 498 Token/s, yang jika dikonversi per node kira-kira 249 Token/s.
Artinya, throughput per node MI355X kira-kira 3,8 kali lipat dari throughput rata-rata per node deployment dua node B200. Dalam hal kecepatan generasi per pengguna, 118 Token/s MI355X juga lebih tinggi dari 90 Token/s B200.
B300 tetap menjadi solusi dengan kinerja absolut tertinggi. Total throughput node dengan 8 kartu B300 mencapai 1568 Token/s, dengan kecepatan generasi per jalur sebesar 172 Token/s, menjadikan total throughput keseluruhannya sekitar 1,65 kali lipat dari MI355X.
Tapi harga mengubah kesimpulan. Wafer melakukan perhitungan berdasarkan asumsi harga per kartu per jam: MI355X sebesar $2,5, B200 $4,25, dan B300 $6.
Dengan asumsi harga ini, MI355X dapat menyediakan sekitar 48 Token/s throughput puncak per dolar; B200 sekitar 7 Token/s; dan B300 sekitar 33 Token/s.
B300 lebih cepat, tetapi efisiensi biaya per unit MI355X lebih tinggi. Bagi pusat data yang perlu menjalankan model terbuka dalam skala besar, hal ini mungkin lebih penting daripada sekadar memperebutkan gelar juara kinerja.
Yang Lebih Mengejutkan, ROCm Pada Dasarnya Dapat Langsung Digunakan
Untuk waktu yang lama, masalah terbesar GPU pusat data AMD seringkali bukan pada perangkat kerasnya, melainkan pada perangkat lunaknya.
Model yang sama dapat langsung dijalankan pada CUDA, tetapi di ROCm, mungkin perlu mengubah framework, menambahkan operator, atau bahkan menulis ulang kernel dasarnya.
Tapi situasinya berbeda untuk Kimi K3.
AMD memberikan dukungan yang hampir bersamaan dengan peluncurannya. Wafer menyatakan bahwa model pada dasarnya dapat langsung dijalankan pada MI355X, dengan pekerjaan selanjutnya hanya terfokus pada sedikit masalah kompatibilitas dan optimasi kinerja.
Salah satu masalah muncul pada proses decoding spekulatif. Kimi K3 sendiri tidak menyediakan parameter model draf yang diperlukan oleh MTP atau EAGLE, sehingga Wafer menggunakan model draf difusi blok eksternal.
Solusi ini dapat langsung dijalankan pada CUDA, tetapi dalam lingkungan ROCm, permintaan pertama langsung menyebabkan scheduler melaporkan error. Penyebabnya adalah fungsi bernama top_k_renorm_prob yang tidak didefinisikan dalam cabang ROCm.
Fungsi ini sebenarnya tidak terlalu rumit: memilih k nilai tertinggi dari distribusi probabilitas, mengatur probabilitas lainnya menjadi nol, dan kemudian menormalkan ulang probabilitas yang dipertahankan.
Wafer akhirnya menggunakan fungsi PyTorch biasa untuk menambahkan logika ini, tanpa perlu menulis kernel GPU secara manual atau mendesain ulang sistem decoding spekulatif.
Setelah diperbaiki, decoding spekulatif meningkatkan kinerja per jalur sekitar 2,2 kali lipat, kinerja single-stream pada konkurensi sedang meningkat sekitar 1,7 kali lipat, dan total throughput puncak meningkat sekitar 18%.
Yang lebih penting, sistem mampu mencapai throughput puncak pada konkurensi yang lebih tinggi.
Kata Pertama Terlalu Lambat, Akhirnya Hanya Menambahkan Empat Nol
Tentu saja, throughput bukanlah segalanya dalam layanan inferensi. Bagi pengguna nyata, metrik lain yang langsung memengaruhi pengalaman adalah TTFT, yaitu waktu tunggu antara mengirim permintaan dan melihat Token pertama.
Pada aspek ini, kinerja awal MI355X tidak terlalu baik. Menghadapi tugas pra-pengisian (pre-fill) cold start dengan sekitar 172 ribu Token, MI355X membutuhkan waktu sekitar 51 detik, sementara B300 hanya membutuhkan sekitar 23 detik.
Dalam model yang mendukung konteks jutaan Token, tugas pra-pengisian bisa sangat besar. Jika pengguna harus menunggu puluhan detik atau lebih setiap kali memproses konteks panjang, seberapa pun kecepatan decoding yang tinggi sulit untuk menutupi masalah pengalaman ini.
Wafer akhirnya menemukan bahwa perbedaan kinerja hampir seluruhnya berasal dari satu kernel perhatian (attention kernel). Kimi K3 dalam konfigurasi paralel tensor 8 jalur, setiap GPU akan mendapatkan 12 kepala perhatian. Namun, kernel pra-pengisian MLA AITER AMD yang lebih cepat, hanya mendukung bentuk seperti kelipatan 4, 8, atau 16.
12 kepala tidak cocok, sehingga sistem kembali ke implementasi Triton umum yang lebih lambat.
Solusinya sederhana: menambahkan nol pada 12 kepala perhatian menjadi 16 kepala, memanggil kernel berkecepatan tinggi yang ada, dan setelah perhitungan selesai, mengambil kembali 12 kepala yang benar-benar dibutuhkan. Tidak ada modifikasi struktur model, tidak ada penulisan kernel assembly baru, hanya menambahkan empat nol.
Setelah dioptimalkan, kecepatan pra-pengisian stabil kernel MLA AITER mencapai sekitar 13.000 Token/s, sedangkan jalur mundur Triton sebelumnya hanya sekitar 4.000–7.000 Token/s. Waktu pra-pengisian dingin pun berkurang sekitar dua hingga tiga kali lipat.
Optimalisasi ini tidak akan mengubah throughput decoding akhir, tetapi akan secara signifikan mengurangi waktu tunggu pengguna untuk melihat kata pertama muncul.
Ini juga menunjukkan bahwa perbedaan perangkat lunak yang terlihat besar antara AMD dan NVIDIA, terkadang bukan karena kurangnya kemampuan dasar, tetapi hanya karena kernel berkecepatan tinggi yang ada belum mencakup bentuk model baru tertentu.
Parit Pertahanan CUDA Masih Ada, Tetapi Celahnya Sudah Muncul
Satu kali pengujian tentu tidak dapat membuktikan bahwa AMD telah sepenuhnya mengejar NVIDIA.
B200 dipaksa berjalan melintasi node karena kekurangan VRAM; Kinerja absolut B300 masih unggul; Toolchain ROCm, dukungan framework, dan ekosistem pengembangnya juga masih belum setara dengan CUDA.
Tapi model terbuka sedang memasuki era triliunan parameter dengan cepat. Ketika model menjadi terlalu besar untuk satu server, kapasitas VRAM tidak lagi sekadar angka di lembar spesifikasi, tetapi akan langsung memengaruhi biaya komunikasi, kompleksitas deployment, dan throughput akhir.
Strategi AMD memberikan lebih banyak HBM per kartu, sedang berubah menjadi keunggulan sistem yang nyata.
Jika AMD dapat terus meningkatkan stabilitas ROCm, memperluas dukungan bentuk untuk kernel berkecepatan tinggi, dan memberikan adaptasi hari pertama yang lebih tepat waktu untuk model baru, maka pusat data harus serius mempertimbangkan GPU ini. Harga lebih rendah, VRAM lebih besar, kinerja memadai, dan perangkat lunak juga tidak perlu lagi diutak-atik selama berbulan-bulan.
Apa pendapat Anda tentang ini?
Referensi:
https://x.com/wafer_ai/status/2083628389903315406
https://x.com/ChiragAsarpota/status/2083864019870634151
Artikel ini berasal dari akun WeChat publik "机器之心" (ID:almosthuman2014), penulis: 关注LLM的
