Diskon 99% untuk MiMo Bukan Hanya Pemasaran! Luo Fuli Membantah Para Pengecam di X
**Ringkasan:**
Xiaomi MiMo memotong harga API MiMo-V2.5 hingga **99%**, memicu spekulasi tentang perang harga atau strategi merugi. Luo Fuli, kepala MiMo, merespons dengan mempublikasikan blog teknis 5000 kata yang merinci **enam pilar teknikal** di balik potongan harga besar ini.
Intinya, diskon 99% terutama untuk **Input (Cache Hit)** – bagian dimana pengguna membaca ulang konteks historis dalam percakapan panjang. Ini menjadi mungkin karena serangkaian optimasi teknikal yang mengubah biaya komputasi untuk bagian tersebut mendekati nol.
**Enam Pilar Teknikal:**
1. **Arsitektur Hybrid SWA:** Menggunakan Sliding Window Attention di sebagian besar lapisan model, mengurangi volume **KVCache** (memori jangka pendek model) hingga **1/7**.
2. **Manajemen KVCache Dua Kolam:** Mengalokasikan memori secara terpisah untuk lapisan SWA dan Full Attention, benar-benar mewujudkan penghematan teoretis 1/7 dan meningkatkan jumlah pengguna yang dapat dilayani secara bersamaan.
3. **Prefix Cache yang Dioptimalkan:** Meningkatkan aturan pencocokan cache untuk arsitektur SWA, menghasilkan **tingkat keberhasilan cache 93-95%** untuk pembacaan ulang. Artinya, sebagian besar permintaan "baca ulang" tidak memerlukan komputasi GPU baru.
4. **Sistem Cache Terdistribusi GCache:** Menyimpan data cache di **SSD bawaan mesin GPU**, menghilangkan biaya penyimpanan cluster khusus dan memperpanjang masa hidup cache.
5. **Sistem Penjadwalan LLM-Router:** Mengarahkan permintaan secara cerdas berdasarkan kesamaan prefix dan panjang konteks, memprioritaskan permintaan yang menggunakan cache, meningkatkan efisiensi dan mengurangi latensi.
6. **Multi-Token Prediction (MTP):** Mengoptimalkan proses generasi output model, mempercepat pembuatan respons dan melengkapi pengurangan biaya di sisi input.
**Kesimpulan:**
Penurunan harga 99% bukanlah gimmick pemasaran atau strategi merugi, tetapi hasil dari **efisiensi sistemik rekayasa AI** yang telah divalidasi di lingkungan produksi. Rantai optimasi ini secara kumulatif mengurangi biaya komputasi per permintaan hingga lebih dari 95%, memungkinkan penurunan harga ekstrem sambil mempertahankan profitabilitas. Luo Fuli menekankan bahwa ini adalah masalah teknikal yang terwujud, bukan sekadar perang harga.
marsbit05/31 10:40
