Banyak teknologi kunci Transformer runtuh sekaligus dalam sebuah konferensi?!
Di COLM 2026, sejumlah makalah secara bersamaan mengarahkan sorotan pada hal yang sama—
Desain-desain dalam Transformer yang sudah tidak lagi dipertanyakan orang, ternyata tidak memiliki dasar yang kuat.
Transformer hampir menjadi arsitektur default untuk semua model utama, dan pengaturannya pun banyak dianggap sebagai kebenaran yang tidak perlu diuji ulang.
Hasilnya, kumpulan makalah ini masing-masing menghitung ulang pilihan default tersebut dari sudut pandang yang berbeda.
Dan yang mengejutkan, kesimpulan yang didapatkan oleh peneliti berbeda ternyata sangat konsisten: setiap desain standar dalam Transformer telah membayar harga nyata pada dimensi tertentu yang tidak terukur oleh sistem evaluasi yang ada.
Retakan dalam Konteks Panjang
Makalah pertama berjudul "Cracks in the Foundation", dari lembaga seperti Ai2, menyasar normalisasi QK, GQA, perhatian jendela geser (sliding window attention), dan panjang konteks pra-pelatihan—pilihan arsitektur yang selama ini dianggap sebagai "standar".
Para peneliti mengambil nilai-nilai yang pernah digunakan dari model nyata seperti Llama 2, Llama 3, Qwen 3, dan Olmo 3, lalu membuat kombinasi permutasi untuk melatih 26 model berbeda guna perbandingan.
Model-model ini memiliki parameter antara 7B hingga 8B, dengan data, tokenizer, dan skema perluasan konteks yang semuanya dijaga konsisten. Hanya arsitekturnya yang berbeda.
Tim menyebut kumpulan model ini "OlmPool", semuanya dilatih pra-pelatihan selama 140B token, lalu dilatih tahap akhir konteks panjang dengan 10B token, menghabiskan total lebih dari 170 ribu jam GPU.
Hasilnya, dari 26 model yang diuji pada evaluasi HELMET 32K, skor tertinggi adalah 56,4 dan terendah 29,9—selisih 26,5 poin atau sekitar 47% secara relatif.
Data sama, arsitektur secara umum mirip, hanya karena empat saklar diatur ke arah yang berbeda, skor bisa berbeda begitu jauh.
Mengubah satu saklar saja sebenarnya dampaknya tidak besar. Menggunakan panjang konteks 4096 atau 8192 saat pra-pelatihan, menambahkan perhatian jendela geser atau tidak, rata-rata hanya menurunkan skor satu atau dua poin.
Yang benar-benar berbahaya adalah ketika beberapa pilihan ini dikombinasikan. Begitu SWA (Sliding Window Attention) digabung dengan GQA dalam model yang sama, rata-rata skor turun 9 poin—jauh lebih banyak daripada jumlah pengaruh masing-masing item.
Kombinasi terburuk yang diukur tim adalah menggunakan GQA, perhatian jendela geser, dan normalisasi QK per kepala sekaligus. Penurunan skornya juga lebih tajam daripada jumlah penurunan masing-masing item.
Kemudian mereka menemukan, hanya dengan menghitung berapa banyak "desain berbahaya" yang diterapkan sebuah model, angka tersebut dapat memprediksi secara akurat performa konteks panjangnya—bahkan lebih efektif daripada menganalisis arsitektur per item.
Normalisasi QK adalah yang paling kontra-intuitif. Awalnya ditambahkan ke model untuk membuat pelatihan lebih stabil, dan industri pada dasarnya menganggapnya sebagai hal yang baik.
Tapi makalah ini mengukur bahwa menghapus normalisasi QK asli dan normalisasi pasca (post-norm) dari Olmo 3, lalu menggantinya dengan normalisasi pra (pre-norm), justru meningkatkan skor HELMET sebesar 6 poin.
Perubahan yang sama diterapkan pada Llama 3, efeknya justru sebaliknya, turun 3,8 poin.
"Standar" yang sama, dengan model dasar yang berbeda, hasilnya bisa berlawanan sepenuhnya.
Bagian ini juga mengungkap fenomena yang bertentangan dengan intuisi banyak orang—"pemusatan perhatian" (attention concentration), merujuk pada kecenderungan model untuk mengalokasikan sebagian besar perhatiannya pada beberapa token paling awal dalam konteks.
Fenomena ini selalu dianggap sebagai kebiasaan buruk yang membuang-buang komputasi, dan banyak metode baru mengklaim dapat menghilangkannya. Namun, dalam kumpulan model OlmPool ini, semakin jelas fenomena pemusatan perhatian, justru performa konteks panjangnya semakin baik.
Normalisasi QK kebetulan melemahkan pemusatan ini, dan ini mungkin menjadi alasan mengapa itu menghambat kemampuan konteks panjang.
Gradien yang "Dimakan"
Makalah kedua berjudul "Lost in Backpropagation", dari Universitas Cornell, menyasar lapisan terakhir yang digunakan hampir di semua model bahasa—lapisan proyeksi keluaran (output projection layer).
Setiap kali model bahasa memproses satu langkah, ia pertama-tama menghitung serangkaian angka yang mewakili pemahamannya terhadap konteks saat ini. Rangkaian angka ini disebut keadaan tersembunyi D (hidden state).
Untuk memprediksi kata berikutnya, model harus mengubah keadaan tersembunyi menjadi skor untuk setiap kandidat kata dalam kosakata. Berapa banyak kata dalam kosakata, sebanyak itu pula skor yang harus dihasilkan.
Skor-skor ini disebut logits. Semakin tinggi skornya, semakin besar kemungkinan model menganggap kata tersebut sebagai kata berikutnya.
Komponen yang melakukan konversi ini adalah lapisan keluaran, yang pada dasarnya adalah operasi matriks.
Ukuran kosakata biasanya jauh lebih besar daripada panjang keadaan tersembunyi—yang satu puluhan ribu, yang lain mungkin hanya beberapa ribu.
Kesenjangan ukuran ini sebelumnya hanya dilihat sebagai satu masalah, disebut "softmax bottleneck", yang berarti kosakata terlalu besar dibandingkan keadaan tersembunyi, sehingga membatasi variasi distribusi kata berikutnya yang dapat diekspresikan model.
Makalah ini mengatakan, kesenjangan yang sama memiliki dampak lain.
Saat propagasi mundur (backpropagation), sinyal kesalahan harus melewati lapisan keluaran untuk dikirim kembali guna mengarahkan penyesuaian parameter model. Tahap ini juga terpengaruh oleh kesenjangan tersebut.
Sinyal kesalahan, secara teori, mengandung jumlah informasi yang sama besarnya dengan kosakata sebelum dikirim kembali.
Tapi jumlah informasi yang dapat dikirim kembali oleh lapisan keluaran dibatasi oleh strukturnya sendiri. Batas atasnya kira-kira sebesar panjang keadaan tersembunyi, jauh lebih kecil daripada kosakata.
Makalah ini mengukur kehilangan informasi pada langkah ini di model-model yang sudah dilatih seperti GPT-2, Pythia, Llama 3, OLMo 2, dan Qwen 3, dengan memproyeksikan sinyal kesalahan ke ruang nol (null space) dari bobot lapisan keluaran lalu melihat sisanya.
Hasilnya, pada model-model GPT-2, Pythia, Llama 3, OLMo 2, dan Qwen 3, 95% hingga 99% dari norma gradien terpotong pada langkah ini.
Sinyal kecil yang tersisa hanya memiliki kesamaan kosinus 0,1 hingga 0,2 dengan gradien asli.
Lebih dari sembilan puluh persen sinyal yang seharusnya dikirim kembali "dimakan" pada langkah ini. Sedikit yang tersisa, arahnya juga tidak sesuai dengan arah yang seharusnya.
Lapisan keluaran ini adalah jalan yang harus dilalui oleh hampir semua model bahasa, tidak ada yang menganggapnya sebagai objek yang perlu ditinjau ulang. Namun, dalam setiap propagasi mundur, ia diam-diam menghapus sebagian besar sinyal pelatihan yang seharusnya dikirim kembali.
Memangkas Satu Lapisan, Memutus Rantai Penalaran
Ada satu makalah lagi, berjudul "When Fewer Layers Break More Chains", dari Universitas Tübingen, membahas tentang metode kompresi model yang sudah banyak digunakan—pruning lapisan (layer pruning), yaitu menghapus beberapa lapisan tertentu dalam Transformer secara langsung untuk mengurangi kedalaman model dan menghemat komputasi.
Pruning lapisan bisa dilakukan karena penelitian sebelumnya menemukan bahwa sebagian lapisan dalam model memberikan kontribusi kecil terhadap performa keseluruhan. Setelah dihapus, ketika diuji dengan evaluasi pengetahuan konvensional, penurunan skornya sangat sedikit.
Menghapus seperempat lapisan masih bisa mempertahankan lebih dari 80% akurasi asli. Hasil seperti ini membuat pruning lapisan diterima secara luas sebagai cara efisiensi.
Tapi evaluasi-evaluasi ini mengukur tugas-tugas berbasis pengetahuan, dengan jawaban pendek, yang bisa dijawab benar hanya dengan mengandalkan ingatan model.
Makalah ini mengukur kemampuan lain—penalaran rantai panjang (long-chain reasoning). Metode yang digunakan adalah "perluasan saat pengujian" (test-time scaling), sederhananya adalah membiarkan model berpikir lebih lama, memberinya lebih banyak token untuk bernalar, atau membuatnya menghasilkan jawaban beberapa kali lalu memilih yang benar. Normalnya, semakin lama berpikir atau semakin banyak percobaan, akurasi seharusnya meningkat.
Makalah memilih dua model yang memang memiliki kemampuan ini, s1.1-7B dan Qwen3-8B, lalu memangkas satu hingga dua lapisan menggunakan tiga metode pruning lapisan utama, dan melihat apakah kedua cara perluasan tersebut masih efektif.
Hasilnya, pada evaluasi berbasis pengetahuan, penurunan skor memang landai. Tapi ketika diganti dengan AIME24 yang setara kesulitannya dengan kompetisi matematika, pada s1.1-7B yang hanya dipangkas satu lapisan, akurasinya turun drastis. Dipangkas dua lapisan, langsung jatuh mendekati nol.
Memberi model lebih banyak token berpikir seharusnya membuatnya lebih paham. Hasilnya, model yang sudah dipangkas lapisannya, semakin lama waktu berpikir, justru tidak menunjukkan perbaikan. Perluasan saat pengujian pada dasarnya menjadi tidak efektif.
Penulis kemudian menguji apakah bisa diselamatkan dengan fine-tuning, menggunakan fine-tuning LoRA dan fine-tuning parameter penuh, untuk melatih ulang model yang sudah dipangkas.
Pada model yang dipangkas satu lapisan, fine-tuning hampir tidak berguna. Pada model yang dipangkas dua lapisan, fine-tuning bisa menyelamatkan sebagian skor, tapi masih jauh dari level sebelum dipangkas.
Singkatnya, makalah ini ingin memberi tahu bahwa pruning lapisan tidak seaman yang terlihat.
Tiga makalah meneliti objek yang sepenuhnya berbeda: satu melihat konteks panjang, satu melihat gradien selama pelatihan, satu melihat rantai penalaran.
Tapi jika dilihat bersama, terlihat pola yang sama—ketiga makalah menyoroti desain rutin yang sudah diadopsi secara luas oleh model-model utama dan jarang dipertanyakan ulang.
Sekarang, operasi "rutin" ini juga mulai ditinjau kembali.
Artikel ini berasal dari akun WeChat publik "量子位" (Quantum Bit), penulis: Perhatian Teknologi Terdepan
