Phải chăng nhiều công nghệ then chốt của Transformer đã đồng loạt sụp đổ trong một hội nghị?!
Tại COLM 2026, nhiều bài báo cùng lúc nhắm vào một vấn đề duy nhất —
Những thiết kế trong Transformer mà không ai còn dám nghi ngờ, thực ra lại không đứng vững.
Transformer gần như là kiến trúc mặc định của mọi mô hình chủ đạo, và các thiết lập của nó cũng thường được coi là chuẩn mực, hiếm khi ai quay lại xác minh.
Kết quả là, loạt bài báo này lần lượt từ các góc độ khác nhau, tính toán lại các lựa chọn mặc định này.
Và điều bất ngờ là kết luận từ những người khác nhau lại cực kỳ thống nhất, mỗi thiết kế tiêu chuẩn trong Transformer đều phải trả giá thực sự ở một khía cạnh mà các hệ thống đánh giá hiện tại không đo lường được.
Vết nứt trong bối cảnh dài
Bài báo đầu tiên có tên "Cracks in the Foundation", đến từ các tổ chức như Ai2, nhắm vào các lựa chọn kiến trúc lâu nay được coi là 'tiêu chuẩn' như chuẩn hóa QK, GQA, cơ chế chú ý cửa sổ trượt (Sliding Window Attention) và độ dài ngữ cảnh tiền huấn luyện.
Các nhà nghiên cứu chọn các giá trị đã được sử dụng từ các mô hình thực tế như Llama 2, Llama 3, Qwen 3, Olmo 3, kết hợp chúng và huấn luyện 26 mô hình để so sánh.
Các mô hình này đều có quy mô tham số từ 7B đến 8B, dữ liệu, bộ tách từ (tokenizer), phương án mở rộng ngữ cảnh đều giữ nguyên, chỉ khác nhau về kiến trúc.
Nhóm nghiên cứu gọi loạt mô hình này là "OlmPool", tất cả đều được tiền huấn luyện 140B token, sau đó dùng thêm 10B token để huấn luyện cuối cho ngữ cảnh dài, tổng cộng đốt hơn 170 nghìn giờ GPU.
Kết quả, 26 mô hình trong bài đánh giá HELMET 32K, điểm cao nhất là 56.4, thấp nhất là 29.9, chênh lệch 26.5 điểm, chuyển đổi thành khoảng cách tương đối là 47%.
Dữ liệu giống nhau, kiến trúc về cơ bản tương đồng, chỉ vì bốn công tắc được bật theo hướng khác nhau, điểm số có thể chênh lệch nhiều đến vậy.
Bật một công tắc riêng lẻ, thực ra ảnh hưởng không lớn. Sử dụng độ dài ngữ cảnh 4096 hay 8192 khi tiền huấn luyện, có hay không có cơ chế chú ý cửa sổ trượt, trung bình chỉ làm giảm điểm một hai điểm.
Điểm mấu chốt thực sự là khi vài lựa chọn chồng lên nhau, một khi SWA và GQA cùng xuất hiện trong một mô hình, trung bình mất 9 điểm, nhiều hơn rất nhiều so với tổng ảnh hưởng của từng mục riêng lẻ cộng lại.
Tổ hợp tệ nhất mà nhóm đo được, là khi GQA, cơ chế chú ý cửa sổ trượt và chuẩn hóa QK từng đầu (per-head QK Normalization) cùng lúc được áp dụng, mức giảm điểm cũng mạnh hơn nhiều so với tổng từng mục riêng lẻ.
Sau đó họ phát hiện, chỉ cần đếm số lượng "thiết kế có hại" mà một mô hình đã áp dụng, con số này có thể dự đoán khá chính xác hiệu suất ngữ cảnh dài của nó, thậm chí còn hiệu quả hơn việc phân tích kiến trúc từng mục.
Chuẩn hóa QK là mục phản trực giác nhất. Ban đầu nó được thêm vào mô hình để giúp huấn luyện ổn định hơn, ngành này về cơ bản đều coi nó là thứ tốt.
Nhưng bài báo đo được rằng, bỏ chuẩn hóa QK gốc và chuẩn hóa hậu vị (post-norm) của Olmo 3, thay bằng chuẩn hóa tiền vị (pre-norm), điểm HELMET lại tăng 6 điểm.
Cùng thay đổi đó áp dụng lên Llama 3, hiệu quả lại ngược lại, giảm 3.8 điểm.
Cùng một "tiêu chuẩn", thay đổi mô hình nền tảng, kết quả có thể hoàn toàn trái ngược.
Phần này còn đo được một hiện tượng trái ngược với trực giác của nhiều người — "sự tập trung chú ý" (attention concentration), chỉ việc mô hình dồn một phần lớn sự chú ý vào một vài token đầu tiên trong ngữ cảnh.
Hiện tượng này luôn bị coi là thói quen xấu lãng phí tính toán, nhiều phương pháp mới lấy việc loại bỏ nó làm điểm bán hàng, nhưng trong loạt mô hình OlmPool này, hiện tượng tập trung chú ý càng rõ ràng, hiệu suất ngữ cảnh dài lại càng tốt.
Chuẩn hóa QK lại làm suy yếu sự tập trung này, có lẽ đây chính là nguyên nhân khiến nó kéo tụt khả năng ngữ cảnh dài.
Gradient bị nuốt chửng
Bài báo thứ hai có tên "Lost in Backpropagation", đến từ Đại học Cornell, nhắm vào lớp cuối cùng mà hầu hết mọi mô hình ngôn ngữ đang sử dụng — lớp chiếu đầu ra (output projection layer).
Mỗi khi mô hình ngôn ngữ xử lý một bước, nó sẽ tính toán một chuỗi số, đại diện cho sự hiểu biết của nó về ngữ cảnh hiện tại, chuỗi số này gọi là trạng thái ẩn D.
Để dự đoán từ tiếp theo, mô hình phải chuyển đổi trạng thái ẩn thành điểm số cho mỗi từ ứng viên trong từ vựng, từ vựng có bao nhiêu từ thì phải xuất ra bấy nhiêu điểm số.
Những điểm số này gọi là logits, điểm càng cao, mô hình càng cho rằng từ đó có khả năng là từ tiếp theo.
Bộ phận thực hiện chuyển đổi này chính là lớp đầu ra, bản chất là một phép toán ma trận.
Kích thước từ vựng thường lớn hơn rất nhiều so với chiều dài trạng thái ẩn, một bên là vài chục nghìn, một bên có thể chỉ vài nghìn.
Sự chênh lệch kích thước này trước đây chỉ được coi là một vấn đề, gọi là "nút cổ chai softmax" (softmax bottleneck), ý là từ vựng quá lớn so với trạng thái ẩn, sẽ hạn chế số loại phân phối từ tiếp theo mà mô hình có thể biểu đạt.
Bài báo này nói rằng, cùng một sự chênh lệch đó còn có một ảnh hưởng khác.
Trong quá trình lan truyền ngược, tín hiệu lỗi phải đi qua lớp đầu ra, truyền ngược lại để hướng dẫn mô hình điều chỉnh tham số, khâu này cũng chịu ảnh hưởng của sự chênh lệch.
Về lý thuyết, lượng thông tin mà tín hiệu lỗi chứa đựng trước khi truyền ngược lại lớn bằng kích thước từ vựng.
Nhưng lượng thông tin mà lớp đầu ra có thể truyền ngược lại bị chính cấu trúc của nó giới hạn, giới hạn trên xấp xỉ bằng chiều dài trạng thái ẩn, nhỏ hơn rất nhiều so với từ vựng.
Bài báo đã đo lường sự hao hụt thông tin ở bước này trên các mô hình đã được huấn luyện như GPT-2, Pythia, Llama 3, OLMo 2, Qwen 3, bằng cách chiếu tín hiệu lỗi vào không gian null của trọng số lớp đầu ra rồi xem còn lại bao nhiêu.
Kết quả trên các mô hình GPT-2, Pythia, Llama 3, OLMo 2, Qwen 3, từ 95% đến 99% chuẩn gradient (gradient norm) bị cắt bỏ ở bước này.
Phần tín hiệu còn lại ít ỏi đó, độ tương đồng cosine với gradient gốc chỉ từ 0.1 đến 0.2.
Hơn chín phần mười tín hiệu truyền ngược lại bị nuốt chửng ở bước này, phần còn lại ít ỏi, hướng cũng không khớp với hướng đáng lẽ phải có.
Lớp đầu ra này, là con đường bắt buộc mà hầu hết mọi mô hình ngôn ngữ đều phải đi qua, không ai coi nó là đối tượng cần xem xét, nhưng nó lại âm thầm xóa bỏ phần lớn tín hiệu huấn luyện đáng lẽ phải truyền ngược lại trong mỗi lần lan truyền ngược.
Cắt bỏ một tầng, đứt gãy chuỗi suy luận
Còn một bài báo nữa, tên là "When Fewer Layers Break More Chains", đến từ Đại học Tübingen, nói về một phương pháp nén mô hình đã được sử dụng rộng rãi — tỉa lớp (layer pruning), tức là trực tiếp xóa bỏ hoàn toàn một vài tầng trong Transformer, giảm độ sâu mô hình để tiết kiệm tính toán.
Tỉa lớp có thể làm được như vậy, là vì đã có nghiên cứu phát hiện ra rằng, một phần tầng trong mô hình đóng góp rất ít cho biểu hiện tổng thể, sau khi xóa đi, dùng các bài đánh giá kiến thức thông thường để kiểm tra, điểm số giảm rất ít.
Cắt bỏ một phần tư số tầng, vẫn có thể giữ lại hơn 80% độ chính xác gốc, những kết quả kiểu này khiến tỉa lớp trở thành một phương thức hiệu quả được chấp nhận phổ biến.
Nhưng những bài đánh giá đó chỉ kiểm tra nhiệm vụ dạng kiến thức, câu trả lời ngắn, dựa vào những gì mô hình nhớ được là có thể trả lời đúng.
Bài báo này kiểm tra một khả năng khác — suy luận chuỗi dài, phương pháp bài báo sử dụng là "mở rộng lúc kiểm tra" (test-time scaling), nói đơn giản là để mô hình suy nghĩ lâu hơn một chút, cho nó nhiều token hơn để suy luận, hoặc để nó sinh ra câu trả lời nhiều lần rồi chọn câu đúng, bình thường, suy nghĩ càng lâu, hoặc thử càng nhiều lần, tỷ lệ chính xác càng phải cao.
Bài báo chọn hai mô hình vốn đã có khả năng này, s1.1-7B và Qwen3-8B, dùng ba phương pháp tỉa lớp phổ biến để cắt từ một đến hai tầng, sau đó xem hai cách mở rộng này còn hiệu quả không.
Kết quả trên bài đánh giá kiến thức, điểm số giảm thực sự khá nhẹ nhàng, nhưng khi chuyển sang AIME24 với độ khó của cuộc thi toán học, chỉ cắt một tầng ở s1.1-7B, tỷ lệ chính xác đã giảm mạnh, cắt hai tầng, trực tiếp giảm xuống gần bằng không.
Cho mô hình thêm token suy nghĩ, đáng lẽ phải khiến nó suy nghĩ rõ ràng hơn, kết quả là mô hình đã bị cắt tầng, thời gian suy nghĩ càng lâu, càng không thấy cải thiện, việc mở rộng lúc kiểm tra này, coi như mất tác dụng.
Tác giả tiếp tục kiểm tra xem có thể cứu vãn bằng cách vi chỉnh (fine-tuning) hay không, lần lượt sử dụng vi chỉnh LoRA và vi chỉnh toàn bộ tham số, huấn luyện lại trên mô hình đã bị cắt tầng.
Mô hình cắt một tầng, vi chỉnh hầu như không có tác dụng. Mô hình cắt hai tầng, vi chỉnh có thể cứu vãn được một phần điểm số, nhưng vẫn còn xa so với mức trước khi cắt.
Tóm lại, bài báo này muốn nói với mọi người rằng, tỉa lớp không an toàn như vẻ bề ngoài.
Ba bài báo nghiên cứu đối tượng hoàn toàn khác nhau, một bài xem ngữ cảnh dài, một bài xem gradient lúc huấn luyện, một bài xem chuỗi suy luận.
Nhưng đặt cạnh nhau để xem, có thể thấy một mô thức chung — cả ba bài báo đều nhắm vào những thiết kế thông thường đã được các mô hình chủ đạo áp dụng rộng rãi, hiếm khi ai quay lại chất vấn.
Bây giờ, những thao tác "thông thường" này, cũng bắt đầu được xem xét lại.
Bài viết từ tài khoản WeChat công chúng "Quantum Bit", tác giả: Quan tâm công nghệ tiên phong
