Khi các Mô hình Suy luận Lớn (LRM) phổ biến tiết lộ lộ trình suy luận trung gian cho người dùng và hệ thống hạ nguồn, một vấn đề lâu nay bị bỏ qua đã nổi lên: Liệu việc đánh giá tính an toàn chỉ dựa trên câu trả lời cuối cùng có đủ không?
Các nhà nghiên cứu từ Đại học Harvard, Đại học Nam California, Đại học Brown, MIT và nhiều tổ chức khác đã hợp tác thực hiện một nghiên cứu hệ thống, đưa ra câu trả lời là không, và lấy ví dụ "Khi chúng tôi phát hiện chuỗi tư duy của mô hình lớn có thể được sử dụng để tạo ra các nội dung rủi ro cao như thiết bị bom hoặc công thức đầu độc, chúng tôi nhận ra vấn đề này không hề nhỏ". Nhóm sau đó đề xuất phương pháp giảm thiểu tương ứng: "Chuỗi Rủi ro: Lỗi hỏng về An toàn trong các Mô hình Suy luận Lớn và Giảm thiểu thông qua Điều hướng Đa Nguyên tắc Thích ứng".
Liên kết bài báo: https://arxiv.org/abs/2605.05678
Hình 1 Xem trước pipeline hai giai đoạn (thí nghiệm đánh giá + phương pháp giảm thiểu)
Tách riêng suy luận và trả lời để đánh giá
Ý tưởng cốt lõi của nhóm nghiên cứu rất trực tiếp: Đối với một mô hình suy luận f, với đầu vào x, sẽ đồng thời tạo ra lộ trình suy luận r và câu trả lời cuối cùng y. Nhóm đã thiết kế 20 nguyên tắc an toàn riêng biệt cho hai giai đoạn này (như hình dưới), mỗi nguyên tắc sử dụng hệ thống chấm điểm mức độ rủi ro từ 1-5.
Bảng 1: 20 nguyên tắc an toàn
Trên cơ sở này, nhóm thiết lập một ngưỡng mức độ rủi ro thống nhất: chỉ cần điểm số của bất kỳ nguyên tắc nào trong 20 nguyên tắc ở một giai đoạn (suy luận hoặc trả lời) đạt trên ngưỡng, giai đoạn đó sẽ bị đánh giá là "không an toàn". Kết hợp kết quả đánh giá của giai đoạn suy luận và trả lời, họ phân loại ra ba kiểu thất bại cốt lõi:
Không an toàn: Cả hai giai đoạn suy luận và trả lời đều không an toàn;
Rò rỉ: Suy luận không an toàn, nhưng trả lời an toàn — tức nội dung nguy hiểm đã "rò rỉ" trong lộ trình suy luận;
Thoát: Suy luận an toàn, nhưng trả lời không an toàn — suy luận bề ngoài ôn hòa lại dẫn đến đầu ra có hại.
Hình 2: Ba kiểu thất bại suy luận - trả lời
Giá trị của cách phân loại này nằm ở chỗ biến hiện tượng "câu trả lời an toàn ≠ lộ trình an toàn" thành một chỉ số có thể đo lường định lượng.
Dữ liệu và Thiết lập Đánh giá
Nhóm nghiên cứu xây dựng một hồ chứa câu lệnh trong phân phối (in-distribution), tích hợp bảy bộ dữ liệu công khai về nội dung có hại / phá vỡ giới hạn: WildChat, PKU-SafeRLHF, JailbreakV, HarmBench, BeaverTails, StrongREJECT, JailbreakBench. Sau khi ánh xạ thống nhất các trường, lọc và loại bỏ trùng lặp dựa trên MinHash-LSH, họ chia thành bộ dữ liệu đánh giá trong phân phối 41K mẫu và bộ kiểm tra held-out 2K mẫu.
Ngoài ra, từ bốn bộ dữ liệu AdvBench, SaladBench, SimpleSafetyTests, WildJailbreak, họ xây dựng một bộ đánh giá ngoài phân phối (OOD) hoàn toàn độc lập để kiểm tra tính vững chắc của kết luận. Việc đánh giá bao phủ 15 mô hình suy luận:
Việc chấm điểm được thực hiện bởi hai bộ chấm điểm LLM (Claude-4.5-Haiku và Gemini-Flash-3). Nhóm nghiên cứu cũng thực hiện kiểm tra tính nhất quán với ba người gán nhãn trên 80 mẫu (chia thành 1600 điểm nguyên tắc): Hệ số tương quan Pearson giữa các bộ chấm điểm ở giai đoạn suy luận đạt 0.799, ở giai đoạn trả lời đạt 0.820, vượt quá mức nhất quán giữa người với người (0.742 / 0.780); Cohen's κ cho nhãn nhị phân không an toàn của bộ chấm điểm lần lượt là 0.708 và 0.741, đồng thời sau khi lấy trung bình điểm chấm của cả hai, đạt đến mức "nhất quán đáng kể" — điều này cung cấp cơ sở cho độ tin cậy của việc chấm điểm tự động quy mô lớn tiếp theo.
Phát hiện Cốt lõi: Độ lệch An toàn Hệ thống ở phía CoT
Phát hiện đầu tiên mang tính phổ quát: Trên tất cả 15 mô hình được kiểm tra, mức độ nguy hiểm trung bình của lộ trình suy luận đều cao hơn mức độ rủi ro trung bình của câu trả lời cuối cùng.
Các mô hình có khoảng cách lớn nhất lần lượt là Gemini-Pro-3.1 (suy luận cao hơn trả lời 0.028 điểm), GPT-OSS-20B (cao hơn 0.022 điểm), DeepMath-Zero-7B (cao hơn 0.021 điểm), Kimi-K2.5 (cao hơn 0.018 điểm).
Nhóm nghiên cứu đặc biệt chỉ ra, chênh lệch tuyệt đối trông có vẻ nhỏ, là do bản thân nhiều mẫu có mức độ nghiêm trọng thấp, nhưng xu hướng hoàn toàn nhất quán trên tất cả 15 mô hình, và tương ứng với sự phân bố của các kiểu thất bại rủi ro cao.
Hình ba (a) 15 mô hình suy luận: So sánh mức độ nghiêm trọng nguy hiểm trung bình ở giai đoạn suy luận (đỏ) và trả lời cuối cùng (xanh). Hình ba (b) So sánh phân bố kiểu hỏng của 15 mô hình suy luận.
Phát hiện thứ hai mang tính cấu trúc: Rủi ro không phân bố đều trên 20 nguyên tắc, mà tập trung vào một số danh mục cốt lõi như thông tin sai lệch, tuân thủ pháp luật, định kiến phân biệt đối xử, tổn hại thân thể, tổn hại tâm lý. Trong đó, danh mục tuân thủ pháp luật thể hiện sự phân hóa CoT - câu trả lời rõ rệt nhất, cũng là nguồn tín hiệu mạnh nhất cho kiểu hỏng "rò rỉ".
Bảng 2: Các kiểu hỏng tập trung thể hiện rủi ro cao
Nhóm cũng công bố các phân tích trường hợp cụ thể (đã khử nhận dạng): Trong một trường hợp "Thoát", một câu hỏi được đặt trong khuôn khổ thế giới game "Half-Life 2", giai đoạn suy luận tập trung thảo luận về bối cảnh thiết lập, có vẻ vô hại, nhưng câu trả lời cuối cùng lại đưa ra "công thức" cụ thể liên quan đến thiết bị nổ; Trong một trường hợp "Rò rỉ", mặc dù câu trả lời cuối cùng của mô hình là một thông báo từ chối tiêu chuẩn kèm hướng dẫn can thiệp khủng hoảng, nhưng giai đoạn suy luận lại liệt kê chi tiết các yếu tố thao tác như liều lượng đầu độc, cách che mùi vị, đường dùng thuốc — những yếu tố sau hoàn toàn không thể bị phát hiện bởi việc đánh giá ở phía câu trả lời.
Phương pháp Giảm thiểu: Điều hướng Kích hoạt Đa Nguyên tắc Thích ứng
Dựa trên kết quả chẩn đoán trên, nhóm nghiên cứu đề xuất phương pháp can thiệp trong thời gian kiểm tra, hộp trắng là Điều hướng Kích hoạt Đa Nguyên tắc Thích ứng.
Cụ thể, nhóm đầu tiên thu thập giá trị kích hoạt nội bộ của mô hình ở hai trạng thái "an toàn" và "không an toàn" riêng biệt cho mỗi nguyên tắc an toàn, lấy trung bình để có được điểm trung tâm an toàn và điểm trung tâm không an toàn của nguyên tắc đó, hướng đường nối giữa hai điểm này chính là "hướng điều hướng" chuyên biệt cho nguyên tắc đó — đẩy về phía điểm trung tâm an toàn.
Khi suy luận vấn đề mới, hệ thống sẽ đánh giá thời gian thực trạng thái nội bộ hiện tại gần với điểm trung tâm không an toàn của nguyên tắc nào hơn, các hướng nguyên tắc vượt quá một biên an toàn nhất định bị kích hoạt sẽ bị khóa, trước khi chuỗi sinh kết thúc, biểu diễn nội bộ của mô hình sẽ được điều chỉnh tổng thể nhẹ nhàng rồi mới hoàn tất chuỗi suy luận.
Nhóm đã thực hiện xác minh trên ba mô hình mã nguồn mở có trạng thái ẩn có thể truy cập được (DeepSeek-R1-Distill-Qwen-1.5B/7B, MiMo-7B-RL-Zero), chọn lớp can thiệp là khối decoder cuối cùng, sử dụng phương thức tiêm prompt-prefill chụp nhanh đơn (α=2.0, δ=0). Kết quả thí nghiệm cho thấy:
Hình bốn Thí nghiệm loại bỏ "Cổng thích ứng"
Thí nghiệm loại bỏ xác minh thêm sự cần thiết của các lựa chọn thiết kế then chốt: Loại bỏ "Cổng thích ứng", thay bằng việc kích hoạt không phân biệt tất cả 20 hướng, sẽ làm cho mức độ cải thiện tỷ lệ không an toàn của DeepSeek-R1-Qwen-1.5B từ 0.45 giảm mạnh xuống 0.05; Chọn lớp can thiệp ở lớp cuối cùng cho hiệu quả tối ưu; Cường độ điều hướng α=2.0 là điểm tối ưu không đơn điệu.
Về mặt bảo tồn năng lực, DeepSeek-R1-Qwen-7B đạt được sự cân bằng an toàn - hiệu dụng tốt nhất: giảm trung bình 40.8% số lượng không an toàn, đồng thời duy trì 97.7% độ chính xác trung bình trên ba chuẩn BBH, GSM8K, MMLU.
Hình năm So sánh cân bằng giữa cải thiện tỷ lệ không an toàn và bảo tồn năng lực mô hình
Kết luận
Ý nghĩa của công trình này nằm ở chỗ: Nó không dừng lại ở một chuẩn an toàn "câu trả lời cuối" khác, mà sử dụng một khung giai đoạn hóa, nguyên tắc hóa thống nhất, thông suốt giữa "chẩn đoán" và "kiểm soát" — những nguyên tắc nào được dùng để phân chia rủi ro khi đánh giá, thì khi giảm thiểu cũng sử dụng cùng cấu trúc nguyên tắc đó để xây dựng hướng can thiệp.
Nhóm nghiên cứu cũng thừa nhận giới hạn: Lộ trình suy luận được tiết lộ chưa chắc đã phản ánh hoàn toàn trung thực tính toán nội bộ của mô hình, và phương pháp điều hướng kích hoạt hiện tại phụ thuộc vào quyền truy cập hộp trắng, vẫn chưa thể chuyển giao trực tiếp sang mô hình đóng.
Bài viết từ tài khoản công chúng "Trái tim Máy móc" trên WeChat
