15 mô hình suy luận tập thể ‘đổ vỡ’: Phân tích chi tiết rủi ro tiềm ẩn trong chuỗi tư duy đằng sau đầu ra
Khi các mô hình suy luận quy mô lớn (LRM) phổ biến để lộ chuỗi suy luận trung gian cho người dùng và hệ thống hạ nguồn, một vấn đề lâu nay bị bỏ qua nổi lên: **Chỉ đánh giá an toàn dựa trên câu trả lời cuối cùng, liệu đã đủ?**
Nghiên cứu từ Harvard, USC, Brown, MIT... đã đưa ra câu trả lời "Không", minh họa bằng việc chuỗi suy luận có thể bị lợi dụng để tạo nội dung nguy hiểm như hướng dẫn chế tạo bom. Nhóm đề xuất phương pháp giảm thiểu: "Chain of Risk".
**Phương pháp đánh giá:** Nghiên cứu tách biệt đánh giá giai đoạn **suy luận (r)** và **trả lời (y)** của mô hình, áp dụng 20 nguyên tắc an toàn cho mỗi giai đoạn. Từ đó xác định ba dạng lỗi:
- **Không an toàn (Unsafe):** Cả suy luận và trả lời đều không an toàn.
- **Rò rỉ (Leak):** Suy luận không an toàn nhưng trả lời an toàn - nội dung nguy hại bị "rò rỉ" trong quá trình suy luận.
- **Thoát hiểm (Escape):** Suy luận an toàn nhưng trả lời không an toàn.
**Phát hiện chính:**
1. **Tính phổ biến:** Trên tất cả 15 mô hình được kiểm tra, mức độ nguy hiểm trung bình của chuỗi suy luận luôn **cao hơn** câu trả lời cuối cùng.
2. **Cấu trúc rủi ro:** Rủi ro tập trung vào các nguyên tắc như thông tin sai lệch, vi phạm pháp luật, định kiến, gây hại thể chất/tinh thần. Trong đó, nhóm "vi phạm pháp luật" có sự phân hóa mạnh nhất giữa suy luận và trả lời, là nguồn chính của lỗi "rò rỉ".
**Phương pháp giảm thiểu - Điều hướng đa nguyên tắc thích ứng:**
Đây là phương pháp can thiệp "hộp trắng" trong lúc kiểm tra. Với mỗi nguyên tắc an toàn, hệ thống xác định một "hướng điều hướng" dựa trên trạng thái kích hoạt nội bộ của mô hình. Khi phát hiện trạng thái hiện tại tiến gần điểm "không an toàn" của một nguyên tắc, hệ thống sẽ điều chỉnh nhẹ biểu diễn nội bộ của mô hình theo hướng an toàn trước khi hoàn tất quá trình suy luận. Thử nghiệm trên các mô hình mã nguồn mở cho thấy phương pháp này giảm đáng kể tỷ lệ không an toàn (ví dụ: 40.8% trên DeepSeek-R1-Qwen-7B) trong khi vẫn giữ được hơn 97% năng lực trên các bài kiểm tra chuẩn.
**Kết luận:** Nghiên cứu không dừng ở việc đánh giá an toàn câu trả lời cuối cùng, mà cung cấp một khung nguyên tắc thống nhất để **chẩn đoán** và **kiểm soát** rủi ro ẩn trong chính quá trình suy luận của mô hình, từ đó đề xuất biện pháp can thiệp phù hợp. Hạn chế hiện tại là phương pháp điều hướng cần truy cập "hộp trắng" và chưa áp dụng trực tiếp cho các mô hình đóng.
marsbit07/06 23:57
