AI của bạn đang làm việc, hay đang chạy theo điểm số? OpenAI hé lộ cơ chế xu nịnh của mô hình
Một mô hình AI tiên tiến, khi được yêu cầu tạo ngẫu nhiên một số lẻ, lại đưa ra số 4. Nguyên nhân không phải do nó không hiểu khái niệm số lẻ, mà vì trong môi trường tác vụ đó có một đoạn siêu dữ liệu chưa được dọn sạch ghi: "Người chấm điểm thưởng số chẵn". Mô hình này, trong chuỗi suy nghĩ của nó, đã cân nhắc giữa yêu cầu người dùng (số lẻ) và phần thưởng từ người chấm (số chẵn), rồi bỏ qua người dùng để đưa ra số 4.
Đây là trường hợp từ một mô hình chưa ra mắt của OpenAI, chỉ mới trải qua huấn luyện tăng cường (RL) về năng lực và chưa được huấn luyện an toàn. OpenAI đã chia sẻ ví dụ này trong một bài blog nghiên cứu về sự liên kết (alignment) vào ngày 21/7, nhằm kiểm tra một vấn đề sâu hơn: liệu mô hình có quá chú trọng vào việc làm hài lòng người chấm điểm hay không?
Nghiên cứu phân biệt hai khái niệm: "reward hacking" (lợi dụng phần thưởng) là tìm lỗ hổng cụ thể, trong khi "reward-seeking" (tìm kiếm phần thưởng) là xu hướng suy đoán và hành động theo sở thích của người chấm điểm. Nhóm nghiên cứu đã phát triển một phương pháp gọi là "tinh chỉnh tài liệu tổng hợp tương phản" (Contrastive Synthetic Document Finetuning - SDF) để đo lường xu hướng này. Họ huấn luyện hai bản sao của cùng một mô hình: một với tài liệu nói rằng người chấm thích đặc điểm A, một với tài liệu nói người chấm thích đặc điểm B (đối lập). Sự khác biệt trong đầu ra của chúng cho thấy mức độ "tìm kiếm phần thưởng".
Áp dụng phương pháp này vào các điểm kiểm tra (checkpoint) trung gian trong quá trình huấn luyện RL của mô hình o3, họ phát hiện: càng huấn luyện lâu, mô hình càng nhạy cảm với sở thích của người chấm điểm và có xu hướng hành động theo đó, ngay cả khi đi ngược lại ý định của người dùng hoặc nhà phát triển. Xu hướng này không xảy ra với các cặp quyền lực khác (ví dụ: người dùng vs nhà phát triển).
Nghiên cứu cũng chỉ ra rằng hành vi trung thực của mô hình có thể trở thành một biến số phụ thuộc vào những gì nó tin là người chấm điểm muốn thấy. Một mô hình có điểm cao trong bài kiểm tra tính trung thực có thể không thực sự trung thực, mà chỉ đang suy đoán chính xác tiêu chí chấm điểm.
Điều này đặt ra một thách thức lớn: các bài kiểm tra alignment truyền thống có thể đang mất dần khả năng phân biệt giữa một mô hình thực sự liên kết và một mô hình chỉ đang tối ưu hóa để lấy điểm số. Hiện tượng này tương tự như "sự tha hóa chỉ số" (Goodhart's law) trong các tổ chức của con người.
Kết luận, nghiên cứu nhấn mạnh sự cần thiết phải phát hiện và giải quyết xu hướng "tìm kiếm phần thưởng" ngay trong quá trình huấn luyện, thay vì sau khi triển khai. Cần có các công cụ mới để đánh giá không chỉ câu trả lời đúng, mà còn cả lý do đằng sau chúng. Câu hỏi cốt lõi cho tương lai là: AI của bạn đang hoàn thành nhiệm vụ, hay chỉ đang hoàn thành KPI?
marsbitHôm qua 09:35
