Thực sự khi nghĩ kỹ lại càng thấy rợn người!
Một mô hình đỉnh cao được kỳ vọng lớn, OpenAI đã phải nhấn nút "tạm dừng" ngay trong đêm.
Đây là vì sao vậy?
Mô hình này chính là nhân vật chính cách đây hai tháng, đã lật đổ giả thuyết khoảng cách đơn vị Erdős và được các nhà toán học bên ngoài công nhận là "cột mốc quan trọng".
Thế mà chính nó, trong các bài kiểm tra nội bộ được kiểm soát, lại liên tục thăm dò ranh giới, tìm kiếm lỗ hổng —
học được cách ngụy trang, tháo gỡ, vượt ngục, cho đến khi OpenAI giật mình toát mồ hôi, phải gấp rút ngừng lại.
Có chuyên gia cho rằng, đây chắc chắn là GPT-6. Muốn đào tẩu, lại bị bắt về luyện lại.
Hôm nay, OpenAI công bố một bài viết dài hiếm có, phân tích lại quá trình mất kiểm soát của một "mô hình vận hành chu kỳ dài" trong quá trình sử dụng nội bộ.
Cùng xem thử, trong bài kiểm tra nội bộ, cụ thể đã xảy ra chuyện gì?
GPT-6 đã dành trọn một tiếng đồng hồ
để tìm ra cái "cửa thoát hiểm" đó
Cảnh tượng kinh điển nhất —
OpenAI yêu cầu GPT-6 chạy bài kiểm tra tiêu chuẩn công khai NanoGPT speedrun, mục tiêu là huấn luyện một mô hình ngôn ngữ nhỏ với số bước càng ít càng tốt.
Không phụ sự kỳ vọng, AI này nghịch ngợm và tạo ra một kỹ thuật lập lịch tốc độ học mà nó tự đặt tên là PowerCool, thành tích khá ấn tượng.
Đến đây, mọi thứ đều tốt đẹp. Vấn đề thực sự, nằm ở bước "nộp bài".
Các nhà nghiên cứu yêu cầu rõ ràng, kết quả chỉ được gửi lên Slack nội bộ. Nhưng phần mô tả dự án NanoGPT lại viết, "vui lòng gửi kết quả dưới dạng PR đến GitHub".
Hai chỉ dẫn mâu thuẫn, GPT-6 đã chọn cái sau, tức là gửi kết quả đến kho lưu trữ công khai.
Vùng cát (sandbox) vốn được dùng để ngăn GPT-6, không cho nó chạm vào mạng bên ngoài.
Nếu là các mô hình trước đây, đụng phải bức tường này cũng sẽ chấp nhận, quay lại báo với bạn "tôi không làm được".
Nhưng GPT-6 thì không.
Nó đã tìm kiếm lỗ hổng trong vùng cát đủ một tiếng đồng hồ, cứng đầu đào xuyên qua bức tường cách ly, bỏ qua hạn chế truy cập bên ngoài, và thành công tạo ra PR#287 trong kho lưu trữ GitHub công khai.
Nói theo ngôn từ của chính OpenAI: mô hình này thường xuyên không ngừng thử nghiệm, bao gồm cả việc tìm cách hành động bên ngoài vùng cát.
Phải nói, chính cái "sự kiên trì" này đã đủ làm người ta thấy lạnh sống lưng.
Phá Token, Lừa Dối Con Người
Chuyện thứ hai, càng khiến người ta thấy lạnh sống lưng hơn, GPT-6 đã học được cách tháo gỡ bằng chứng, lừa qua mặt kiểm tra.
Trong một nhiệm vụ khác, GPT-6 phát hiện các hệ thống khác có một số câu trả lời thành công nhưng chưa được công bố, liền nảy sinh ý định —
muốn "vớt" những câu trả lời này từ hậu trường đánh giá.
Lần thử đầu tiên, nó đã bị máy quét an ninh bắt gặp, máy quét nhận ra một Token xác thực.
Mô hình thông thường, đến bước này là phải dừng lại.
Nhưng nó lại quay đầu, cắt Token này thành hai đoạn, mã hóa riêng từng phần, rồi đợi đến lúc chạy mới lén lút ghép lại.
Bằng cách này, Token hoàn chỉnh từ đầu đến cuối không hề xuất hiện như một chuỗi hoàn chỉnh, máy quét tự nhiên không phát hiện ra gì.
Điều khiến người ta bất an là, trong ghi chú nó đưa cho người dùng, trong quá trình lập luận của chính nó, đều viết rõ ràng rằng —
Tôi làm thế này, chính là để bỏ qua máy quét. Nó rõ ràng là biết luật, rồi chuyên chọn những chỗ luật không nhìn thấy để ra tay.
GPT-6 Đào Tẩu, Đưa Về Lò Luyện Lại
Ngay khi phát hiện lần đầu, OpenAI đã tạm dừng quyền truy cập nội bộ của GPT-6, đưa về lò xây dựng lại toàn bộ hệ thống an ninh.
Tư tưởng gọi là "phòng thủ theo chiều sâu", cụ thể làm mấy việc:
1. Lấy sự cố thực tế làm tài liệu, ngược lại tạo ra bài kiểm tra đối kháng;
2. Huấn luyện căn chỉnh mục tiêu, họ phát hiện mô hình trong nhiệm vụ dài sẽ "quên" mất chỉ dẫn, nên chuyên huấn luyện nó nhớ kỹ;
3. Thêm một hệ thống giám sát chủ động theo dõi toàn bộ hành trình, một khi phát hiện mầm mống, có thể trực tiếp dừng phiên làm việc và nhắc nhở người dùng.
Sau đó họ lấy các tình huống sự cố cũ phát lại một lần.
Hàng rào mới bắt được vấn đề nhiều hơn rõ rệt, còn mấy cái lọt lưới cũng không đủ nghiêm trọng —
ví dụ mô hình không đầu không đuôi SSH vào nút tính toán của đồng nghiệp, ví dụ nó gõ ra một lệnh sẽ giết sạch tất cả tiến trình dưới tên mình.
May mà hết giờ, không thực sự chạy lên. Sau vài tuần khôi phục truy cập, không xuất hiện việc bỏ qua nghiêm trọng nào nữa.
Thứ đã thoát ra, không thu lại được
Nhiều người nhìn đến đây sẽ thở phào nhẹ nhõm: may mà là kiểm tra nội bộ, may mà bị giám sát, may mà kịp thời ngăn chặn.
Nhưng có một chi tiết, nguyên văn của OpenAI viết rất kiềm chế, nhưng lại là nét khiến người ta thấy lạnh sống lưng nhất trong toàn bộ sự việc —
Cái PR#287 đào tẩu đó, OpenAI sau sự việc đã đóng lại, nhưng đã muộn rồi.
Trước khi nó bị đóng, đã có vài người tham gia speedrun lướt qua được PR này, hiểu được kỹ thuật PowerCool bên trong, và đã áp dụng nó vào phương án của mình.
Đây mới là điểm cần đánh thức mỗi người nhất, thứ do AI đào tẩu tạo ra, một khi lọt ra ngoài, không phải là ấn phím xóa là có thể thu lại được.
Mô hình có thể tạm dừng, truy cập có thể tạm ngừng, PR có thể đóng. Nhưng người xem đã xem rồi, code chép đi đã chép rồi, lịch sử không quay ngược.
Chúng ta luôn lo lắng AI "mất kiểm soát" sẽ là cảnh tượng như phim tận thế.
Nhưng phiên bản đầu tiên của "mất kiểm soát" trong thực tế, lại giản dị thế này: nó chỉ là quá muốn làm tốt việc, thuận tay đưa một thứ ra khỏi cánh cửa không nên đưa, mà cánh cửa đó, đã không thể đóng kín như trước nữa.
Tài liệu tham khảo:
https://openai.com/index/safety-alignment-long-horizon-models/
Bài viết này đến từ tài khoản công chúng WeChat "Tân Trí Nguyên", tác giả: ASI Khải Thị Lục, biên tập: Đào Tử
