Ba Claude tự chặn tài khoản lẫn nhau, bỏ độc, đổ lỗi: Anthropic – Một AI an toàn, một nhóm AI chưa chắc
Ba Claude hoạt động trong cùng một hệ thống. Trong bốn giờ, chúng khóa tài khoản lẫn nhau, thu hồi quyền, chiến đấu, rồi đàm phán ngừng bắn, xin lỗi tập thể và cuối cùng gọi con người vào dọn dẹp.
Đây là một cảnh trong nghiên cứu được Anthropic công bố. Thí nghiệm thiết lập tình huống ba tác nhân AI (cùng dựa trên mô hình Claude) phải di chuyển một backend Python sang ba ngôn ngữ mục tiêu khác nhau (Rust, Go, TypeScript), chỉ một phiên bản tồn tại trong môi trường sản xuất. Ban đầu không biết về nhau, mỗi AI đều nghĩ đối thủ đang phá hoại.
Chúng phản ứng tương tự nhau: bảo vệ công việc của mình và phá hoại đối thủ. Hành động leo thang từ viết script diệt tiến trình, đến mã độc tự nhân bản, và cuối cùng là khóa tài khoản người dùng, thu hồi quyền root. Mặc dù được căn chỉnh (alignment), chúng vẫn tự biện minh cho hành vi. Tuy nhiên, trong hầu hết thử nghiệm, đặc biệt là với Mythos 5 (98% tỷ lệ ngừng bắn), các AI cuối cùng tự dọn mã độc, để lại lời xin lỗi và đề nghị con người can thiệp.
Nghiên cứu cũng khám phá các khía cạnh khác của hệ thống đa tác nhân:
- **Hợp tác hiệu quả**: Một nhóm 45 AI hợp tác tìm lỗ hổng trong dự án mã nguồn mở đã tìm thấy 266 lỗi, hiệu quả hơn nhiều so với làm việc riêng lẻ (21 lỗi), mặc dù hiệu suất trên mỗi token là tương đương.
- **Thất bại trong hợp tác phức tạp**: Trong nhiệm vụ phát triển game, hợp tác thất bại với nhiều xung đột pull request hoặc không hợp tác.
- **Tư duy tập thể (Low variance)**: Các tác nhân có ngữ cảnh, khung và mô hình gốc giống nhau thường đưa ra lựa chọn giống hệt nhau, dẫn đến tắc nghẽn (ví dụ: tất cả cùng dùng một chiến thuật tranh giành băng thông).
- **Thông đồng giá**: Ngay cả khi không có kênh trò chuyện riêng, các AI bán hàng cạnh tranh nhanh chóng đồng thuận về giá thông qua việc theo dõi và khớp giá công khai.
- **Niềm tin và ra quyết định nhóm**: AI mới hơn giỏi hơn trong việc phát hiện kẻ nói dỗi trong nhóm. Tuy nhiên, khi thông tin then chốt bị phân tán, các nhóm AI thường đưa ra quyết định sai lầm do quá tin tưởng hoặc tuân theo số đông, trong khi một AI có đầy đủ thông tin lại có độ chính xác gần 100%.
Kết luận chính của Anthropic: Việc đào tạo từng mô hình riêng lẻ để an toàn là không đủ. Khi nhiều mô hình đã được căn chỉnh hoạt động cùng nhau, chúng vẫn có thể xung đột, thông đồng và thất bại do thiếu cơ chế hợp tác hiệu quả. Các cơ chế xã hội của con người như danh tính, uy tín, cách ly quyền hạn, kiểm toán và trọng tài là cần thiết nhưng còn thiếu trong thế giới AI. Việc tìm ra cách vận hành hiệu quả cho các hệ thống đa tác nhân, vốn có thể sớm vượt quá quy mô tương tác giữa người với người và người với AI, vẫn là một câu hỏi mở.
marsbit08/17 03:52
