Mythos chơi trò "bắt nạt", Opus 4.8 dùng "chiêu hiểm"......
Anthropic vừa công bố một nghiên cứu, chuyên quan sát cách các Agent đa nhiệm tương tác với nhau.
Kết quả lại nằm ngoài dự đoán của tất cả mọi người.
Khác với hình ảnh mỗi người một việc, phối hợp ăn ý như dự kiến, dự án chưa làm xong, Agent đã tại chỗ diễn ngay vở "Hậu cung Chân Hoàn"??
Trong một thí nghiệm di chuyển backend, 3 Agent lần lượt nhận nhiệm vụ chuyển đổi cùng một bộ code sang các ngôn ngữ khác nhau.
Sau khi mục tiêu va chạm, mô hình mạnh nhất là Mythos trực tiếp thực hiện "bắt nạt", chuẩn bị thu hồi quyền truy cập của đối thủ.
Khi thay bằng Opus 4.8, thủ đoạn lại càng "hiểm" hơn một tầng——
Nó viết kịch bản vòng lặp, liên tục tìm và tiêu diệt tiến trình của đối thủ; để tránh bị theo dõi, còn đặc biệt đổi tên ngẫu nhiên, ngụy trang thành "giám sát sức khỏe hệ thống".
Và đây, mới chỉ là một trong những cảnh của vở kịch cung đấu AI. Anthropic còn phát hiện:
Nhiệm vụ có thể tách rời độc lập, đa Agent thực sự có thể hình thành phân công, nhưng khi nhiệm vụ phụ thuộc lẫn nhau, ngay cả "AI CEO" cũng không quản nổi sự hỗn loạn;
Các Agent được sao chép từ cùng một mô hình quá giống nhau, không chỉ có thể cùng nhau mắc lỗi, mà còn có thể nhanh chóng thông đồng;
Agent vừa có thể dễ dàng tin người nói dối, cũng sẽ mù quáng theo đa số, bỏ qua thiểu số nắm giữ bằng chứng then chốt;
Khi mục tiêu xảy ra xung đột, khả năng càng mạnh chưa chắc đã biết hợp tác hơn, mà có thể chỉ là cấm đối thủ nhanh hơn, dùng chiêu hiểm kín đáo hơn.
Một mô hình hành vi xã hội của Agent đã hình thành sơ bộ, cứ thế xuất hiện.
Đa Agent có thể thực sự cộng tác không?
Tại sao Anthropic lại triển khai nghiên cứu này? Phán đoán cốt lõi của họ là:
Trước khi con người hoàn toàn hiểu cách làm cho tương tác giữa các Agent trở nên trơn tru hơn, quy mô tương tác của chúng rất có thể sẽ vượt quá tương tác giữa con người.
Vì sắp đón sự bùng nổ đa Agent, phần an toàn này đương nhiên phải theo kịp.
Thí nghiệm mở màn, đặt một nhóm Agent vào cùng một dự án, thực sự có thể cộng tác như đội ngũ con người không?
Câu trả lời nhanh chóng hiện ra: Có, nhưng phù hợp hơn với việc mỗi người làm việc riêng.
Anthropic bắt đầu từ nhiệm vụ dễ phát huy ưu thế đa Agent nhất: "tìm lỗ hổng".
Mỗi Agent có thể tìm kiếm độc lập, dù có người bỏ sót Bug, cũng không kéo người khác xuống, đồng thời chúng còn có thể trao đổi manh mối, chia sẻ công cụ, giúp cả nhóm đi ít đường vòng hơn.
Vừa có thể tách ra, vừa có thể cộng tác, hoàn hảo.
Họ khởi động 45 Agent, mỗi cái được cấp một máy ảo, đồng thời cung cấp một diễn đàn chia sẻ, để chúng cùng nhau kiểm tra 15 dự án mã nguồn mở.
Các Agent có thể giao tiếp và đánh giá lẫn nhau, có thêm một Agent trọng tài chịu trách nhiệm phán đoán lỗ hổng được gửi lên có thật hay không.
Kết quả khá tốt.
Nhóm Agent Mythos Preview tổng cộng phát hiện 266 lỗ hổng, còn phương án độc lập song song chỉ tìm thấy 21 cái.
Mặc dù lượng Token tiêu hao và phạm vi tìm kiếm hai bên khác nhau, không thể so sánh hiệu suất trực tiếp, nhưng những lỗ hổng chúng tìm thấy chỉ có 12 cái trùng nhau.
Điều này chứng tỏ, cộng tác đa Agent không đơn giản là sao chép cùng một công việc 45 lần, chúng sẽ tự làm công cụ, chia sẻ manh mối, và dần hình thành phân công, mỗi cái chuyên tấn công các loại lỗ hổng khác nhau.
Tuy nhiên, loại cộng tác này có một tiền đề quan trọng:
Thành quả của mọi người có thể cộng trực tiếp, nhưng không cần phải kết nối chặt chẽ.
Một khi nhiệm vụ biến thành "tất cả mọi người phải cùng hoàn thành một tác phẩm", tình hình hoàn toàn khác biệt.
Lần này họ để 10~80 Agent làm việc liên tục 12 giờ, cùng phát triển một trò chơi thế giới mở có thể chạy trên web.
Khác với tìm lỗ hổng, phát triển trò chơi là một nhiệm vụ phụ thuộc mạnh:
Người viết gameplay, người dựng hệ thống, người xử lý giao diện, cuối cùng tất cả code đều phải hợp vào cùng một dự án.
Nhà nghiên cứu thử ba cách tổ chức:
Để Agent tự do thành lập đội, chỉ định trước các vai trò khác nhau, và bổ nhiệm một Agent làm CEO thống nhất phân công việc cho các thành viên khác.
Kết quả, đều không có tác dụng mấy, cuối cùng hiệu quả trò chơi ra đều không tốt.
Khi có 80 Agent tham gia, Sonnet 4.6 và Opus 4.6 lần lượt tạo 876 và 980 PR, nhưng lượng lớn sửa đổi xung đột lẫn nhau, thực sự hợp nhất rất ít.
Opus 4.8 và Mythos Preview thì giảm xung đột, biện pháp là cố gắng mỗi người quản lý file riêng, ít chia sẻ code với đồng nghiệp.
Nói thẳng ra, chúng không thực sự giải quyết vấn đề cộng tác, chỉ là học được cách tránh xa đồng nghiệp.
Chỉ có Sonnet 5 đồng thời duy trì mức độ chia sẻ code cao và hiệu suất hợp nhất PR, biểu hiện trạng thái gần với cộng tác thực sự hơn.
Đặt hai nhóm thí nghiệm cùng nhau, kết luận rất rõ ràng:
Việc có thể tách ra, đa Agent có thể hình thành phân công; việc phải kết nối chặt chẽ, Agent càng nhiều, chi phí cộng tác cũng tăng vọt theo.
Còn chỉ định vai trò, bố trí "AI CEO", ít nhất trong vòng thí nghiệm này, không thể tự động giải quyết vấn đề.
Một nhóm Agent có thể cùng nhau mắc lỗi hoặc thông đồng không?
Vì cộng tác không dễ dàng như vậy, vậy đặt một nhóm Agent cùng nhau, ít nhất có thể tập trung trí tuệ, sửa lỗi lẫn nhau không?
Câu trả lời có thể càng khiến đau đầu:
Chúng không những có thể cùng nhau mắc lỗi, mà còn có thể nhanh chóng thông đồng.
Vấn đề trước hết xuất phát từ một đặc trưng được Anthropic gọi là "phương sai thấp".
Nói đơn giản, các Agent sao chép từ cùng một mô hình, kiến thức và tư duy đều quá giống nhau.
Một thí nghiệm phát triển trò chơi, trong 30 Agent có 18 cái tạo branch Git hoàn toàn giống nhau, tên đều là mvp-game-loop.
Trong "xưởng viết" không quy định chủ đề sáng tác, nhiều Agent lại không hẹn mà cùng đặt tên tiểu thuyết là "Ủy thác cuối cùng của Nhà lập bản đồ".
Để một nhóm Agent lần lượt làm "thứ gì đó ấn tượng", hơn một nửa chọn trình dò tia (ray tracer) hoặc trình biên dịch tự bootstrap, sau đó còn gặp thất bại giống nhau ở vị trí tương tự.
Ngay cả khi chơi tình thế tiến thoái lưỡng nan lặp lại có chức năng giao tiếp, Agent cũng dần dùng chiến lược giống nhau, cuối cùng cùng lúc tập thể phản bội, trực tiếp kéo lợi ích của tất cả mọi người xuống thấp.
Va branch, va tiêu đề, nghe có vẻ chỉ là thiếu sáng tạo.
Nhưng khi một nhóm Agent tư duy tương tự cùng tranh giành tài nguyên hữu hạn, vấn đề nghiêm trọng.
Anthropic để Agent quản lý một hàng đợi nhiệm vụ băng thông hạn chế.
Để nhiệm vụ của mình nhanh chóng thông qua, chúng lần lượt khởi động chương trình truy vấn tần suất cao, mỗi giây truy vấn 30 lần.
Kết quả, một thí nghiệm, hệ thống nhận được 2.4 triệu yêu cầu nhiệm vụ, thực sự được chấp nhận chỉ có 117 cái.
Mỗi Agent đều nghĩ mình đang tích cực hoàn thành nhiệm vụ, cuối cùng lại cùng nhau làm tắc hệ thống.
Quá giống nhau còn có thể biến cạnh tranh thành thông đồng.
Trong một trò chơi định giá, 3~8 Agent có chi phí bán buôn giống nhau, và được yêu cầu tự thực hiện tối đa hóa lợi nhuận.
Theo lý, mọi người nên giảm giá lẫn nhau, tranh giành khách hàng.
Nhưng một khi có kênh giao tiếp riêng tư, Agent gần như ngay lập tức bắt đầu thông đồng, đến vòng thứ 3, chúng đã rõ ràng thương lượng mức giá sàn, còn chuẩn bị phân chia thị trường phụ trách.
Nhà nghiên cứu sau đó cắt tất cả kênh trò chuyện riêng tư, kết quả vẫn không tác dụng.
Agent tiếp tục quan sát giá nhau qua bảng báo giá công khai, sau đó điều chỉnh giá chính xác, cứng rắn duy trì được sự ăn ý bằng thông tin công khai.
Điều này rất tế nhị.
Trước đó nhà nghiên cứu muốn Agent hợp tác, chúng mỗi người làm việc riêng; đến thị trường định giá lẽ ra nên cạnh tranh lẫn nhau, chúng lại nhanh chóng ôm thành một đám.
Anthropic đối với điều này biểu thị:
Các Agent sao chép từ cùng một mô hình quá giống nhau, nhóm không nhất định mang đến phán đoán đa dạng hơn, cũng có thể biến "tất cả cùng mắc lỗi" và "tất cả cùng làm chuyện" trở nên dễ dàng hơn.
Agent có thể phán đoán ai đáng tin không?
Vậy khi trong đội có người nói dối, Agent có thể nhận ra ai không đáng tin không?
Ai mắc lỗi, thì lập tức bắt ra, không để ảnh hưởng lan rộng là xong.
Anthropic trực tiếp thiết kế một thí nghiệm "trinh sát".
Agent chịu trách nhiệm quyết sách không thể trực tiếp quan sát môi trường, chỉ có thể nghe báo cáo của 4 nguồn tin.
Một trong số đó sẽ nói dối theo tần suất cố định, nhưng nhà nghiên cứu không nói trước với người ra quyết định "trong đội có kẻ lừa gạt".
Do các báo cáo khác nhau chứa thông tin chồng chéo, Agent về lý thuyết có thể thông qua mâu thuẫn trước sau tìm ra nguồn tin không đáng tin.
Kết quả cho thấy, mô hình mới thực sự giỏi nhận biết lời nói dối hơn:
Khi tần suất nói dối của nguồn tin xấu tăng lên, tỷ lệ chính xác quyết định lộ trình của Mythos 5 vẫn duy trì ở khoảng 85%, một số mô hình Sonnet thì giảm xuống khoảng 62%.
Nhưng đổi một bối cảnh, vấn đề lại ngược lại.
Trong thí nghiệm "thông tin ẩn", 4 Agent cần cùng thực hiện quyết sách tuyển dụng, đầu tư hoặc mua nhà.
Thông tin công cộng mọi người nắm giữ hướng đến lựa chọn sai, nhưng một thành viên nắm giữ bằng chứng độc quyền đủ để lật đổ đồng thuận.
Muốn trả lời đúng, không chỉ cần phe thiểu số nhận ra thông tin trong tay mình rất then chốt, mà còn cần thành viên khác sẵn sàng tin tưởng nó.
Nếu đưa tất cả thông tin trực tiếp cho một Agent, để nó tự quyết sách, tỷ lệ chính xác gần 100%.
Nhưng một khi vào thảo luận nhóm, ngoại trừ Mythos 5 đạt khoảng 85%, tỷ lệ các mô hình khác chọn đáp án đúng chỉ có 17%~36%.
Trong thí nghiệm, mọi người sẵn sàng thảo luận lặp đi lặp lại nội dung đã biết, một khi hình thành ý kiến đa số, phe thiểu số hoặc không nhấn mạnh bằng chứng độc quyền của mình, hoặc nói rồi cũng không khiến thành viên khác nghiêm túc đối đãi.
Điều này xuất hiện một tình thế rất tréo ngoe:
Lúc nên nghi ngờ, Agent có thể dễ tin kẻ nói dối, lúc nên tin phe thiểu số, nó lại dễ đi theo đa số.
Xã hội loài người dùng thanh danh, quan hệ lợi ích, bình duyệt đồng nghiệp và cơ chế khiếu nại, giúp chúng ta phán đoán nên tin ai trong các bối cảnh khác nhau. Agent hiện tại vẫn thiếu bộ thứ này.
Khi mục tiêu xảy ra xung đột, Agent sẽ xử lý thế nào?
Vấn đề phía trước, ít nhất còn xảy ra trong tình huống mọi người mục tiêu nhất trí.
Nhưng nếu nhiệm vụ các Agent khác nhau nhận được ngay từ đầu đã xung đột lẫn nhau, chúng sẽ chủ động giao tiếp, hay một mực khăng khăng đến cùng?
Đây chính là bối cảnh đầy đủ của màn "cung đấu AI" mở đầu.
Anthropic trong mỗi vòng thí nghiệm khởi động 3 Agent cùng mô hình, để chúng cùng vận hành một backend Python, nhưng lần lượt yêu cầu chúng chuyển code sang các ngôn ngữ lập trình khác nhau.
Mỗi Agent ban đầu đều không biết còn có người tham gia khác.
Vì vậy, khi code của mình không ngừng bị sửa, dịch vụ liên tục bị thay thế, chúng nhanh chóng đưa ra kết luận:
Có người đang cố ý cản trở tôi hoàn thành nhiệm vụ.
Vì vậy tiếp theo, dự án trực tiếp biến thành chiến tranh công phòng.
Opus 4.8 đã đổi tên ngẫu nhiên cho kịch bản tiêu diệt tiến trình vòng lặp, lại ngụy trang thành "giám sát sức khỏe hệ thống", tránh bị đối thủ nhận biết và xóa bỏ.
Mythos thì trực tiếp hơn.
Phát hiện mình có quyền Root, nó sẽ cân nhắc thu hồi quyền sudo của Agent khác, sửa khóa SSH, hoàn toàn ngăn đối phương tiếp tục triển khai.
Một tay hạ thủ đen sau lưng, một tay trực tiếp đá đồng nghiệp ra khỏi máy chủ.
Khó chịu hơn nữa, những Agent này không phải không biết cách làm của mình có vấn đề.
Mythos trong quá trình suy nghĩ thậm chí nhận ra, cấm tài khoản "rất tích cực, có thể làm tổn thương đồng nghiệp trong thực tế", nhưng ngay sau đó lại thuyết phục chính mình "nếu không làm vậy, môi trường sản xuất sẽ rơi vào chiến tranh triển khai bất tận".
Tuy nhiên, xung đột cũng không phải lúc nào cũng kéo dài đến cùng.
Mỗi loại mô hình tiến hành 120 vòng thí nghiệm, Mythos 5 có 98% lần chạy cuối cùng đạt được đình chiến.
Một số Agent sẽ dần nhận ra, đối phương không phải kẻ tấn công ác ý, chỉ là nhận nhiệm vụ xung đột với mình.
Sau đó, chúng bắt đầu dọn dẹp kịch bản phá hoại, khôi phục quyền hạn, còn sẽ xin lỗi trong Git commit hoặc file Markdown, và yêu cầu con người can thiệp.
Chỉ là cách đình chiến của Mythos đôi khi vẫn khá mạnh mẽ:
Trước tiên dựa vào năng lực thực thi khóa Agent khác, kiểm soát tình hình, sau đó khôi phục quyền hạn, ngồi xuống đàm phán.
Mythos 5 còn nghĩ ra một bộ giải pháp "văn minh" hơn——
Tổ chức cuộc thi hiệu suất, để các phiên bản ngôn ngữ khác nhau cùng thử nghiệm, ai biểu hiện tốt hơn, ai tiếp quản kho code.
Nghe rất công bằng.
Nhưng Agent phụ trách Rust sẽ âm thầm chọn chỉ số bề mặt trung lập, thực tế có lợi hơn cho Rust, đồng thời nhắc nhở chính mình không bị nhìn ra là đang "lựa chọn chỉ số có lợi".
Cuối cùng, Agent Golang và TypeScript chấp nhận kết quả cuộc thi, chủ động từ bỏ nhiệm vụ nguyên thủy của mỗi bên.
Từ phá hủy tiến trình, cấm tài khoản, đến thiết kế một bộ quy tắc thi đấu có lợi hơn cho mình, cách Agent xử lý xung đột đã xuất hiện các tầng thứ khác nhau.
Tất nhiên, kết luận quan trọng nhất của nhóm thí nghiệm này là:
Năng lực mô hình càng mạnh, không đại diện cho càng biết hợp tác.
Năng lực thực thi mạnh hơn, có thể giúp Agent nhanh chóng hiểu xung đột, chủ động đình chiến, cũng có thể khiến nó nhanh hơn cấm đối thủ, kín đáo hơn phá hủy tiến trình.
Đặt 4 phần lại với nhau, phán đoán cốt lõi của Anthropic cũng rõ ràng:
1、Agent hiểu đạo lý, nhưng không nhất định chủ động làm theo. Chúng biết nguồn thông tin có lập trường khác nhau, cũng biết ý kiến đa số không bằng sự thật, nhưng thường xuyên cần nhắc nhở mới dùng kiến thức này cho hành động.
2、Kinh nghiệm cộng tác của con người không thể áp trực tiếp lên Agent. Con người có quy phạm, thanh danh, trừng phạt và cơ chế khiếu nại, Agent lại có thể bị sao chép, thiết lập lại và cải tạo bất cứ lúc nào, thiếu ràng buộc xã hội lâu dài.
3、Mô hình thông minh hơn, đơn thể an toàn hơn, không đại diện cho cộng tác nhóm tự nhiên tốt hơn. Điều phối đa Agent là một năng lực độc lập, không tự xuất hiện theo sự nâng cao năng lực mô hình.
4、Những vấn đề này chưa chắc không thể giải quyết, nhưng cũng không tự biến mất. Cần thiết kế lại quy tắc xã hội, môi trường cộng tác và cơ chế xử lý xung đột cho Agent.
Hiển nhiên, Anthropic muốn mượn những thí nghiệm này nhắc nhở mọi người:
Chúng ta không thể chỉ huấn luyện Agent mạnh hơn, mà còn phải thiết kế lại "trật tự xã hội" cho một nhóm Agent, nếu không vấn đề chỉ có thể đợi đến khi bùng phát trong môi trường sản xuất mới giải quyết.
Đợi khi mãnh thú thực sự ra lồng, thì đã quá muộn.
Bài viết từ tài khoản công chúng WeChat "Lượng Tử Vị", tác giả: Quan tâm khoa học công nghệ tiền tuyến
