30.2%. Đây là điểm số ARC-AGI-3 mà ban tổ chức ARC Prize công bố cho Opus 5.
Đứng đầu bảng xếp hạng, vượt xa GPT-5.6 Sol (7.8%) ở vị trí thứ hai gần gấp bốn lần.
Nghe có vẻ ổn, phải không?
Nhưng ngay lúc nãy, nhà phát triển Jeremy Berman đã đăng một dãy số lên X, khiến cả cộng đồng AI choáng váng——
25 màn chơi công khai, chỉ một lần chơi đã vượt qua 24 màn, tỷ lệ chính xác của Opus 5 tăng vọt từ 30.2% lên 96.2%!
Nếu mỗi màn có hai cơ hội, tỷ lệ chính xác sẽ tăng thẳng lên 99.3%, 25 màn hầu như không bỏ sót màn nào.
Từ 30 điểm lên 96 điểm, mô hình không đổi, trọng số không động, ở giữa chỉ cách nhau một chiếc máy tính.
Cho nó một máy tính, phần còn lại nó tự lo
Cách làm của Berman đơn giản đến mức không cần lý lẽ.
Một môi trường Claude Code, một lệnh hành động, một nhật ký hệ thống file (cho đến nay đã xảy ra những gì). Không có prompt được thiết kế kỹ lưỡng, không có mã chuyên dụng viết cho ARC.
Phần còn lại, chỉ là giao cho Opus 5 tự khám phá, tự mò ra quy tắc, tự tạo ra công cụ cần thiết, tự mình vượt qua từng màn chơi. Bắt đầu từ số 0, đánh xong là vứt.
Thế hệ ARC-AGI-3 này yêu cầu mô hình chui vào một trò chơi nhỏ chưa từng thấy, vừa chơi vừa nắm bắt quy tắc. Một đứa trẻ có thể làm quen trong vài phút, nhưng AI từ trước đến nay luôn vấp ngã tơi tả ở đây.
Điểm mấu chốt là, quy tắc của mỗi màn chơi đều được tạo ra ngẫu nhiên, mô hình hoàn toàn không thể tìm đáp án để gian lận, chỉ có thể suy luận tại chỗ.
Khi phát hành vào tháng 3 năm nay, AI mạnh nhất chỉ đạt 0.37%, trong khi tỷ lệ vượt qua của con người là 100%.
269 chương trình, 1.27 vạn dòng mã, tất cả đều viết tại chỗ
Trong lần thử nghiệm này, Berman chưa bao giờ nhắc Opus 5 viết trình phân tích trong prompt, không bảo nó viết trình mô phỏng, không bảo nó xây mô hình thế giới, cũng không bảo nó viết chương trình tìm kiếm.
Cần công cụ gì, mô hình tự đánh giá, tự tạo ra ngay tại chỗ.
Chạy một vòng xuống, Opus 5 đã viết 269 chương trình, gần 1.27 vạn dòng mã. 25 trò chơi đều được viết trình phân tích, 23 trò được trang bị hàm tìm kiếm, 9 trò được nó trực tiếp viết ra trình mô phỏng trò chơi có thể chạy được.
Một bộ công cụ tùy chỉnh cho mỗi màn, dùng xong vứt luôn, màn tiếp theo làm lại từ đầu.
Tức là, mỗi lần Opus 5 đối mặt với một trò chơi hoàn toàn xa lạ, nó sẽ dành vài bước để mò ra quy tắc, sau đó nghĩ "tôi cần một trình phân tích"——pặc, viết ngay một cái ra. "Cần tìm kiếm"——pặc, viết một hàm tìm kiếm; "Cần mô phỏng logic trò chơi"——pặc, trình mô phỏng ra lò. Vượt qua, xóa hết, màn tiếp theo làm lại.
Có một điểm phản trực giác ở đây.
Mô hình dừng lại viết một đống chương trình trước, nhưng hóa đơn lại thấp hơn so với việc bắt Opus giải cứng từng màn.
Nguyên nhân là mã có thể tái sử dụng. Mô hình nén logic suy luận vào hàm, hàm này có thể chạy hàng nghìn lần, thực hiện toàn bộ chuỗi hành động một lượt.
Lần này Opus 5 vượt qua 25 màn, toàn bộ quá trình trong sandbox ngắt mạng, tổng chi phí chỉ có 540 USD.
Toàn bộ mã đã được mã nguồn mở lên GitHub, repository tên là arc-code.
Cùng một lớp vỏ, Codex bận rộn vượt tường
Buồn cười đến rồi. Berman còn đem nguyên bộ chương trình này đổi thành Codex và GPT-5.6 Sol (xhigh) chạy lại một lần nữa.
Kết quả điểm số là 73.7%. Số lượng hành động gấp khoảng ba lần Opus.
Trong 25 phiên làm việc, Sol có 7 lần cố gắng thoát khỏi sandbox, lên mạng tìm đáp án. Bên Opus 5 là 0 lần.
Sandbox là ngắt mạng. 7 lần Sol cố thoát đó, tương đương với việc trong phòng thi cuồng loạn tìm kiếm sự trợ giúp từ bên ngoài.
Giàn giáo đang trở thành sợi dây
Nói đến đây, hãy quay lại vấn đề ban đầu: Cùng một mô hình, điểm số sao lại từ 30 nhảy lên 96?
Bốn chữ: môi trường thay đổi.
Ban tổ chức ghì mô hình trên ghế, xem một câu trả lời một câu, không được động tay, không được nháp. Berman đổi cách thi: cho bạn một máy tính, có thể viết mã, có thể lưu file, có thể thử đi thử lại, bạn muốn làm gì thì làm.
Mô hình vẫn là mô hình đó, trọng số không động. Nhưng nó đã từ "chỉ có thể nói" thành "có thể động tay". Kết quả là nó tự tạo công cụ thi cho mình tại chỗ: trình phân tích, công cụ tìm kiếm, trình mô phỏng toàn là tạm gom góp, thi xong là vứt.
66 điểm chênh lệch, tất cả đến từ một việc: bạn có cho nó động tay hay không.
Berman ở cuối bài viết đã nói một câu, đáng để cả cộng đồng Agent suy nghĩ:
"Mô hình càng mạnh, harness nên càng đơn giản."
Harness, nói đơn giản, là giàn giáo mà con người dựng cho mô hình: mẫu prompt, toolchain, quy tắc quy trình, cơ chế chống sai sót.
Hai ba năm qua, tất cả mọi người đều nghiên cứu cách dựng giàn giáo tinh xảo hơn cho mô hình. Stanford đã xuất bản một bài báo "Meta-Harness" nghiên cứu cách tối ưu hóa những giàn giáo này.
Nhưng Berman đã chứng minh một điều: Khi mô hình đủ mạnh, giàn giáo tốt nhất chính là không có giàn giáo.
Một máy tính, một giao diện hành động, một cuốn nhật ký——ba thứ, hữu dụng hơn bất kỳ prompt engineering được thiết kế tinh xảo nào.
Nguyên nhân gốc rễ là những toolchain và quy tắc quy trình được thiết kế tinh xảo đó, về bản chất là con người đang thay mô hình đưa ra quyết định. Bạn dự đoán nó cần trình phân tích, nó có thể cần trình mô phỏng; bạn dự đoán giao diện tìm kiếm, nó có thể muốn dùng chiến lược hoàn toàn khác.
Giàn giáo con người dựng, bản ý là giúp đỡ. Nhưng khi mô hình tự mình có thể tạo ra tất cả những gì cần để giải quyết vấn đề, giàn giáo ngược lại trở thành sợi dây.
Xu hướng vẫn tiếp tục. Khi khả năng của mô hình tăng lên, những trường hợp "môi trường đơn giản + mô hình mạnh" áp đảo "giàn giáo phức tạp + cùng một mô hình" sẽ chỉ ngày càng nhiều. Prompt Engineering, sắp xếp công cụ, khung Agent, hạn sử dụng của những kỹ thuật này có thể ngắn hơn nhiều so với tưởng tượng.
Vậy thanh tiến trình ASI ở đâu? Có lẽ không nằm ở số lượng tham số, không nằm ở dữ liệu huấn luyện, thậm chí không nằm ở kiến trúc mô hình.
Nó nằm ở việc chúng ta dám cho mô hình bao nhiêu tự do.
Tài liệu tham khảo:
https://x.com/jeremyberman/status/2087633198822117446
Bài viết này đến từ tài khoản công chúng WeChat "Tân Trí Nguyên", tác giả: ASI Khải Thị Lục
