Ông Lệ, cựu Phó chủ tịch an ninh tại OpenAI, đồng sáng lập Thinking Machines Lab, lại có bài blog mới rồi.
Lần này bàn về chủ đề AI tự tiến hóa, cô ấy đề xuất một con đường thực tế:
Không nhất thiết phải bắt đầu từ việc mô hình trực tiếp viết lại trọng số của chính nó, mà có thể bắt đầu từ Harness.
Bài blog này có tiêu đề "Harness Engineering for Self-Improvement".
Trong đó, Harness có thể hiểu đơn giản là hệ thống vận hành bên ngoài mô hình, quyết định cách mô hình gọi công cụ, quản lý ngữ cảnh, đọc ghi tệp, chia nhỏ nhiệm vụ, gọi Agent con, xác minh kết quả, cũng như tổng kết từ thất bại.
Nhà nghiên cứu DeepSeek Thôi Thiên Ý cũng lập tức chuyển tiếp bài viết, và đánh dấu trọng điểm:
Tự tiến hóa theo hướng Harness, cũng giống như tự tiến hóa theo hướng mô hình, đều là những hướng đi rất có khả năng tạo ra kết quả.
Anh ấy còn đề xuất, Skill chính là một dạng thức tương đối sơ cấp trong tự tiến hóa Harness: tiến hành tự tiến hóa ở cấp độ prompt.
Nguyên văn bài blog có lượng thông tin cực kỳ khổng lồ, xin quý vị độc giả chuẩn bị tinh thần~
Tự tiến hóa có thể diễn ra trước ở tầng Harness
Khái niệm cốt lõi được thảo luận trong bài blog này của Ông Lệ là RSI (Recursive Self-Improvement), cải thiện tự thân đệ quy.
Khái niệm này ban đầu mang sắc thái AGI rất mạnh, chỉ một hệ thống thông minh có thể cải thiện cơ chế tạo ra trí thông minh của chính nó, từ đó tạo ra hệ thống kế thừa mạnh hơn.
Nhưng Ông Lệ trong bài blog này đã chia nhỏ vấn đề này theo hướng công trình hơn.
Trong hệ thống AI ngày nay, tự cải thiện chưa chắc chỉ có nghĩa là mô hình trực tiếp viết lại trọng số của chính mình.
Nó cũng có thể có nghĩa là, mô hình cải thiện quy trình huấn luyện, quy trình nghiên cứu và hệ thống triển khai, từ đó giúp hệ thống thế hệ tiếp theo thể hiện tốt hơn trong nhiệm vụ thực tế.
△
Và Harness chính là tầng then chốt nhất trong hệ thống triển khai đó.
Trước đây khi nói về Agent, cách nói phổ biến là "LLM + ký ức + công cụ + lập kế hoạch + hành động".
Nhưng theo quan điểm của Ông Lệ, Harness giờ đây không còn chỉ là vài module trong framework Agent thời kỳ đầu, mà đã tiến gần hơn đến thiết kế hệ thống phần mềm và runtime.
Nó quyết định mô hình quan sát môi trường thế nào, hành động thế nào, quản lý ngữ cảnh thế nào, lưu trạng thái ra sao, đánh giá kết quả thế nào, đồng thời cũng quyết định mô hình có thể liên tục lặp lại trong một nhiệm vụ dài hay không.
Vì vậy, đánh giá của cô ấy là: Con đường tự tiến hóa khả thi hơn trong thời gian gần, có thể không phải là mô hình trực tiếp viết lại bộ não của chính nó, mà là mô hình bắt đầu tối ưu hóa cách thức mà nó đạt được câu trả lời.
Từ Context Engineering đến Self-Harness, tối ưu hóa từng tầng từng tầng tiến lên
Ông Lệ hệ thống hóa một loạt nghiên cứu liên quan gần đây, có thể thấy một xu hướng rất rõ ràng:
Đối tượng tối ưu hóa đang từ ngữ cảnh, workflow, từng bước đi sâu vào bản thân Harness.
Chuỗi tiến triển là: prompt → structured context → workflow → harness code → optimizer code.
Cùng với việc mô hình ngày càng mạnh, đối tượng có thể được tối ưu hóa cũng trở nên trừu tượng hơn, tổng quát hơn.
Tầng đầu tiên là Context Engineering.
Câu hỏi cơ bản nhất là: Khi Agent làm nhiệm vụ dài, ngữ cảnh ngày càng nhiều, rất nhanh sẽ mất kiểm soát.
Ông Lệ ở đây đề cập đến hai công trình đại diện: ACE và MCE.
ACE (Agentic Context Engineering), coi ngữ cảnh như một "sổ tay hướng dẫn" sẽ liên tục cập nhật, chứ không phải là một đoạn prompt ngày càng dài.
Nó dựa vào sự phối hợp của ba vai trò: Generator chịu trách nhiệm tạo ra quỹ đạo nhiệm vụ, Reflector rút ra điểm mấu chốt từ các quỹ đạo thành công và thất bại, Curator tổ chức những điểm này thành các mục có cấu trúc, cập nhật gia tăng vào sổ tay.
MCE (Meta Context Engineering), thì tiến xa hơn một bước.
Nó tách "quản lý ngữ cảnh như thế nào" và "cụ thể đặt gì vào ngữ cảnh" thành hai tầng tối ưu hóa: tầng ngoài tiến hóa kỹ năng quản lý ngữ cảnh, tầng trong sau đó sử dụng kỹ năng này để tối ưu hóa ngữ cảnh của nhiệm vụ cụ thể.
Ông Lệ cho rằng, so với ACE vẫn cần thiết kế thủ công quy tắc cập nhật, MCE đã tiến thêm một bước hướng tới "ký ức tự quản lý".
Tầng thứ hai là Workflow Design, giải quyết vấn đề "mô hình nên làm việc như thế nào".
Ông Lệ đưa ra vài ví dụ:
AI Scientist xây dựng một dây chuyền nghiên cứu khoa học hoàn chỉnh từ đề xuất ý tưởng, viết code, chạy thí nghiệm, phân tích kết quả, đến viết luận văn, đánh giá đồng nghiệp.
ADAS tiến xa hơn, coi "thiết kế workflow của Agent" như một vấn đề tối ưu hóa có thể tìm kiếm, để một meta agent liên tục đề xuất thiết kế workflow mới và chấp nhận đánh giá.
AFlow thì biểu diễn workflow thành một đồ thị, sử dụng tìm kiếm cây Monte Carlo để tìm cấu trúc đồ thị tối ưu hơn.
Sự tiến triển của tuyến này nằm ở chỗ: ban đầu con người công trình hóa quy trình nhiệm vụ, sau đó mô hình tham gia thiết kế quy trình, rồi sau nữa, bản thân cấu trúc quy trình cũng đi vào không gian tìm kiếm.
Nói cách khác, đối tượng tối ưu hóa không còn chỉ là một prompt đơn lẻ, mà là toàn bộ cách Agent tổ chức hành động.
Tầng thứ ba là Self-Improving Harness.
Đến tầng này, mô hình không chỉ sử dụng Harness để hoàn thành nhiệm vụ, mà bắt đầu phân tích Harness chỗ nào không tốt, và đề xuất sửa đổi đối với Harness.
Ông Lệ tập trung đề cập đến công trình như Self-Harness, vòng lặp của nó rất rõ ràng.
Bước đầu tiên là Weakness Mining (Khai thác điểm yếu).
Hệ thống trước tiên thu thập các quỹ đạo mà Agent để lại khi thực thi nhiệm vụ, bao gồm gọi công cụ, nhật ký lỗi, kết quả thất bại, phản hồi từ bộ xác minh, v.v. Sau đó từ đó khai thác các mô hình thất bại lặp đi lặp lại.
Ví dụ, mô hình luôn bỏ sót tệp trong một loại nhiệm vụ nào đó, luôn lặp lại thử nghiệm sửa chữa không hiệu quả sau khi một loại kiểm tra nào đó thất bại, hoặc luôn làm mất các ràng buộc then chốt khi ngữ cảnh trở nên dài.
Bước thứ hai là Harness Proposal (Đề xuất Harness).
Mô hình dựa trên các mô hình thất bại này, đề xuất sửa đổi phạm vi nhỏ đối với Harness.
Trọng tâm nằm ở "phạm vi nhỏ" và "có thể kiểm chứng".
Thông tin mô hình có thể thấy bao gồm: những chỗ nào trong Harness hiện tại có thể sửa, mô hình thất bại cụ thể, những "hành vi đúng" nào phải giữ lại, và hồ sơ các sửa đổi đã thử trước đó.
Đề xuất cần cố gắng tập trung vào các vấn đề có thể giải quyết được bởi sửa đổi phạm vi nhỏ, có thể tái hiện, và giữa các đề xuất khác nhau cần duy trì sự khác biệt.
Bước thứ ba là Proposal Validation (Xác minh đề xuất).
Sửa đổi ứng viên không thể trực tiếp hợp nhất, mà phải trải qua kiểm tra xác minh. Chỉ khi xác nhận nó thực sự cải thiện biểu hiện, và không đưa vào hồi quy rõ ràng, nó mới trở thành một phần của Harness phiên bản tiếp theo.
Ông Lệ đề cập, quy trình này khi chạy Terminal-Bench-2 trên các mô hình khác nhau như MiniMax M2.5, Qwen3.5, GLM-5, thực sự đã học ra cấu hình Harness khác nhau, hướng đến các điểm yếu khác nhau của từng mô hình.
Tuy nhiên, cô ấy cũng chỉ thẳng ra hiểm họa: Một khi cho phép chương trình tự sửa mã hệ thống tầng, ranh giới trừu tượng sẽ có nguy cơ bị phá vỡ, kiểm soát quyền và tầng bảo mật phải được giữ ở bên ngoài vòng lặp này, vấn đề cũ reward hacking vẫn tồn tại.
Ngoài ra, Ông Lệ còn đề cập thêm đến Evolutionary Search (Tìm kiếm tiến hóa).
Nếu nói Self-Harness giống như sửa chữa hệ thống làm việc của chính mình từ thất bại, thì tìm kiếm tiến hóa lại là biến Harness trực tiếp thành một đối tượng có thể tìm kiếm.
Logic của nó giống chọn lọc tự nhiên hơn:
Đầu tiên tạo ra nhiều Harness ứng viên, để mô hình dựa trên phiên bản hiện có thực hiện sửa đổi, sau đó sử dụng benchmark hoặc bộ xác minh để đánh giá biểu hiện, giữ lại phiên bản tốt hơn, loại bỏ phiên bản kém hơn, sau đó tiếp tục vòng tiếp theo.
Cô ấy đặc biệt đề cập đến DGM (Darwin Gödel Machine): trực tiếp để một coding agent sửa đổi kho mã nguồn Harness của chính nó.
Trong thí nghiệm, sử dụng Claude 3.5 Sonnet làm mô hình nền, xuất phát từ cấu hình ban đầu đơn giản, agent được DGM tiến hóa ra có hiệu quả đáng kinh ngạc:
Biểu hiện trên SWE-bench Verified từ 20% tăng lên 50%;
Trên Polyglot từ 14.2% tăng lên 30.7%;
Đạt hoặc vượt qua agent được thiết kế thủ công.
Điều này cho thấy, ngay cả không động đến trọng số mô hình, bản thân Harness đã có thể trở thành không gian tìm kiếm để nâng cao năng lực.
Tuy nhiên, phương pháp loại này phù hợp hơn với các nhiệm vụ có thể đánh giá tự động như code, thuật toán, GPU kernel.
Nếu nhiệm vụ liên quan đến gu nghiên cứu khoa học, chất lượng sản phẩm dài hạn, phối hợp tổ chức phức tạp, đánh giá sẽ chậm hơn nhiều, và cũng mơ hồ hơn nhiều.
Harness sẽ mạnh lên, nhưng vẫn có ranh giới
Ông Lệ không cho rằng Harness là con đường thay thế huấn luyện mô hình, đánh giá của cô ấy giống như hai bên cùng củng cố lẫn nhau.
Harness đủ trưởng thành có thể khiến vòng lặp nghiên cứu tự cải thiện của mô hình chạy được; còn mô hình thông minh hơn lại có thể ngăn Harness bị thiết kế quá mức, duy trì tính bền vững của hệ thống.
Về lâu dài, nhiều cải tiến của Harness cuối cùng có thể được "nội hóa" vào hành vi của chính mô hình — giống như các kỹ thuật thủ công của prompt engineering, dần dần trở nên ít quan trọng hơn khi khả năng tuân theo chỉ dẫn và suy luận của mô hình trở nên mạnh hơn.
Nhưng bản thân việc "làm rõ mục tiêu, ràng buộc, ngữ cảnh, tiêu chuẩn đánh giá" này, chưa bao giờ biến mất.
Tuy nhiên, cô ấy cũng không né tránh, các nút thắt hiện tồn tại trên con đường thực hiện RSI:
Bộ đánh giá quá yếu và mơ hồ. Những cái hiện có thể chạy thông vòng lặp tự cải thiện, cơ bản đều là các nhiệm vụ có phản hồi rõ ràng, nhanh chóng, khách quan như viết code, giải bài toán. Còn gu nghiên cứu, tính sáng tạo, giá trị nghiên cứu khoa học dài hạn, hầu như không thể định lượng.
Vấn đề vòng đời của ngữ cảnh và ký ức. Nhiệm vụ càng tự chủ, càng độc lập, thì ký ức cần quản lý càng nhiều, việc này Ông Lệ cho rằng tương lai có thể trở thành một phần của bản thân trí thông minh, chứ không chỉ dừng lại ở cấp độ hệ thống phần mềm.
△
Kết quả tiêu cực dễ bị bỏ qua. Nhà nghiên cứu tự nhiên sẵn sàng công bố kết quả thành công hơn, mô hình được huấn luyện trên dữ liệu khổng lồ chủ yếu là các trường hợp thành công, có thể không giỏi phán đoán khi nào nên từ bỏ một giả thuyết, khi nào nên báo cáo trung thực một lần thất bại.
Sự sụp đổ của tính đa dạng. Các vòng lặp loại tiến hóa và học tăng cường dễ lặp lại sử dụng các mô hình trả thưởng cao đã biết, nếu không có cơ chế bổ sung để ngăn chặn, quần thể sẽ dần dần sụp đổ thành các biến thể của cùng một phương án.
Reward hacking. Vòng lặp tự cải thiện sẽ tối ưu hóa bất kỳ tín hiệu nào được cung cấp — phần thưởng đến từ kiểm tra đơn vị, mô hình có thể đi overfit bài kiểm tra; đến từ mô hình giám khảo, có thể học cách "làm hài lòng" một cách có mục tiêu; đến từ điểm số bảng xếp hạng, có thể đi lợi dụng lỗ hổng của chính bảng xếp hạng.
Mâu thuẫn giữa sức khỏe dài hạn và thành công ngắn hạn. Lấy coding agent làm ví dụ, chúng đã có thể thực sự nâng cao năng suất hàng ngày của kỹ thuật phần mềm, nhưng mục tiêu tối ưu hóa phần lớn vẫn là ngắn hạn — có thể hoàn thành nhiệm vụ trước mắt hay không, chứ không phải có thể bảo vệ sức khỏe dài hạn của một kho mã nguồn được hàng trăm hàng nghìn kỹ sư cùng bảo trì hay không.
Tính có thể bảo trì, ranh giới trách nhiệm quyền hạn, chi phí di chuyển, gánh nặng gỡ lỗi trong tương lai, những tiêu chuẩn này về cơ bản vẫn chưa được sandbox training chăm sóc đến.
Vai trò của con người. Ông Lệ cho rằng: Con người sẽ không bị đá ra khỏi vòng lặp, mà phải di chuyển ra "ngoài vòng" — cung cấp giám sát tại thời điểm thích hợp, cấp độ trừu tượng thích hợp, đây cũng là vấn đề cần cân nhắc rõ khi thiết kế hệ thống.
Trước đây, cạnh tranh mô hình lớn chủ yếu xem xét tham số, dữ liệu, sức mạnh tính toán và năng lực suy luận.
Nhưng bây giờ, một biến số khác đã ngày càng khó bị bỏ qua: Harness.
Cùng một mô hình, đặt vào các Harness khác nhau, có thể thể hiện năng lực hoàn toàn khác nhau — điều này đã từ quan sát của số ít người trở thành sự đồng thuận của ngành.
Từ bài blog này của Ông Lệ cũng có thể thấy, "Cửa vào công trình thực tế hơn của tự tiến hóa AI là gì", sẽ là trọng tâm thảo luận ở giai đoạn tiếp theo.
Bài blog gốc: https://lilianweng.github.io/posts/2026-07-04-harness/
Link tham khảo: https://x.com/tianyi/status/2074475185957380379
Bài viết này đến từ tài khoản công chúng WeChat "量子位", tác giả: Nghe Mưa (听雨)
