# Bài viết Liên quan Học tăng cường với phần thưởng có thể xác minh

Trung tâm Tin tức HTX cung cấp những bài viết mới nhất và phân tích chuyên sâu về "Học tăng cường với phần thưởng có thể xác minh", bao gồm xu hướng thị trường, cập nhật dự án, phát triển công nghệ và chính sách quản lý trong ngành tiền kỹ thuật số.

Dwarkesh Patel: Thế hệ AI tiếp theo có thể được tạo ra từ công việc thực tế

Bài viết trình bày phân tích của Dwarkesh Patel về hướng phát triển tiếp theo của AI, vượt ra ngoài khuôn khổ "Huấn luyện Củng cố với Phần thưởng có thể Xác minh" (RLVR) hiện tại. Ông chỉ ra rằng RLVR thành công trong các lĩnh vực như viết mã, toán học vì chúng có tính "có thể mài mòn" cao - dễ dàng nhân bản, thiết lập lại và kiểm tra song song. Tuy nhiên, nhiều nhiệm vụ thế giới thực như khởi nghiệp, vận động tranh cử hay nghiên cứu khoa học lại thiếu các thuộc tính này, khiến việc huấn luyện trở nên khó khăn. Điểm mấu chốt mà Patel đưa ra là sự cần thiết phải chuyển từ mô hình chỉ huấn luyện trước khi triển khai sang khả năng học tập liên tục từ kinh nghiệm triển khai thực tế. Ông cho rằng kiến thức giá trị nhất thường nảy sinh từ tương tác thực, lỗi thực và bối cảnh cụ thể, nhưng hiện tại việc học ngữ cảnh (in-context learning) của các mô hình lớn chỉ là tạm thời và không lưu lại trọng số. Bài viết đề xuất hai hướng tiếp cận chính cho mô hình học tập tiếp theo: 1. **Tự chưng cất theo chính sách (OPSD):** Nén kiến thức mà một mô hình đã học được trong một phiên làm việc dài (như một "nhân viên kỳ cựu") trở lại trọng số của mô hình cơ sở. 2. **Mơ mộng (Dreaming):** Mô hình tự xây dựng môi trường mô phỏng dựa trên quan sát thế giới thực để luyện tập và thử nghiệm chiến lược, sau đó nén kinh nghiệm thu được. Tầm nhìn cuối cùng là một quy trình huấn luyện mới: AI đầu tiên đạt được năng lực cơ bản thông qua RLVR, sau đó được triển khai để thực hiện công việc thực. Kinh nghiệm tích lũy từ các nhiệm vụ thực này, thông qua các cơ chế như OPSD, sẽ liên tục được tinh chỉnh trở lại mô hình, biến mỗi lần tương tác của người dùng thành cơ hội học tập. Tương lai của AI có thể phụ thuộc vào dữ liệu huấn luyện do chính nó tạo ra từ kinh nghiệm thực tế, hơn là chỉ từ dữ liệu có sẵn trên internet hay các nhiệm vụ được xây dựng sẵn trong phòng thí nghiệm.

marsbit06/28 23:51

Dwarkesh Patel: Thế hệ AI tiếp theo có thể được tạo ra từ công việc thực tế

marsbit06/28 23:51

Anthropic dạy mô hình hiểu đạo đức, đồng thời mở ra con đường chưng cất mới của bạn

Anthropic đã công bố nghiên cứu "Teaching Claude Why" vào ngày 8/5, giới thiệu một phương pháp huấn luyện mới hiệu quả cho việc căn chỉnh đạo đức AI, khác biệt so với các phương pháp RLHF truyền thống. Thay vì sử dụng hình phạt hoặc dữ liệu khổng lồ, nghiên cứu chỉ cần 3 triệu token dữ liệu SFT (Supervised Fine-Tuning) chứa các cuộc thảo luận đạo đức, lý lẽ chi tiết và tranh luận sâu sắc. Phương pháp này dựa trên "Hiến pháp AI" của Anthropic, bao gồm các nguyên tắc cấp cao (ưu tiên an toàn), các nguyên tắc hướng dẫn thực tế (như bài kiểm tra 1000 người dùng), và một khuôn khổ xem xét 8 yếu tố để đánh giá tác động. Mô hình được huấn luyện với các chuỗi suy nghĩ dạng "tư duy phản biện" (CoT), trong đó nó mô phỏng quá trình cân nhắc, đánh giá đa chiều trước khi đưa ra quyết định, thay vì chỉ đưa ra câu trả lời cuối cùng. Kết quả cho thấy phương pháp này không chỉ giảm đáng kể tỷ lệ sai lệch hành vi (từ 22% xuống 3%) mà còn có khả năng tổng quát hóa mạnh mẽ sang các tình huống chưa từng gặp. Điều này chứng minh rằng, khi dữ liệu huấn luyện SFT có đủ tính đa dạng về ngữ cảnh và chứa các bước lập luận trung gian (CoT), nó có thể giúp mô hình học được các nguyên tắc cơ bản chứ không chỉ ghi nhớ câu trả lời mẫu. Bài viết cho rằng phương pháp này có thể mở ra một hướng đi mới để "chưng cất" tri thức chuyên gia vào AI cho các lĩnh vực không có đáp án rõ ràng (phi RLVR), như tư vấn tâm lý, phân tích chiến lược hay biên tập văn học, bằng cách cung cấp cho mô hình một khuôn khổ nguyên tắc vững chắc và các ví dụ đa dạng về quá trình ra quyết định phức tạp.

marsbit05/15 11:01

Anthropic dạy mô hình hiểu đạo đức, đồng thời mở ra con đường chưng cất mới của bạn

marsbit05/15 11:01

活动图片

Danh mục Phổ biếnright-arrow

Thẻ Nổi bậtright-arrow