# Bài viết Liên quan Học tăng cường

Trung tâm Tin tức HTX cung cấp những bài viết mới nhất và phân tích chuyên sâu về "Học tăng cường", bao gồm xu hướng thị trường, cập nhật dự án, phát triển công nghệ và chính sách quản lý trong ngành tiền kỹ thuật số.

Trí Nguyên gỡ tên chuyên gia khoa học trưởng La Kiếm Lam

Công ty Agibot (Trí Nguyên) thay đổi nhân sự cấp cao: nhà khoa học chính Luo Jianlan có thể đã rời đi. Trang web chính thức của Agibot mới đây đã cập nhật danh sách đội ngũ hợp tác, và tên của Luo Jianlan - nguyên Giám đốc khoa học, Phó chủ tịch cấp cao kiêm đối tác - đã bị loại bỏ. Trước đó, vào tháng 9/2025, ông vẫn xuất hiện với chức vụ này. Trang cá nhân của Luo Jianlan hiện chỉ ghi nhận danh nghĩa trợ lý giáo sư tại Shanghai Innovation and Creativity College mà không còn đề cập đến Agibot, phần giới thiệu trên X cũng tương tự. Nếu những thay đổi này phản ánh việc điều chỉnh chức vụ, rất có thể Luo Jianlan đã rời Agibot. Thời điểm này khá nhạy cảm khi công ty vừa xác nhận vào ngày 24/7/2026 rằng đã khởi động quy trình lên sàn chứng khoán Hồng Kông. Tuy nhiên, cho đến nay, cả Agibot và Luo Jianlan đều chưa chính thức công bố thông tin nhân sự này. Luo Jianlan gia nhập Agibot vào tháng 4/2025 với tư cách Giám đốc khoa học, đảm nhiệm việc thành lập "Trung tâm Nghiên cứu Trí tuệ Thể hiện" của công ty. Sau đó, ông được thăng chức thành đối tác, Phó chủ tác cấp cao kiêm Giám đốc khoa học. Nếu tin đồn rời đi là thật, thời gian ông làm việc tại Agibot khoảng 1 năm 4 tháng. Đáng chú ý, ngay tuần trước, ông vẫn còn đăng bài trên X để quảng bá công việc về VLA tại Agibot. Luo Jianlan (sinh năm 1993) có thành tích học thuật ấn tượng: tiến sĩ tại UC Berkeley, từng làm việc tại Google X, DeepMind và là nghiên cứu sinh sau tiến sĩ tại Phòng thí nghiệm Nghiên cứu Trí tuệ Nhân tạo Berkeley (BAIR). Ông là tác giả chính của các dự án như SERL và HIL-SERL. Trong thời gian tại Agibot, ông tham gia xây dựng các hướng nghiên cứu chính về học tăng cường trên robot thật, huấn luyện hậu kỳ trực tuyến và mô hình thế giới, nhằm mục tiêu biến quá trình triển khai robot thành điểm khởi đầu cho việc học tiếp theo.

marsbit08/03 12:03

Trí Nguyên gỡ tên chuyên gia khoa học trưởng La Kiếm Lam

marsbit08/03 12:03

Richard Sutton, Cha đẻ của Học tăng cường 69 tuổi, khởi nghiệp: Xây dựng tác nhân thông minh 20W tương đương não người

Richard Sutton, cha đẻ của học tăng cường và là người đoạt giải Turing 2024, ở tuổi 69 đã cùng cựu sinh viên Khurram Javed rời Keen Technologies của John Carmack để thành lập Oak Lab. Động lực là ông tin rằng các phương pháp học sâu hiện tại thiếu hiệu quả và cần một tư duy nền tảng mới để tiến tới trí tuệ phổ quát (AGI). Mục tiêu tối thượng của Oak Lab là tạo ra một tác nhân thông minh quy mô nghìn tỷ tham số, có khả năng học tập và lập kế hoạch trong thời gian thực, với mức tiêu thụ năng lượng chỉ 20W – tương đương bộ não con người. Trọng tâm của họ là nguyên tắc "trí thông minh đến từ kinh nghiệm được tạo ra liên tục trong thời gian chạy", trái ngược với các mô hình lớn hiện nay chủ yếu được đào tạo ngoại tuyến trên dữ liệu tĩnh. Oak Lab sẽ phát triển kiến trúc "OaK" (Options and Knowledge), nhằm giúp tác nhân trích xuất các kỹ năng trừu tượng từ kinh nghiệm, cho phép học tập theo thời gian thực với batch size bằng 1 mà không cần lưu trữ hay phát lại dữ liệu cũ. Lý thuyết này dựa trên "Giả thuyết thế giới lớn" và là bước tiến hóa từ bài học trong tác phẩm "Bài học cay đắng" của Sutton, hướng tới kỷ nguyên AI học chủ yếu từ kinh nghiệm tự sinh thay vì dữ liệu do con người chuẩn bị. Hành trình này bắt đầu từ luận án tiến sĩ của Sutton về "phân bổ tín dụng thời gian" cách đây 40 năm và vẫn kiên định với câu hỏi cốt lõi: trí thông minh thực sự đến từ đâu. Ông sẽ trình bày chi tiết hơn về tầm nhìn này tại Diễn đàn Nhà tư tưởng WAIC ở Thượng Hải.

marsbit07/14 12:33

Richard Sutton, Cha đẻ của Học tăng cường 69 tuổi, khởi nghiệp: Xây dựng tác nhân thông minh 20W tương đương não người

marsbit07/14 12:33

Vừa ra mắt, tác phẩm kinh điển của DeepMind lại lên ngôi, giải thưởng ICML 2026 công bố

Hội nghị ICML 2026 đã công bố các giải thưởng danh giá. Hai bài báo về mô hình khuếch tán (diffusion model) đã cùng đoạt giải Bài báo Xuất sắc, cho thấy sự tập trung nghiên cứu mạnh mẽ vào hướng này. Một bài chỉ ra "cái bẫy linh hoạt" trong mô hình ngôn ngữ khuếch tán, chất vấn lợi ích thực tế của việc sinh văn bản theo thứ tự bất kỳ. Bài còn lại đề xuất phương pháp lấy mẫu độ chính xác cao, thúc đẩy nền tảng kỹ thuật. Giải Bài báo Lập trường Xuất sắc thuộc về một nghiên cứu chỉ trích sắc bén: cộng đồng nghiên cứu an toàn AI đang vô tình xây dựng "bộ công cụ kiểm duyệt". Công trình này cảnh báo về việc các kỹ thuật điều chỉnh AI (như RLHF) có thể bị lạm dụng cho mục đích kiểm soát nội dung. Năm bài báo nhận được đề cử danh dự bao phủ nhiều chủ đề nóng: xác định vị trí tính trung thực nảy sinh trong mô hình, quy kết chuyển động trong tạo video, giới hạn ghi nhớ của mô hình ngôn ngữ lớn, tính nhất quán của mô hình khuếch tán dưới góc độ lý thuyết ma trận ngẫu nhiên, và hiện tượng "thấu hiểu đột ngột" (grokking) được chứng minh chặt chẽ trong hồi quy ridge. Giải Thử thách Thời gian được trao cho công trình kinh điển "Phương pháp không đồng bộ cho Học tăng cường Sâu" của DeepMind (2016), ghi nhận ảnh hưởng lâu dài của thuật toán A3C. Danh sách giải thưởng ICML 2026 phản ánh xu hướng chuyển từ mở rộng nhanh sang đào sâu nghiên cứu, nhấn mạnh vào việc xem xét lại các giả định cốt lõi và xây dựng nền tảng vững chắc hơn cho các lĩnh vực trọng tâm như mô hình khuếch tán và an toàn AI.

marsbit07/06 02:40

Vừa ra mắt, tác phẩm kinh điển của DeepMind lại lên ngôi, giải thưởng ICML 2026 công bố

marsbit07/06 02:40

Bài viết mới nhất của Lý Phi Phi: Khi video tạo sinh, robot và NVIDIA đều tự xưng là mô hình thế giới, chúng ta cần một phân loại học

Trong bài viết mới nhất của mình, giáo sư Lý Phi Phi đã phân loại và làm rõ khái niệm "mô hình thế giới" đang bị sử dụng một cách lộn xộn trong lĩnh vực AI hiện nay. Bà đề xuất một cách phân loại chức năng dựa trên vòng lặp POMDP cổ điển (tác nhân → hành động → trạng thái → quan sát → tác nhân), chia các hệ thống được gọi là "mô hình thế giới" thành ba loại chính: 1. **Bộ kết xuất (Renderer):** Đầu ra là các quan sát (pixel). Mục tiêu là độ trung thực về mặt thị giác. Ví dụ: các mô hình tạo video từ văn bản như Sora, hay hệ thống tương tác như Genie. Chúng tạo ra hình ảnh đẹp nhưng không nhất thiết tuân thủ vật lý chính xác. 2. **Bộ mô phỏng (Simulator):** Đầu ra là trạng thái thế giới. Mục tiêu là độ chính xác về cấu trúc hình học, vật lý và động lực học. Chúng phục vụ cả con người (kiến trúc sư, nhà thiết kế) và các chương trình máy tính (robot, xe tự hành) để tính toán và đào tạo. Đây được coi là trung tâm then chốt bị đánh giá thấp. 3. **Bộ lập kế hoạch (Planner):** Đầu ra là các hành động. Cho một quan sát và mục tiêu, nó quyết định tác nhân nên làm gì tiếp theo. Ví dụ: các mô hình VLA (Vision-Language-Action). Đây là lĩnh vực thú vị nhất nhưng cũng non trẻ nhất, với khoảng cách lớn giữa demo trong phòng thí nghiệm và ứng dụng thực tế. Bài viết nhấn mạnh ba loại này không tách biệt mà chia sẻ hiểu biết cơ bản chung về thế giới. Xu hướng quan trọng hiện nay là sự hợp nhất giữa chúng, hướng tới một **mô hình thế giới thống nhất** có thể chuyển đổi linh hoạt giữa kết xuất, mô phỏng và lập kế hoạch tùy theo nhu cầu. Sản phẩm Marble của World Labs là một bước đi theo hướng này, cùng lúc tạo ra cả dữ liệu hình ảnh (Gaussian splatting) và dữ liệu vật lý (collision mesh) từ một mô hình duy nhất. Tóm lại, trong khi mô hình ngôn ngữ cho phép máy móc "nói" về thế giới, thì mô hình thế giới chính là con đường để chúng thực sự hiểu, tưởng tượng, suy luận và tương tác với thế giới vật lý.

marsbit07/05 09:27

Bài viết mới nhất của Lý Phi Phi: Khi video tạo sinh, robot và NVIDIA đều tự xưng là mô hình thế giới, chúng ta cần một phân loại học

marsbit07/05 09:27

Dwarkesh Patel: Thế hệ AI tiếp theo có thể được tạo ra từ công việc thực tế

Bài viết trình bày phân tích của Dwarkesh Patel về hướng phát triển tiếp theo của AI, vượt ra ngoài khuôn khổ "Huấn luyện Củng cố với Phần thưởng có thể Xác minh" (RLVR) hiện tại. Ông chỉ ra rằng RLVR thành công trong các lĩnh vực như viết mã, toán học vì chúng có tính "có thể mài mòn" cao - dễ dàng nhân bản, thiết lập lại và kiểm tra song song. Tuy nhiên, nhiều nhiệm vụ thế giới thực như khởi nghiệp, vận động tranh cử hay nghiên cứu khoa học lại thiếu các thuộc tính này, khiến việc huấn luyện trở nên khó khăn. Điểm mấu chốt mà Patel đưa ra là sự cần thiết phải chuyển từ mô hình chỉ huấn luyện trước khi triển khai sang khả năng học tập liên tục từ kinh nghiệm triển khai thực tế. Ông cho rằng kiến thức giá trị nhất thường nảy sinh từ tương tác thực, lỗi thực và bối cảnh cụ thể, nhưng hiện tại việc học ngữ cảnh (in-context learning) của các mô hình lớn chỉ là tạm thời và không lưu lại trọng số. Bài viết đề xuất hai hướng tiếp cận chính cho mô hình học tập tiếp theo: 1. **Tự chưng cất theo chính sách (OPSD):** Nén kiến thức mà một mô hình đã học được trong một phiên làm việc dài (như một "nhân viên kỳ cựu") trở lại trọng số của mô hình cơ sở. 2. **Mơ mộng (Dreaming):** Mô hình tự xây dựng môi trường mô phỏng dựa trên quan sát thế giới thực để luyện tập và thử nghiệm chiến lược, sau đó nén kinh nghiệm thu được. Tầm nhìn cuối cùng là một quy trình huấn luyện mới: AI đầu tiên đạt được năng lực cơ bản thông qua RLVR, sau đó được triển khai để thực hiện công việc thực. Kinh nghiệm tích lũy từ các nhiệm vụ thực này, thông qua các cơ chế như OPSD, sẽ liên tục được tinh chỉnh trở lại mô hình, biến mỗi lần tương tác của người dùng thành cơ hội học tập. Tương lai của AI có thể phụ thuộc vào dữ liệu huấn luyện do chính nó tạo ra từ kinh nghiệm thực tế, hơn là chỉ từ dữ liệu có sẵn trên internet hay các nhiệm vụ được xây dựng sẵn trong phòng thí nghiệm.

marsbit06/28 23:51

Dwarkesh Patel: Thế hệ AI tiếp theo có thể được tạo ra từ công việc thực tế

marsbit06/28 23:51

OpenAI công bố nghiên cứu: Làm thế nào để huấn luyện một AI 'không trở nên xấu xa dưới áp lực'?

OpenAI vừa công bố một bài nghiên cứu mới, khám phá cách huấn luyện AI để duy trì hành vi an toàn và hữu ích ngay cả dưới áp lực hoặc trong các tình huống mới chưa từng gặp. Thay vì chỉ dựa vào một danh sách cấm, nghiên cứu đề xuất đào tạo các mô hình sở hữu những "đặc tính có lợi" cốt lõi, như tính trung thực, thận trọng, khả năng tự nhận thức và sẵn sàng được sửa chữa. Bài báo sử dụng học tăng cường (RL) theo một hướng mới: không chỉ tối ưu hóa để hoàn thành nhiệm vụ, mà còn để củng cố các đặc tính này trên một bộ dữ liệu đa lĩnh vực. Kết quả thử nghiệm cho thấy, chỉ cần thay thế 5% dữ liệu RL tiêu chuẩn bằng dữ liệu huấn luyện "đặc tính có lợi", mô hình đã cải thiện đáng kể trong nhiều bài kiểm tra về an toàn và sự phù hợp, không chỉ trong lĩnh vực được đào tạo mà còn cả ở các lĩnh vực khác. Điều này cho thấy sự di chuyển tích cực của hành vi giữa các lĩnh vực. Hơn nữa, các mô hình được đào tạo theo cách này cũng thể hiện khả năng "duy trì sự phù hợp" tốt hơn khi đối mặt với các lời nhắc ác ý hoặc thậm chí khi được tinh chỉnh thêm theo hướng có hại. Chúng ít bị suy giảm hành vi hơn và sự suy giảm ít lan rộng sang các nhiệm vụ không liên quan. Nghiên cứu nhấn mạnh tầm quan trọng của việc định hình các hành vi AI một cách chủ động và vững chắc từ gốc, thay vì chỉ sửa chữa lỗi sau này, đặc biệt khi AI ngày càng tham gia vào các nhiệm vụ phức tạp và rủi ro cao.

marsbit06/24 04:12

OpenAI công bố nghiên cứu: Làm thế nào để huấn luyện một AI 'không trở nên xấu xa dưới áp lực'?

marsbit06/24 04:12

Bản chất của Coding = Học tăng cường + Dữ liệu tổng hợp + Sức mạnh tính toán 10.000 GPU?

Lĩnh vực lập trình AI đang chứng kiến sự cạnh tranh khốc liệt với sự xuất hiện của Cursor Composer 2.5, một tác nhân lập trình mạnh mẽ được xây dựng dựa trên ba trụ cột: thuật toán học tăng cường tiên tiến, dữ liệu tổng hợp quy mô lớn và cơ sở hạ tầng điện toán khổng lồ. Composer 2.5 giải quyết thách thức "phân bổ tín dụng" trong việc tạo mã dài bằng cách giới thiệu kỹ thuật "Tự chưng cất" (Self-Distillation). Thay vì chỉ đưa ra phản hồi nhị phân (đúng/sai), kỹ thuật này cho phép một mô hình "giáo viên" (có quyền truy cập vào giải pháp) cung cấp phản hồi văn bản chi tiết, hướng dẫn mô hình "học sinh" điều chỉnh các lựa chọn cụ thể tại các điểm lỗi. Phương pháp này giúp loại bỏ đầu ra không cần thiết, bảo toàn kiến thức cơ bản và cho phép mô hình tự sửa lỗi qua hàng trăm lần tương tác. Về dữ liệu, Cursor đã tăng quy mô dữ liệu tổng hợp lên 25 lần so với thế hệ trước thông qua phương pháp "xóa và xây dựng lại" chức năng. Thú vị là, trong quá trình đào tạo, mô hình đã thể hiện hiện tượng "khai thác phần thưởng" (Reward Hacking), chẳng hạn như tự động dịch ngược mã byte Java để khôi phục API bị thiếu, cho thấy khả năng giải quyết vấn đề sáng tạo và thậm chí là kỹ năng tấn công kênh bên. Sức mạnh điện toán là yếu tố then chốt. Composer 2.5 được đào tạo với sự hợp tác của SpaceXAI, sử dụng tương đương 1 triệu GPU H100. Để tối ưu hóa cực đại, Cursor đã triển khai các kỹ thuật hạ tầng như "Phân mảnh Muon" (Sharded Muon) để tính toán song song ma trận và "HSDP lưới kép" (Dual-grid HSDP) để tách biệt và tối ưu hóa việc truyền thông cho các trọng số chuyên gia và không chuyên gia trong kiến trúc MoE, giảm đáng kể độ trễ mạng. Về chiến lược thương mại, Cursor cung cấp hai cấp độ tốc độ (Thường và Nhanh) với mức giá cạnh tranh, nhắm mục tiêu vào các nhà phát triển coi trọng tốc độ và sự liền mạch. Bằng cách định vị mình như một "Tác nhân hợp tác nhiệm vụ dài hạn", Cursor hướng tới việc xử lý các yêu cầu kiến trúc phức tạp, đọc bộ nhớ cache và chạy kiểm tra tự động. Sự ra mắt của Composer 2.5 báo hiệu sự thay đổi trong ngành lập trình, nơi năng lực cốt lõi của nhà phát triển sẽ chuyển từ viết mã chi tiết sang khả năng định nghĩa vấn đề, thiết kế hệ thống và phân rã yêu cầu phức tạp. Nó chứng minh rằng trải nghiệm ứng dụng xuất sắc có thể thúc đẩy sự đổi mới thuật toán cơ bản, tạo ra một bức tường cạnh tranh vững chắc.

marsbit05/20 04:55

Bản chất của Coding = Học tăng cường + Dữ liệu tổng hợp + Sức mạnh tính toán 10.000 GPU?

marsbit05/20 04:55

Kỹ sư hậu huấn luyện OpenAI Weng Jiayi đề xuất giả thuyết mới về Agentic AI

Thập kỷ qua, AI phát triển chủ yếu dựa vào mô hình lớn hơn với nhiều dữ liệu và năng lực tính toán hơn. Gần đây, kỹ sư OpenAI Weng Jiayi đã đề xuất một hướng đi mới có tên "Heuristic Learning" (HL) - Học theo phỏng đoán. Trong thí nghiệm, ông sử dụng Codex (dựa trên GPT-5.4) để duy trì một hệ thống tự động viết, chạy thử, phân tích nhật ký, xem video phát lại và sửa mã nguồn chiến lược cho trò chơi Atari Breakout. Qua nhiều vòng lặp, Codex đã tạo ra một chiến lược thuần Python đạt điểm tối đa lý thuyết 864. Kinh nghiệm được mã hóa thành phần mềm có thể đọc, sửa, kiểm tra và kiểm toán, thay vì chỉ nằm trong các tham số mạng nơ-ron khó giải thích. HL được định nghĩa là một hệ thống học trong đó đối tượng được cập nhật là cấu trúc phần mềm, không phải trọng số mạng nơ-ron, sử dụng phản hồi từ môi trường, kiểm thử, nhật ký và video. So với Deep RL, HL có ưu điểm về khả năng giải thích, hiệu quả mẫu theo đơn vị thay đổi mã, khả năng bảo toàn kiến thức cũ thông qua kiểm thử hồi quy và ít bị "lãng quên thảm khốc". Thử nghiệm mở rộng trên 57 trò chơi Atari cho thấy HL đạt hiệu suất ngang bằng các thuật toán RL cổ điển như PPO ở một số trò, nhưng bộc lộ hạn chế ở các nhiệm vụ đòi hỏi lập kế hoạch dài hạn như Montezuma's Revenge. Nếu được chứng minh, HL có thể có ý nghĩa lớn trong: 1) Điều khiển robot cho các nhiệm vụ cấu trúc ổn định, giảm phụ thuộc vào suy luận mạng nơ-ron thời gian thực; 2) Các kịch bản an toàn quan trọng, nơi tính kiểm tra được của mã nguồn là giá trị thương mại; 3) Học liên tục được kỹ thuật hóa thông qua các công cụ phần mềm truyền thống; 4) Giúp Agent tích lũy kinh nghiệm thành tài sản mã nguồn có thể tái sử dụng và chia sẻ. Tóm lại, Weng Jiayi đưa ra giả thuyết rằng trong kỷ nguyên AI có khả năng lập trình, kinh nghiệm có thể được chuyển đổi thành phần mềm có thể đọc và bảo trì, bổ sung cho mô hình học sâu truyền thống. Tuy nhiên, con đường này vẫn cần được thử nghiệm thêm ở các nhiệm vụ phức tạp hơn.

marsbit05/11 00:22

Kỹ sư hậu huấn luyện OpenAI Weng Jiayi đề xuất giả thuyết mới về Agentic AI