# Bài viết Liên quan Học sâu

Trung tâm Tin tức HTX cung cấp những bài viết mới nhất và phân tích chuyên sâu về "Học sâu", bao gồm xu hướng thị trường, cập nhật dự án, phát triển công nghệ và chính sách quản lý trong ngành tiền kỹ thuật số.

Richard Sutton, Cha đẻ của Học tăng cường 69 tuổi, khởi nghiệp: Xây dựng tác nhân thông minh 20W tương đương não người

Richard Sutton, cha đẻ của học tăng cường và là người đoạt giải Turing 2024, ở tuổi 69 đã cùng cựu sinh viên Khurram Javed rời Keen Technologies của John Carmack để thành lập Oak Lab. Động lực là ông tin rằng các phương pháp học sâu hiện tại thiếu hiệu quả và cần một tư duy nền tảng mới để tiến tới trí tuệ phổ quát (AGI). Mục tiêu tối thượng của Oak Lab là tạo ra một tác nhân thông minh quy mô nghìn tỷ tham số, có khả năng học tập và lập kế hoạch trong thời gian thực, với mức tiêu thụ năng lượng chỉ 20W – tương đương bộ não con người. Trọng tâm của họ là nguyên tắc "trí thông minh đến từ kinh nghiệm được tạo ra liên tục trong thời gian chạy", trái ngược với các mô hình lớn hiện nay chủ yếu được đào tạo ngoại tuyến trên dữ liệu tĩnh. Oak Lab sẽ phát triển kiến trúc "OaK" (Options and Knowledge), nhằm giúp tác nhân trích xuất các kỹ năng trừu tượng từ kinh nghiệm, cho phép học tập theo thời gian thực với batch size bằng 1 mà không cần lưu trữ hay phát lại dữ liệu cũ. Lý thuyết này dựa trên "Giả thuyết thế giới lớn" và là bước tiến hóa từ bài học trong tác phẩm "Bài học cay đắng" của Sutton, hướng tới kỷ nguyên AI học chủ yếu từ kinh nghiệm tự sinh thay vì dữ liệu do con người chuẩn bị. Hành trình này bắt đầu từ luận án tiến sĩ của Sutton về "phân bổ tín dụng thời gian" cách đây 40 năm và vẫn kiên định với câu hỏi cốt lõi: trí thông minh thực sự đến từ đâu. Ông sẽ trình bày chi tiết hơn về tầm nhìn này tại Diễn đàn Nhà tư tưởng WAIC ở Thượng Hải.

marsbit07/14 12:33

Richard Sutton, Cha đẻ của Học tăng cường 69 tuổi, khởi nghiệp: Xây dựng tác nhân thông minh 20W tương đương não người

marsbit07/14 12:33

Biến đổi Cấu trúc Transformer, LLM Trở Nên Thông Minh Hơn

Năm 2026, khi ngành công nghiệp mô hình lớn tập trung vào việc nhồi nhét nhiều tham số hơn, một nghiên cứu mới từ Mila, Đại học Cornell và Đại học Montréal đặt ra câu hỏi ngược lại: Điều gì xảy ra nếu chỉ di chuyển các tham số hiện có mà không thêm bất kỳ tham số nào? Bài báo có tên "Tapered Language Models" (TLM) chỉ ra rằng các lớp trong kiến trúc Transformer truyền thống không quan trọng như nhau. Các nghiên cứu về thoát sớm, cắt tỉa lớp và khả năng giải thích đã cho thấy các lớp đầu nắm bắt thông tin cơ bản (như ngữ pháp), trong khi các lớp sau xử lý thông tin cấp cao hơn (như ngữ nghĩa) và thường chỉ "nhấn mạnh lại" các phán đoán hiện có. Thay vì phân bổ tham số đồng đều cho tất cả các lớp, nhóm nghiên cứu đề xuất một thiết kế "hình nón": giảm dần đều chiều rộng của mạng chuyển tiếp (FFN) - thành phần lưu trữ và xử lý thông tin chính của mỗi lớp - từ đầu đến cuối mô hình, trong khi vẫn giữ nguyên tổng số tham số và lượng tính toán. Thử nghiệm trên mô hình Transformer 440M tham số cho thấy, với đường cong giảm dần dạng cosine (chiều rộng đầu gấp 1.5 lần cơ sở, chiều rộng cuối là 0.5 lần), điểm perplexity cải thiện tới 1.84 điểm so với mô hình cơ sở phân bổ đồng đều. Kết quả tích cực này được khẳng định lại trên ba kiến trúc khác (mô hình chú ý có cổng, Hope-attention, Titans) ở quy mô 760M và 1.3B tham số, trên nhiều nhiệm vụ đánh giá như suy luận thường thức và dự đoán ngôn ngữ, mà không làm giảm khả năng xử lý ngữ cảnh dài. Nghiên cứu chứng minh việc phân bổ dung lượng "não bộ" của mô hình một cách có chủ đích - tập trung nhiều hơn vào các lớp đầu nơi xử lý thông tin đa dạng - là một đòn bẩy hiệu quả gần như miễn phí. Phương pháp này mở ra hướng đi mới không chỉ cho mô hình ngôn ngữ mà còn cho các mô hình Thị giác Transformer, khuếch tán và đa phương thức vốn kế thừa thiết kế phân bổ đồng đều truyền thống.

marsbit06/29 12:55

Biến đổi Cấu trúc Transformer, LLM Trở Nên Thông Minh Hơn

marsbit06/29 12:55

Cách thực hiện nghiên cứu sâu với Dynamic Workflows của Claude

Công việc nghiên cứu kỹ thuật chứa đầy cạm bẫy, dễ bị chìm trong biển thông tin và mất tập trung vào mục tiêu ban đầu. Claude mới giới thiệu tính năng **Dynamic Workflows** (Quy trình làm việc động), một bước tiến vượt bậc so với các phương pháp AI truyền thống bằng cách tự động thiết kế và điều phối quy trình tối ưu cho từng nhiệm vụ cụ thể, đặc biệt hiệu quả cho nghiên cứu sâu (**deep-research**). Dynamic Workflows hoạt động dựa trên sáu mẫu điều phối lõi, giải quyết hai vấn đề cốt lõi: **cách chia nhỏ nhiệm vụ** và **cách hợp nhất kết quả**: 1. **Định tuyến (Classify-And-Act)**: Phân loại nhiệm vụ và định tuyến đến chuyên gia phù hợp nhất. 2. **Chia tách & Hợp nhất (Fan-out & Merge)**: Chia thành các nhiệm vụ con chạy song song, sau đó tổng hợp kết quả. 3. **Xác minh đối kháng (Adversarial Verification)**: Sử dụng nhiều agent độc lập để thách thức và biểu quyết cho một kết luận, chống lại thiên kiến xác nhận. 4. **Tạo & Lọc (Generate & Filter)**: Tạo ra nhiều phương án, sau đó lọc để giữ lại những phương án tốt nhất. 5. **Giải đấu (Tournament)**: Các agent cạnh tranh từng cặp qua nhiều vòng để chọn ra giải pháp tối ưu. 6. **Vòng lặp (Loop)**: Lặp lại nhiệm vụ một cách thích ứng cho đến khi đạt tiêu chí hoàn thành. So sánh với hệ thống deep-research tự xây dựng trước đây, Dynamic Workflows của Claude bổ sung các cơ chế then chốt giúp nghiên cứu **định hướng mục tiêu** và **chắc chắn** hơn: * **Phân tách vấn đề**: Phân tích câu hỏi ban đầu thành các khía cạnh phụ trước khi hành động. * **Đánh giá độ tin cậy**: Xếp hạng độ tin cậy của từng nguồn thông tin. * **Hợp nhất chọn lọc**: Sử dụng biểu quyết đa agent để loại bỏ thông tin không đủ ủng hộ, thay vì gộp chung mọi thứ. * **Đầu ra tập trung vào quyết định**: Báo cáo cuối cùng đưa ra đánh giá và khuyến nghị hành động rõ ràng, phục vụ cho việc ra quyết định. Những cải tiến này giải quyết hiệu quả các vấn đề phổ biến của AI trong các nhiệm vụ dài như: **trôi dạt mục tiêu**, **dừng sớm**, **nhiễm ngữ cảnh** và **thiên kiến đầu ra**. Dynamic Workflows không chỉ là một cuộc đối thoại thông minh hơn, mà là **cơ cấu hóa chính quy trình nghiên cứu**, giúp rút ngắn đáng kể số lần tương tác cần thiết (từ hơn chục lần xuống còn 3-4 lần), dù tiêu tốn token nhiều hơn. Tuy vẫn còn một số thách thức như cơ chế xác minh cần khắt khe hơn với dữ kiện thực tế (ví dụ trong blockchain), khả năng tư duy liên ngành sâu cho các lĩnh vực mới, và việc thiết kế-xác thực giải pháp dựa trên ràng buộc thực tế, Dynamic Workflows đã đánh dấu một bước nhảy vọt về **tính linh hoạt và khả năng thích ứng** của AI, chuyển từ việc giải quyết các vấn đề tĩnh sang xử lý các nhiệm vụ mở với quy trình được tối ưu hóa tự động.

marsbit06/09 03:10

Cách thực hiện nghiên cứu sâu với Dynamic Workflows của Claude

marsbit06/09 03:10

Tạm biệt sức mạnh tính toán thô bạo: Nhìn từ 'GrainBot' của HKUST về sự tái cấu trúc logic định giá trong AI for Science

Bài báo thảo luận về sự phát triển của trí tuệ nhân tạo (AI) tại Hồng Kông, đặc biệt nhấn mạnh vào dự án GrainBot do Giáo sư Guo Yike từ HKUST dẫn đầu. GrainBot là một công cụ AI ứng dụng trong khoa học vật liệu, tự động hóa việc phân tích cấu trúc vi mô của vật liệu như tế bào quang điện perovskite, giúp rút ngắn đáng kể thời gian nghiên cứu và nâng cao hiệu suất. Sự xuất hiện của GrainBot đánh dấu sự chuyển dịch từ AI tập trung vào mô hình phổ thông sang AI cho khoa học (AI4S), nơi giá trị được đo bằng khả năng tăng tốc nghiên cứu và phát minh, thay vì số lượng người dùng. Điều này mở ra cơ hội đầu tư vào các "phòng thí nghiệm số" sở hữu dữ liệu và thuật toán chuyên sâu. Hồng Kông, với lợi thế về chuyên gia và cơ sở hạ tầng, có thể trở thành trung tâm nghiên cứu vật liệu tự động, kết hợp với sản xuất tại Đại Vực để thúc đẩy đổi mới. Tuy nhiên, thách thức lớn nhất vẫn là thiếu dữ liệu khoa học và sự chia sẻ giữa các tổ chức. GrainBot là minh chứng cho tiềm năng của AI trong việc giải quyết vấn đề thực tế và định hình lại ngành công nghiệp vật liệu.

marsbit03/05 09:44