# Bài viết Liên quan Đệ quy

Trung tâm Tin tức HTX cung cấp những bài viết mới nhất và phân tích chuyên sâu về "Đệ quy", bao gồm xu hướng thị trường, cập nhật dự án, phát triển công nghệ và chính sách quản lý trong ngành tiền kỹ thuật số.

Alumni TH Thanh Hoa U00 tuổi Vương Quan ra tác phẩm mới: Dùng 1/900 token, 1/432 sức tính toán, làm đảo lộn mô hình tiền huấn luyện Transformer

Cựu sinh viên Thanh Hoa 00 hậu Vương Quan và nhóm nghiên cứu công bố mô hình HRM-Text, một phương pháp huấn luyện tiền ngôn ngữ hiệu quả sử dụng Mô hình tuần hoàn phân tầng (HRM) thay thế Transformer tiêu chuẩn. Với chỉ 1B tham số và được huấn luyện trên 40B token duy nhất, chi phí ước tính khoảng 1500 USD, HRM-Text đạt hiệu suất tương đương các mô hình nguồn mở từ 2B đến 7B tham số trên các bài kiểm tra chuẩn như MMLU (60.7%) và GSM8K (84.5%). Phương pháp này tiết kiệm đáng kể tài nguyên: sử dụng ít hơn từ 100-900 lần token huấn luyện và 96-432 lần ước tính tính toán so với baseline tiêu chuẩn. Thiết kế chính bao gồm: kiến trúc HRM với module H (chậm) và L (nhanh) cho phép cập nhật đệ quy nhiều lượt trên cùng một token để tăng độ sâu tính toán; và mục tiêu huấn luyện tập trung vào các cặp chỉ dẫn-câu trả lời, chỉ tính toán mất mát trên phần trả lời với cơ chế che PrefixLM. Thử nghiệm cho thấy HRM vượt trội về hiệu quả kiến trúc và ổn định huấn luyện so với Transformer ở cùng quy mô FLOPs. Các hướng phát triển tương lai bao gồm tách biệt "kiến thức" và "suy luận", cơ chế thời gian tính toán thích ứng, xác thực khả năng mở rộng quy mô hơn nữa, và tối ưu hóa việc triển khai PrefixLM trong các framework suy luận thực tế.

marsbit05/26 03:18

Alumni TH Thanh Hoa U00 tuổi Vương Quan ra tác phẩm mới: Dùng 1/900 token, 1/432 sức tính toán, làm đảo lộn mô hình tiền huấn luyện Transformer

marsbit05/26 03:18

Đột phá quan trọng về AI cộng tác! Stanford và Nvidia cùng nhau loại bỏ hao phí giao tiếp trong AI, tốc độ suy luận tăng mạnh 2.4 lần

Tưởng tượng một nhóm trợ lý AI hợp tác giải một bài toán. Cách làm truyền thống buộc chúng phải liên tục "viết" và "đọc" suy nghĩ dưới dạng văn bản, gây lãng phí thời gian, token và làm thất thoát thông tin – vấn đề được gọi là **"Language Tax" (Thuế ngôn ngữ)**. Mới đây, nghiên cứu hợp tác giữa UIUC, Stanford, NVIDIA và MIT đã đề xuất **RecursiveMAS**, một phương pháp đột phá cho phép các agent AI giao tiếp trực tiếp thông qua **"tư duy"** trong không gian tiềm ẩn (latent space), thay vì phải mã hóa và giải mã thành văn bản. Hệ thống này hoạt động như một vòng lặp đệ quy, nơi các agent chuyển tiếp biểu diễn vector ẩn cho nhau cho đến khi hoàn thành nhiệm vụ, chỉ giải mã thành văn bản ở bước cuối cùng. **Lợi ích chính:** - **Tốc độ:** Tăng tốc suy luận từ **1.2 đến 2.4 lần**, hiệu quả tăng theo số vòng lặp đệ quy. - **Chi phí:** Giảm tiêu thụ token **tới 75.6%**. - **Độ chính xác:** Cải thiện trung bình **8.3%** trên nhiều tác vụ chuẩn (toán học, lập trình, hỏi đáp), do giảm thiểu tổn thất thông tin khi "nén" tư duy thành chữ. - **Hiệu quả huấn luyện:** Chỉ cần huấn luyện một mô-đun kết nối nhẹ **RecursiveLink** (0.31% tham số), trong khi đóng băng trọng số mô hình gốc, giảm đáng kể chi phí tính toán. **Ý nghĩa & Hạn chế:** RecursiveMAS mở ra hướng tiếp cận mới để mở rộng hệ thống đa tác nhân: thay vì tăng số lượng agent, có thể **tăng độ sâu đệ quy**. Tuy nhiên, nghiên cứu vẫn cần được kiểm chứng độc lập, đồng thời đối mặt với thách thức về khả năng giải thích (vì quá trình hợp tác diễn ra trong "hộp đen") và khả năng tương thích giữa các kiến trúc model khác nhau. Tóm lại, đây là một bước tiến quan trọng hướng tới việc loại bỏ "nút thắt ngôn ngữ", giúp sự hợp tác giữa các AI trở nên trực tiếp và hiệu quả hơn, giống như **"thần giao cách cảm"**.

marsbit05/21 00:14