# Bài viết Liên quan Tiền huấn luyện

Trung tâm Tin tức HTX cung cấp những bài viết mới nhất và phân tích chuyên sâu về "Tiền huấn luyện", bao gồm xu hướng thị trường, cập nhật dự án, phát triển công nghệ và chính sách quản lý trong ngành tiền kỹ thuật số.

Alumni TH Thanh Hoa U00 tuổi Vương Quan ra tác phẩm mới: Dùng 1/900 token, 1/432 sức tính toán, làm đảo lộn mô hình tiền huấn luyện Transformer

Cựu sinh viên Thanh Hoa 00 hậu Vương Quan và nhóm nghiên cứu công bố mô hình HRM-Text, một phương pháp huấn luyện tiền ngôn ngữ hiệu quả sử dụng Mô hình tuần hoàn phân tầng (HRM) thay thế Transformer tiêu chuẩn. Với chỉ 1B tham số và được huấn luyện trên 40B token duy nhất, chi phí ước tính khoảng 1500 USD, HRM-Text đạt hiệu suất tương đương các mô hình nguồn mở từ 2B đến 7B tham số trên các bài kiểm tra chuẩn như MMLU (60.7%) và GSM8K (84.5%). Phương pháp này tiết kiệm đáng kể tài nguyên: sử dụng ít hơn từ 100-900 lần token huấn luyện và 96-432 lần ước tính tính toán so với baseline tiêu chuẩn. Thiết kế chính bao gồm: kiến trúc HRM với module H (chậm) và L (nhanh) cho phép cập nhật đệ quy nhiều lượt trên cùng một token để tăng độ sâu tính toán; và mục tiêu huấn luyện tập trung vào các cặp chỉ dẫn-câu trả lời, chỉ tính toán mất mát trên phần trả lời với cơ chế che PrefixLM. Thử nghiệm cho thấy HRM vượt trội về hiệu quả kiến trúc và ổn định huấn luyện so với Transformer ở cùng quy mô FLOPs. Các hướng phát triển tương lai bao gồm tách biệt "kiến thức" và "suy luận", cơ chế thời gian tính toán thích ứng, xác thực khả năng mở rộng quy mô hơn nữa, và tối ưu hóa việc triển khai PrefixLM trong các framework suy luận thực tế.

marsbit05/26 03:18

Alumni TH Thanh Hoa U00 tuổi Vương Quan ra tác phẩm mới: Dùng 1/900 token, 1/432 sức tính toán, làm đảo lộn mô hình tiền huấn luyện Transformer

marsbit05/26 03:18

AI Ngôi sao mạng hàng đầu Karpathy gia nhập Anthropic, nhắm đến điều gì?

Andrej Karpathy, nhà đồng sáng lập OpenAI, giáo sư từng giảng dạy tại Stanford và là người có ảnh hưởng lớn trong cộng đồng AI, đã chính thức gia nhập Anthropic. Anh sẽ tập trung vào nghiên cứu tiền huấn luyện (pretraining) và dẫn dắt một nhóm mới với nhiệm vụ chính là sử dụng Claude để đẩy nhanh việc khám phá các hướng nghiên cứu trong lĩnh vực này. Sự kiện này diễn ra trong bối cảnh Anthropic đang có đà tăng trưởng mạnh, lần đầu tiên vượt OpenAI về tỷ lệ doanh nghiệp sử dụng vào tháng 4. Công ty cũng liên tục mở rộng với các sản phẩm cho doanh nghiệp vừa và nhỏ, cùng các hợp tác như với Quỹ Gates. Việc Karpathy, một biểu tượng về uy tín học thuật và ảnh hưởng cộng đồng, chọn Anthropic thay vì quay lại OpenAI được cho là mang tính biểu tượng cao. Nó phản ánh sự dịch chuyển trong cuộc chiến thu hút nhân tài và định hướng nghiên cứu trong ngành AI. Động thái này cũng nhấn mạnh cam kết của Anthropic trong việc đầu tư vào những đột phá cơ bản ở tầng tiền huấn luyện, một lĩnh vực then chốt nhưng dài hạn, với tầm nhìn sử dụng chính AI hiện tại để giúp phát triển thế hệ AI tiếp theo.

marsbit05/21 08:04