# Bài viết Liên quan Tiền huấn luyện

Trung tâm Tin tức HTX cung cấp những bài viết mới nhất và phân tích chuyên sâu về "Tiền huấn luyện", bao gồm xu hướng thị trường, cập nhật dự án, phát triển công nghệ và chính sách quản lý trong ngành tiền kỹ thuật số.

10000 giờ dữ liệu con người, đào tạo ra mô hình hành động thế giới ẩn toàn thân di động đầu tiên trên thế giới

Trong hai năm qua, trọng tâm cạnh tranh trong lĩnh vực robot hình người đã chuyển từ phần cứng sang khả năng mô hình. Công ty trí tuệ thể hiện Zhizai Wujie đã ra mắt **Being-M0.7**, mô hình hành động thế giới ngầm (Latent World-Action Model) toàn thân đầu tiên trên thế giới dành cho thao tác di chuyển của robot hình người. Mô hình này được đào tạo trước trên hơn 10.000 giờ dữ liệu đa phương thức tập trung vào con người, sau đó được điều chỉnh với một lượng nhỏ dữ liệu trình diễn robot thực tế. Being-M0.7 giải quyết ba thách thức chính: chi phí thu thập dữ liệu robot cao, tính toán tốn kém của các mô hình dự đoán pixel và sự thiếu phối hợp giữa thao tác tay và di chuyển. Kiến trúc Vision-Motion Mixture of Transformers (MoT) cho phép mô hình sử dụng chung ba loại dữ liệu: dữ liệu ghép cặp video-chuyển động, video thuần túy và chuỗi chuyển động thuần túy. Nó cũng sử dụng một biểu diễn chuyển động thống nhất giữa người và robot, tập trung vào đầu, bàn tay và bàn chân để thu hẹp khoảng cách hình thái. Bốn bản demo robot thực tế cho thấy khả năng của Being-M0.7 trong các nhiệm vụ đầy thách thức: vớt cá trong bể (tương tác chất lỏng), lấy vật qua gương (suy luận không gian), di chuyển và sắp xếp đồ vật (nhiệm vụ dài), và mang hộp tránh chướng ngại vật (né tránh có tải). Các thử nghiệm so sánh cho thấy hiệu suất vượt trội so với các mô hình cạnh tranh trong một số nhiệm vụ. Phương pháp này tách biệt lập kế hoạch thế giới tần số thấp với điều khiển hành động tần số cao, cho phép robot tạo ra và điều chỉnh hành động phối hợp toàn thân dựa trên quan sát, phản hồi thời gian thực và dự đoán tương lai. Con đường công nghệ từ Being-H (thao tác khéo léo) đến Being-M (di chuyển & thao tác) nhấn mạnh việc học từ dữ liệu hành vi con người quy mô lớn trước khi chuyển giao kiến thức sang robot, cung cấp một khuôn khổ có thể mở rộng để vượt qua vấn đề khan hiếm dữ liệu thể hiện và hướng tới trí tuệ thể hiện tổng quát hơn.

marsbit07/15 01:51

10000 giờ dữ liệu con người, đào tạo ra mô hình hành động thế giới ẩn toàn thân di động đầu tiên trên thế giới

marsbit07/15 01:51

Karpathy mới nhất lên tiếng chỉ trích: Một câu nói khiến cả hội trường các nhà phát triển Agent im bặt

Andrej Karpathy, nhà nghiên cứu cốt cán tại Anthropic, đã gây sốc trong cộng đồng phát triển AI Agent bằng một tuyên bố thẳng thắn: Sai lầm lớn nhất hiện nay là mọi người vội vàng bắt Agent làm việc mà chưa thực sự hiểu rõ các mô hình nền tảng cơ bản. Ông rút ra bài học từ dự án "World of Bits" thất bại năm 2016 tại OpenAI, nơi họ cố gắng tạo Agent điều khiển máy tính. Công cụ khi đó là học tăng cường quá yếu, và ông cho rằng lựa chọn đúng đắn lúc bấy giờ phải là tập trung vào mô hình ngôn ngữ. Karpathy đưa ra ba lời khuyên ngược với xu hướng: 1. Dừng việc ép Agent làm mọi thứ, hãy ưu tiên xây dựng mô hình nền tảng đúng đắn trước. Việc ông gia nhập nhóm tiền huấn luyện tại Anthropic chính là một phiếu bầu cho quan điểm này. 2. Tạo Demo thì dễ, nhưng để biến thành sản phẩm thực sự có thể mất cả thập kỷ, giống như hành trình của xe tự lái hay VR. 3. Agent không phải là sản phẩm; năng lực nền tảng mới là sản phẩm. Xây dựng nền móng vững chắc, và Agent sẽ tự nhiên xuất hiện. Ông cũng gợi ý nên tìm cảm hứng từ khoa học thần kinh, ví dụ như cấu trúc não bộ (hồi hải mã, hạch nền, đồi thị), để hiểu sâu hơn về bản chất của trí tuệ. Điểm đáng chú ý nhất, Karpathy khẳng định rằng tuyến đầu của khả năng Agent không nằm ở các gã khổng lồ như OpenAI hay DeepMind, mà chính là ở các nhà phát triển độc lập và startup. Lý do là trong lĩnh vực Agent, không công ty lớn nào có lợi thế dẫn trước hàng năm trời; mọi người đều ở cùng vạch xuất phát, nơi sự linh hoạt và tốc độ thử nghiệm là lợi thế cạnh tranh. Thông điệp cuối cùng của Karpathy không phải là ngăn cản việc phát triển Agent, mà là cảnh báo không được bỏ qua nền tảng. Ông kêu gọi sự kiên nhẫn đầu tư vào nghiên cứu cơ bản và sẵn sàng cho một cuộc chạy đua dài hạn.

marsbit07/06 02:35

Karpathy mới nhất lên tiếng chỉ trích: Một câu nói khiến cả hội trường các nhà phát triển Agent im bặt

marsbit07/06 02:35

Alumni TH Thanh Hoa U00 tuổi Vương Quan ra tác phẩm mới: Dùng 1/900 token, 1/432 sức tính toán, làm đảo lộn mô hình tiền huấn luyện Transformer

Cựu sinh viên Thanh Hoa 00 hậu Vương Quan và nhóm nghiên cứu công bố mô hình HRM-Text, một phương pháp huấn luyện tiền ngôn ngữ hiệu quả sử dụng Mô hình tuần hoàn phân tầng (HRM) thay thế Transformer tiêu chuẩn. Với chỉ 1B tham số và được huấn luyện trên 40B token duy nhất, chi phí ước tính khoảng 1500 USD, HRM-Text đạt hiệu suất tương đương các mô hình nguồn mở từ 2B đến 7B tham số trên các bài kiểm tra chuẩn như MMLU (60.7%) và GSM8K (84.5%). Phương pháp này tiết kiệm đáng kể tài nguyên: sử dụng ít hơn từ 100-900 lần token huấn luyện và 96-432 lần ước tính tính toán so với baseline tiêu chuẩn. Thiết kế chính bao gồm: kiến trúc HRM với module H (chậm) và L (nhanh) cho phép cập nhật đệ quy nhiều lượt trên cùng một token để tăng độ sâu tính toán; và mục tiêu huấn luyện tập trung vào các cặp chỉ dẫn-câu trả lời, chỉ tính toán mất mát trên phần trả lời với cơ chế che PrefixLM. Thử nghiệm cho thấy HRM vượt trội về hiệu quả kiến trúc và ổn định huấn luyện so với Transformer ở cùng quy mô FLOPs. Các hướng phát triển tương lai bao gồm tách biệt "kiến thức" và "suy luận", cơ chế thời gian tính toán thích ứng, xác thực khả năng mở rộng quy mô hơn nữa, và tối ưu hóa việc triển khai PrefixLM trong các framework suy luận thực tế.

marsbit05/26 03:18

Alumni TH Thanh Hoa U00 tuổi Vương Quan ra tác phẩm mới: Dùng 1/900 token, 1/432 sức tính toán, làm đảo lộn mô hình tiền huấn luyện Transformer

marsbit05/26 03:18

AI Ngôi sao mạng hàng đầu Karpathy gia nhập Anthropic, nhắm đến điều gì?

Andrej Karpathy, nhà đồng sáng lập OpenAI, giáo sư từng giảng dạy tại Stanford và là người có ảnh hưởng lớn trong cộng đồng AI, đã chính thức gia nhập Anthropic. Anh sẽ tập trung vào nghiên cứu tiền huấn luyện (pretraining) và dẫn dắt một nhóm mới với nhiệm vụ chính là sử dụng Claude để đẩy nhanh việc khám phá các hướng nghiên cứu trong lĩnh vực này. Sự kiện này diễn ra trong bối cảnh Anthropic đang có đà tăng trưởng mạnh, lần đầu tiên vượt OpenAI về tỷ lệ doanh nghiệp sử dụng vào tháng 4. Công ty cũng liên tục mở rộng với các sản phẩm cho doanh nghiệp vừa và nhỏ, cùng các hợp tác như với Quỹ Gates. Việc Karpathy, một biểu tượng về uy tín học thuật và ảnh hưởng cộng đồng, chọn Anthropic thay vì quay lại OpenAI được cho là mang tính biểu tượng cao. Nó phản ánh sự dịch chuyển trong cuộc chiến thu hút nhân tài và định hướng nghiên cứu trong ngành AI. Động thái này cũng nhấn mạnh cam kết của Anthropic trong việc đầu tư vào những đột phá cơ bản ở tầng tiền huấn luyện, một lĩnh vực then chốt nhưng dài hạn, với tầm nhìn sử dụng chính AI hiện tại để giúp phát triển thế hệ AI tiếp theo.

marsbit05/21 08:04

AI Ngôi sao mạng hàng đầu Karpathy gia nhập Anthropic, nhắm đến điều gì?

marsbit05/21 08:04

活动图片