Mô hình nhỏ 3B, điểm lập trình sánh ngang Opus 4.5, mô hình bí ẩn gây xôn xao, hóa ra là sản phẩm trong nước
Trong những ngày gần đây, mô hình nhỏ VibeThinker-3B (3 tỷ tham số) từ đội ngũ Weibo (Trung Quốc) đã gây chú ý trên mạng X nhờ khả năng lập trình và suy luận có thể kiểm chứng, được cho là ngang bằng với các mô hình tiên tiến lớn hơn nhiều như GPT-5, Claude Opus 4.5 hay Gemini 3 Pro.
Mô hình này được xây dựng dựa trên Qwen2.5-Coder-3B và trải qua quy trình đào tạo nâng cao "Spectrum-to-Signal", bao gồm tinh chỉnh có giám sát hai giai đoạn theo lộ trình, học tăng cường đa lĩnh vực, tự chưng cất ngoại tuyến và học tăng cường theo chỉ dẫn (Instruct RL). Nó cũng giới thiệu chiến lược đánh giá độ tin cậy theo tuyên bố (Claim-Level Reliability - CLR) để nâng cao hiệu suất trong các bài kiểm tra.
Kết quả ấn tượng: AIME26: 94.3 (97.1 với CLR), HMMT25: 89.3 (95.4 với CLR), tỷ lệ Pass@1 trên LiveCodeBench v6 là 80.2%, và tỷ lệ giải đúng các bài LeetCode mới nhất đạt 96.1%.
Báo cáo kỹ thuật đưa ra "giả thuyết nén tham số": khả năng suy luận có thể kiểm chứng (như toán học, lập trình) có thể được nén hiệu quả vào mô hình nhỏ với phản hồi đáng tin cậy, trong khi kiến thức thực tế tổng quát và đối thoại mở lại phụ thuộc nhiều hơn vào quy mô tham số lớn. Mục tiêu không phải là thay thế mô hình lớn, mà là thăm dò giới hạn của mô hình nhỏ trong các lĩnh vực cụ thể, mở ra hướng nghiên cứu mới bổ sung cho mô hình truyền thống.
Mô hình có sẵn trên HuggingFace và arXiv, nhưng cần lưu ý nó được thiết kế cho các nhiệm vụ suy luận có thể xác minh, không phải cho kiến thức tổng quát hay đối thoại mở.
marsbit06/18 00:25
