# Bài viết Liên quan Hiệu suất AI

Trung tâm Tin tức HTX cung cấp những bài viết mới nhất và phân tích chuyên sâu về "Hiệu suất AI", bao gồm xu hướng thị trường, cập nhật dự án, phát triển công nghệ và chính sách quản lý trong ngành tiền kỹ thuật số.

Nghiên cứu mới của AMD đảo lộn nhận thức: FP4 huấn luyện không ổn định, nguyên nhân không phải do tính ngẫu nhiên không đủ

Bài viết nghiên cứu mới của AMD và Đại học Bang Pennsylvania lật ngược nhận thức trước đây về việc huấn luyện mô hình lớn bằng định dạng FP4. Trái với suy nghĩ phổ biến rằng sự bất ổn đến từ tính ngẫu nhiên không đủ, nghiên cứu xác định nguyên nhân chính là lỗi cấu trúc từ việc thu nhỏ tỷ lệ (micro-scaling) tích lũy và khuếch đại dọc theo đường truyền gradient trọng số (Wgrad) nhạy cảm. Các thí nghiệm kiểm soát trên phần cứng AMD Instinct MI355X với định dạng MXFP4 cho thấy: khi thay thế phép tính Wgrad từ FP8 sang MXFP4, chất lượng hội tụ suy giảm đáng kể. Các chiến lược thêm tính ngẫu nhiên như làm tròn ngẫu nhiên hoặc phép xoay Hadamard ngẫu nhiên thậm chí còn gây ra phân kỳ. Ngược lại, phép xoay Hadamard xác định đã ổn định quá trình huấn luyện bằng cách áp dụng cùng một phép biến đổi mỗi bước, giữ cho mẫu lỗi nhất quán và tránh tích lũy. Với giải pháp này, nghiên cứu đã hoàn thành việc tiền huấn luyện đầy đủ cho Llama 3.1-8B trên C4, đạt được tốc độ huấn luyện nhanh hơn 9-10% so với đường cơ sở FP8, với chi phí token chỉ tăng thêm 8-9%. Đây là minh chứng đầu tiên về việc huấn luyện mô hình lớn hoàn chỉnh bằng FP4 trên phần cứng nguyên bản. Nghiên cứu có ý nghĩa quan trọng: (1) Cung cấp chẩn đoán nguyên nhân rõ ràng, hướng dẫn tập trung vào lỗi cấu trúc thay vì tính ngẫu nhiên; (2) Mở rộng phạm vi sử dụng FP4 từ suy luận sang huấn luyện, tiềm năng tăng gấp đôi hiệu suất phần cứng hiện có; (3) Dựa trên tiêu chuẩn mở OCP Microscaling, đảm bảo khả năng di chuyển giữa các nền tảng phần cứng khác nhau.

marsbit05/27 06:21

Nghiên cứu mới của AMD đảo lộn nhận thức: FP4 huấn luyện không ổn định, nguyên nhân không phải do tính ngẫu nhiên không đủ

marsbit05/27 06:21

Triết lý tiết kiệm thời đại AI: Làm thế nào để sử dụng mỗi Token một cách hiệu quả nhất

Trong thời đại AI, Token là đơn vị tiền tệ mới và việc quản lý chúng hiệu quả trở thành kỹ năng sống còn. Bài viết từ kinh nghiệm lịch sử (thời điện tín, điện thoại cố định) để rút ra bài học: tiết kiệm không phải vì thiếu thốn mà để đạt sự chính xác tối ưu. Cốt lõi là tối đa hóa "tỷ lệ tín hiệu trên nhiễu" (signal-to-noise ratio). Mọi dữ liệu đưa vào AI (văn bản, hình ảnh, mã code) đều tính phí, nên cần loại bỏ mọi thứ không cần thiết như lời chào dài dòng, chú thích code thừa, hoặc format phức tạp trong file PDF (nên chuyển sang Markdown). Với ảnh, nén kích thước đến mức tối thiểu có thể dùng được để giảm chi phí token đi hàng chục lần. Giao tiếp với AI cần rõ ràng, một lần, tránh kiểu "vắt sữa bò" từng chút một, vì mỗi lần tương tác lại đều phát sinh chi phí. Đầu ra của AI đắt gấp 3-5 lần đầu vào. Hãy đặt luật: yêu cầu AI bỏ qua các câu xã giao, lời giải thích không cần thiết và trả lời trực tiếp vào trọng tâm. Thiết lập giới hạn độ dài đầu ra và yêu cầu định dạng structured (như JSON) thay vì văn bản dài. Mô hình AI không có trí nhớ, nó phải đọc lại toàn bộ lịch sử hội thoại mỗi lần trả lời, khiến chi phí cho mỗi tin nhắn sau tăng lên theo cấp số nhân. Giải pháp là: một nhiệm vụ, một hội thoại mới. Sử dụng tính năng nén lịch sử hoặc Prompt Caching (lưu trữ gợi ý) để giảm chi phí tái sử dụng các chỉ dẫn giống nhau. Không phải mọi nhiệm vụ đều cần model mạnh nhất. Hãy phân tầng công việc: dùng model rẻ (như Haiku) cho các tác đơn giản (thu thập dữ liệu, làm sạch), và model đắt tiền (như Opus) cho phân tích sâu, ra quyết định phức tạp. Áp dụng quy trình làm việc hai giai đoạn để tinh chế dữ liệu trước khi đưa vào model mạnh. Quan trọng nhất, hãy tự hỏi liệu nhiệm vụ đó có thực sự cần dùng đến AI không. Sự đánh giá và can thiệp của con người để lọc bớt công việc cho AI là bộ lọc hiệu quả nhất. Nhận thức rõ chi phí của từng Token biến bạn từ kẻ phụ thuộc thành người chủ thực sự của sức mạnh tính toán.

marsbit04/03 03:25

Triết lý tiết kiệm thời đại AI: Làm thế nào để sử dụng mỗi Token một cách hiệu quả nhất

marsbit04/03 03:25

活动图片