Nghiên cứu mới của AMD đảo lộn nhận thức: FP4 huấn luyện không ổn định, nguyên nhân không phải do tính ngẫu nhiên không đủ

marsbitXuất bản vào 2026-05-27Cập nhật gần nhất vào 2026-05-27

Tóm tắt

Bài viết nghiên cứu mới của AMD và Đại học Bang Pennsylvania lật ngược nhận thức trước đây về việc huấn luyện mô hình lớn bằng định dạng FP4. Trái với suy nghĩ phổ biến rằng sự bất ổn đến từ tính ngẫu nhiên không đủ, nghiên cứu xác định nguyên nhân chính là lỗi cấu trúc từ việc thu nhỏ tỷ lệ (micro-scaling) tích lũy và khuếch đại dọc theo đường truyền gradient trọng số (Wgrad) nhạy cảm. Các thí nghiệm kiểm soát trên phần cứng AMD Instinct MI355X với định dạng MXFP4 cho thấy: khi thay thế phép tính Wgrad từ FP8 sang MXFP4, chất lượng hội tụ suy giảm đáng kể. Các chiến lược thêm tính ngẫu nhiên như làm tròn ngẫu nhiên hoặc phép xoay Hadamard ngẫu nhiên thậm chí còn gây ra phân kỳ. Ngược lại, phép xoay Hadamard xác định đã ổn định quá trình huấn luyện bằng cách áp dụng cùng một phép biến đổi mỗi bước, giữ cho mẫu lỗi nhất quán và tránh tích lũy. Với giải pháp này, nghiên cứu đã hoàn thành việc tiền huấn luyện đầy đủ cho Llama 3.1-8B trên C4, đạt được tốc độ huấn luyện nhanh hơn 9-10% so với đường cơ sở FP8, với chi phí token chỉ tăng thêm 8-9%. Đây là minh chứng đầu tiên về việc huấn luyện mô hình lớn hoàn chỉnh bằng FP4 trên phần cứng nguyên bản. Nghiên cứu có ý nghĩa quan trọng: (1) Cung cấp chẩn đoán nguyên nhân rõ ràng, hướng dẫn tập trung vào lỗi cấu trúc thay vì tính ngẫu nhiên; (2) Mở rộng phạm vi sử dụng FP4 từ suy luận sang huấn luyện, tiềm năng tăng gấp đôi hiệu suất phần cứng hiện có; (3) Dựa trên tiêu chuẩn mở OCP Microscaling, đảm bảo khả năng di chuyển giữa các ...

Như chúng ta đều biết, chi phí huấn luyện mô hình lớn (LLM) là cực kỳ cao.

Nhưng mọi người cũng biết rằng, việc giảm độ chính xác (precision) có thể giảm đáng kể chi phí huấn luyện. DeepSeek-V3 sử dụng FP8 để huấn luyện, đã giảm chi phí xuống còn 5,6 triệu USD, khiến cả ngành phải kinh ngạc.

Sau thành công của FP8, ngành công nghiệp vẫn không ngừng thăm dò giới hạn của độ chính xác thấp: từ FP8 xuống FP4, chi phí huấn luyện có thể giảm thêm bao nhiêu?

Về mặt lý thuyết, thông lượng tính toán FP4 có thể gấp đôi FP8. NVIDIA Blackwell và AMD MI350 series đã hỗ trợ nguyên sinh (native) các phép toán FP4 ở cấp độ phần cứng, trong đó B200 của NVIDIA công bố hiệu năng FP4 có thể đạt 4500 TOPS (thưa thớt/sparse). Phần cứng đã sẵn sàng, nhưng phía phần mềm và thuật toán luôn bị kẹt ở một vấn đề:

Huấn luyện mô hình lớn từ đầu (pretrain) bằng FP4, quá trình huấn luyện rất không ổn định.

Trong hai năm qua, các công trình như LLM-FP4, NVFP4 pretraining lần lượt thử nghiệm con đường này, nhưng hiếm có giải pháp nào có thể chạy thông suốt toàn bộ quy trình tiền huấn luyện (pretraining) ở độ chính xác 4-bit một cách sạch sẽ, đồng thời duy trì chất lượng hội tụ gần với FP8.

Khó khăn hơn là nguyên nhân sụp đổ vẫn chưa rõ ràng. Phân tích trước đây cho rằng, nguyên nhân gây mất ổn định khi huấn luyện với FP4 rất có thể đến từ tính ngẫu nhiên không đủ.

Nhưng gần đây, AMD hợp tác với Đại học Bang Pennsylvania đã công bố một bài báo khoa học, lật ngược nhận thức truyền thống, đưa ra một chẩn đoán mới mẻ và rõ ràng cho việc huấn luyện nguyên sinh FP4.

  • Tiêu đề bài báo: Pretraining large language models with MXFP4 on Native FP4 Hardware
  • Liên kết bài báo: https://arxiv.org/abs/2605.09825

Bài báo này đã hoàn thành quy trình tiền huấn luyện (pretraining) đầy đủ cho Llama 3.1-8B sử dụng định dạng MXFP4 trên GPU AMD Instinct MI355X, tốc độ huấn luyện đầu cuối (end-to-end) nhanh hơn 9-10% so với đường cơ sở FP8, token hao phí chỉ nhiều hơn 8-9%. Đây là thí nghiệm hoàn chỉnh đầu tiên hiện nay hoàn thành tiền huấn luyện mô hình lớn trên phần cứng FP4 nguyên sinh (không phải mô phỏng phần mềm).

Quan trọng hơn, bài báo tiết lộ vấn đề cốt lõi: Nguồn gốc của sự bất ổn định khi huấn luyện FP4 không phải là do tính ngẫu nhiên không đủ, mà là do lỗi vi chia tỷ lệ (micro-scaling) cấu trúc tích lũy và khuếch đại dọc theo các đường dẫn gradient nhạy cảm.

MXFP4 là gì

Trước khi phân tích bài báo, cần hiểu định dạng dữ liệu MXFP4 này.

Lượng tử hóa nguyên (integer) truyền thống thường sử dụng một hệ số tỷ lệ (scaling factor) duy nhất cho toàn bộ tensor. Thiết kế cốt lõi của MXFP4 được gọi là "Vi chia tỷ lệ" (Micro-scaling): chia một tensor thành các khối nhỏ (ví dụ: mỗi nhóm 32 phần tử), cấp phát một số mũ chung (format E8M0) cho mỗi khối nhỏ, mỗi phần tử trong khối được biểu diễn bằng số dấu phẩy động 4-bit. Công thức tái tạo có thể được viết là:

Trong đó, E_shared là số mũ lớn nhất trong khối, Q_FP4 là giá trị được làm tròn gần nhất đến giá trị có thể biểu diễn được bằng số dấu phẩy động 4-bit.

Lợi ích của vi chia tỷ lệ nằm ở: mỗi khối nhỏ có phạm vi động (dynamic range) riêng, không bị "bắt cóc" bởi các giá trị ngoại lai toàn cục (global outliers). Điều này làm cho chất lượng biểu diễn của số dấu phẩy động 4-bit tốt hơn nhiều so với lượng tử hóa toàn cục đơn giản.

Nhưng ngay cả khi có vi chia tỷ lệ, việc huấn luyện FP4 vẫn không ổn định.

Thí nghiệm điều tra: Nguồn gốc của sự bất ổn định

Nhóm nghiên cứu trước tiên đã thiết kế một thí nghiệm kiểm soát từng bước.

Một phép tính lớp tuyến tính (linear layer) Transformer hoàn chỉnh liên quan đến ba thao tác nhân ma trận tổng quát (GEMM):

Fprop (Lan truyền xuôi/Forward propagation): Tính Y = XW^T, tạo ra giá trị kích hoạt (activations)

Dgrad (Gradient của kích hoạt): Tính ∇X = ∇Y · W, truyền gradient ngược về đầu vào

Wgrad (Gradient của trọng số): Tính ∇W = (∇Y)^T · X, tạo ra gradient dùng để cập nhật trọng số

Nhóm nghiên cứu giữ nguyên tất cả các yếu tố khác, lần lượt thay thế ba thao tác này từ FP8 sang MXFP4, quan sát ảnh hưởng của mỗi bước đến sự hội tụ. Tất cả thí nghiệm đều được thực thi trên AMD Instinct MI355X sử dụng tensor core FP4 nguyên sinh, không phụ thuộc vào mô phỏng phần mềm.

Nhiệm vụ huấn luyện là thiết lập tiêu chuẩn MLPerf, tiền huấn luyện Llama 3.1-8B trên tập dữ liệu C4, mục tiêu hội tụ là đạt độ bối rối (perplexity) trên tập kiểm định là 3.3.

Hai bước đầu chỉ dẫn đến hao phí token thêm nhẹ nhàng, nhưng ngay khi thay thế Wgrad bằng MXFP4, hao phí nhảy vọt lên 26-27%.

Wgrad là nút thắt (bottleneck) của việc huấn luyện FP4. Lan truyền xuôi và gradient của kích hoạt có khả năng chịu đựng tương đối với lượng tử hóa FP4, nhưng gradient của trọng số một khi bị lượng tử hóa xuống 4-bit, chất lượng hội tụ lập tức xuống cấp đáng kể.

Trực giác chủ đạo của ngành trước đây là: Lỗi lượng tử hóa FP4 về bản chất là vấn đề nhiễu (noise), do đó có thể "làm mịn" phân bố lỗi bằng cách bơm vào tính ngẫu nhiên. Hai chiến lược phổ biến là:

Làm tròn ngẫu nhiên (Stochastic Rounding): Đưa tính ngẫu nhiên vào khi lượng tử hóa, làm cho kỳ vọng của lỗi làm tròn bằng không.

Phép quay Hadamard ngẫu nhiên (Randomized Hadamard): Sử dụng biến đổi Hadamard với việc lật dấu ngẫu nhiên để làm phân tán phân bố dữ liệu trước khi lượng tử hóa.

Khi Wgrad bị lượng tử hóa, cả hai chiến lược ngẫu nhiên không những không ổn định được việc huấn luyện, mà còn trực tiếp dẫn đến không hội tụ. Tính ngẫu nhiên không những không giúp ích, mà còn đưa thêm nhiều lỗi lượng tử hóa hiệu quả vào đường dẫn gradient quan trọng.

Ngược lại, phép quay Hadamard tất định (deterministic) đã ép hao phí token toàn quy trình từ 26-27% trở lại chỉ còn 8-9%, quỹ đạo huấn luyện bám sát đường cơ sở FP8.

Đây là một kết quả rất có giá trị chẩn đoán. Cả phép quay Hadamard ngẫu nhiên và tất định đều là phép biến đổi trực giao, đều có thể làm phân tán năng lượng của các giá trị ngoại lai, về lý thuyết hiệu quả giảm nhẹ lỗi lượng tử hóa nên tương tự. Nhưng biểu hiện của chúng trong kịch bản Wgrad lại hoàn toàn trái ngược, điều này tiết lộ bản chất của vấn đề:

Sự bất ổn định của việc huấn luyện FP4, được thúc đẩy bởi lỗi cấu trúc do vi chia tỷ lệ MXFP4 tạo ra trên các đường dẫn gradient nhạy cảm. Các chiến lược ngẫu nhiên thất bại vì chúng đưa vào các mẫu lỗi (error pattern) khác nhau ở mỗi bước, và những mẫu lỗi biến đổi này tích lũy dọc theo đường dẫn gradient, ngược lại còn khuếch đại sự bất ổn định. Lý do phép quay tất định có hiệu quả, chính xác là vì nó áp dụng cùng một phép biến đổi ở mỗi bước, làm cho mẫu lỗi nhất quán, tránh được sự tích lũy lỗi.

Hiệu suất đầu cuối: Thông lượng bước huấn luyện +20%, tốc độ tổng hợp tăng 9-10%

Sau khi áp dụng phép quay Hadamard tất định kết hợp với MXFP4 toàn quy trình, dữ liệu hiệu suất như sau:

Thông lượng của mỗi bước huấn luyện tăng 20%, sau khi trừ đi hao phí token tăng thêm 8-9%, tốc độ tổng hợp đầu cuối vẫn tăng 9-10%.

Xét rằng đây là việc cắt trực tiếp độ chính xác từ 8-bit xuống 4-bit, cả chất lượng hội tụ và mức độ tăng tốc này đều khá ấn tượng.

Hình trái: Đường cong độ bối rối trên tập kiểm định (validation perplexity) của Llama 3.1–8B theo số token huấn luyện khi tiền huấn luyện MLPerf trên tập dữ liệu C4. Kết quả cho thấy, MXFP4 + Hadamard tất định có biểu hiện rất gần với FP8, trong khi MXFP4 toàn quy trình không xử lý ổn định hóa thì hội tụ chậm hơn và tính ổn định huấn luyện cũng kém hơn. Hình phải: Khung nhìn phóng to cục bộ ở giai đoạn cuối huấn luyện. Mục tiêu độ bối rối của MLPerf là 3.3. So với chạy MXFP4 không ổn định hóa, Hadamard tất định (H16) có thể duy trì sự nhất quán chặt chẽ hơn với đường cơ sở FP8.

Đáng chú ý, các tác giả trong bài báo đã nhấn mạnh rõ ràng một hạn chế quan trọng: Hiệu quả của phương án huấn luyện FP4 này (tập dữ liệu MLPerf C4 + Llama 3.1-8B) đã được xác minh, nhưng không thể trực tiếp giả định rằng nó có thể chuyển đổi liền mạch cho mọi mô hình, mọi tập dữ liệu và mọi phương pháp huấn luyện. Hành vi của việc huấn luyện FP4 có thể phụ thuộc cao vào thiết lập cụ thể, các chiến lược ổn định cụ thể cần được xác minh lại theo từng kịch bản.

Lời kết

Đặt bài báo này vào bối cảnh ngành công nghiệp lớn hơn, nó có ít nhất ba tầng ý nghĩa.

Tầng thứ nhất: Nó trả lời một câu hỏi cơ bản "Tại sao". Các công trình huấn luyện FP4 trước đây phần lớn tập trung vào "làm sao để nó không sụp", bài báo này lần đầu tiên đưa ra một chẩn đoán nhân quả rõ ràng: sự sụp đổ bắt nguồn từ lỗi vi chia tỷ lệ cấu trúc trên đường dẫn Wgrad, chứ không phải do tính ngẫu nhiên không đủ. Bản thân chẩn đoán này đã có giá trị về phương pháp luận, nó nói với các nhà nghiên cứu tiếp theo: khi gặp phải sự bất ổn định trong huấn luyện độ chính xác thấp, nên ưu tiên điều tra nguồn lỗi cấu trúc, thay vì mù quáng tăng tính ngẫu nhiên.

Tầng thứ hai: Nó đẩy FP4 từ "chuyên cho suy luận (inference)" sang "có thể dùng cho huấn luyện". Trước đây, sự đồng thuận của ngành là FP4 chỉ phù hợp cho lượng tử hóa suy luận, huấn luyện ít nhất phải dùng FP8. NVIDIA chủ trương đẩy mạnh FP4 cho suy luận chứ không phải huấn luyện trên Blackwell, cũng phản ánh nhận định này. Bài báo này đã chạy thông suốt quy trình tiền huấn luyện trên phần cứng FP4 nguyên sinh, có nghĩa là năng lực tính toán FP4 vốn được chuẩn bị cho suy luận trên MI355X và Blackwell, về lý thuyết cũng có thể dùng để huấn luyện. Nếu việc huấn luyện FP4 được xác minh là khả thi trên nhiều mô hình lớn hơn và nhiều kịch bản hơn, đồng nghĩa với việc năng lực tính toán có sẵn cho huấn luyện trên phần cứng hiện tại có thể tăng gấp đôi.

Tầng thứ ba: Nó sử dụng tiêu chuẩn mở OCP. MXFP4 là một phần của tiêu chuẩn định dạng OCP Microscaling, đằng sau có sự hỗ trợ chung của bảy công ty: AMD, NVIDIA, Intel, Meta, Microsoft, Arm, Qualcomm. Dựa trên tiêu chuẩn mở có nghĩa là phương pháp này có tính khả chuyển trên phần cứng của các nhà sản xuất khác nhau, không bị khóa chặt vào một hệ sinh thái duy nhất.

Từ FP16 đến FP8, DeepSeek-V3 đã chứng minh cắt đôi độ chính xác có thể giảm mạnh chi phí huấn luyện. Từ FP8 đến FP4, bài báo này đã thực hiện bước đầu tiên quan trọng. Mỗi lần cắt một nhát vào độ chính xác, toàn bộ tính kinh tế của việc huấn luyện mô hình lớn đều đang chuyển biến.

Bài viết này từ tài khoản công chúng WeChat "Machine Heart" (ID:almosthuman2014), biên tập: Leng Mao

Câu hỏi Liên quan

QNghiên cứu mới của AMD phát hiện nguyên nhân chính gây ra sự không ổn định khi huấn luyện mô hình lớn ở độ chính xác FP4 là gì?

ANguyên nhân chính không phải là do tính ngẫu nhiên không đủ, mà là do lỗi cấu trúc từ việc thu nhỏ vi mô (micro-scaling) tích lũy và khuếch đại dọc theo con đường gradient nhạy cảm, đặc biệt là ở Wgrad (gradient trọng số).

QMXFP4 là gì và nó khác với phương pháp lượng tử hóa truyền thống như thế nào?

AMXFP4 là một định dạng dữ liệu 4-bit sử dụng phương pháp 'vi tỷ lệ' (micro-scaling). Thay vì dùng một hệ số tỷ lệ chung cho cả tensor, nó chia tensor thành các khối nhỏ (ví dụ 32 phần tử) và gán một số mũ chia sẻ riêng cho mỗi khối. Điều này giúp mỗi khối có phạm vi động riêng, không bị ảnh hưởng bởi các giá trị ngoại lệ toàn cục, cải thiện chất lượng biểu diễn so với lượng tử hóa toàn cục thông thường.

QTrong ba phép tính của lớp Transformer, thao tác nào được xác định là điểm nghẽn gây ra sự không ổn định khi sử dụng MXFP4?

AThao tác Wgrad (tính gradient trọng số) được xác định là điểm nghẽn. Thử nghiệm cho thấy khi chỉ thay thế Fprop và Dgrad bằng MXFP4, tổn thất token tăng nhẹ, nhưng ngay khi thay thế Wgrad, tổn thất token tăng vọt lên 26-27%, dẫn đến suy giảm đáng kể chất lượng hội tụ.

QTại sao các chiến lược như làm tròn ngẫu nhiên (Stochastic Rounding) lại không hiệu quả trong việc ổn định huấn luyện FP4, thậm chí còn gây ra phân kỳ?

ACác chiến lược ngẫu nhiên như làm tròn ngẫu nhiên hay phép quay Hadamard ngẫu nhiên thất bại vì chúng tạo ra các mẫu lỗi (error pattern) khác nhau ở mỗi bước huấn luyện. Những mẫu lỗi thay đổi này tích lũy và khuếch đại dọc theo con đường gradient nhạy cảm, từ đó làm tăng thêm sự không ổn định thay vì làm dịu nó.

QPhương pháp quay Hadamard xác định (Deterministic Hadamard rotation) mang lại những lợi ích hiệu suất cụ thể nào trong huấn luyện end-to-end với MXFP4?

APhương pháp quay Hadamard xác định giúp ổn định quá trình huấn luyện, giảm tổn thất token từ 26-27% xuống chỉ còn 8-9%. Kết hợp với MXFP4, nó giúp tăng thông lượng mỗi bước huấn luyện lên 20% và mang lại tốc độ tổng thể end-to-end nhanh hơn 9-10% so với đường cơ sở FP8, trong khi vẫn duy trì chất lượng hội tụ gần tương đương.

Nội dung Liên quan

Circle Đưa Địa Chỉ Giao Thức Zama Vào Danh Sách Đen, Đóng Băng 12,6 Triệu USD Tiền Của Người Dùng – Chi Tiết

Nhà phát hành stablecoin Circle đã đưa vào danh sách đen một hợp đồng thông minh của giao thức bảo mật Zama, đóng băng khoảng 12,6 triệu USD tiền của người dùng. Hành động này, được phát hiện bởi nhà điều tra on-chain ZachXBT, nhắm vào hợp đồng Confidential USDC (cUSDC) của Zama trên Ethereum. Việc đóng băng có thể liên quan gián tiếp đến các vấn đề pháp lý và tranh cãi xung quanh giao thức Overnight Finance, vì một ví được cho là của họ đã gửi số tiền lớn vào hợp đồng Zama trước đó. Sự chồng chéo này làm dấy lên lo ngại về rủi ro lây lan giữa các giao thức DeFi. Hành động đơn phương của Circle, được cho là không có cảnh báo trước cho Zama, đã làm dấy lên chỉ trích về tính minh bạch và tạo ra tiền lệ đáng lo ngại khi nhắm mục tiêu vào hợp đồng cấp giao thức chứa tiền chung của người dùng, thay vì các ví riêng lẻ. Điều này đặt ra câu hỏi về rủi ro lưu ký trong các hệ thống được cho là phi tập trung. Circle hiện chưa đưa ra giải thích chính thức cho động thái này.

bitcoinist15 phút trước

Circle Đưa Địa Chỉ Giao Thức Zama Vào Danh Sách Đen, Đóng Băng 12,6 Triệu USD Tiền Của Người Dùng – Chi Tiết

bitcoinist15 phút trước

Tại sao nhiều AI Agent hơn không đồng nghĩa với năng suất cao hơn?

Biên tập viên: Khi AI Agent ngày càng rẻ và dễ gọi, phát triển phần mềm đang bước vào giai đoạn mới. Vấn đề không còn là có thể chạy nhiều Agent hơn hay không, mà là liệu con người có đủ sự chú ý để quản lý, đánh giá và hợp nhất đầu ra của chúng hay không. Bài viết giới thiệu khái niệm "thuế điều phối". Chi phí khởi chạy Agent rất thấp, chỉ cần một Prompt hoặc một cú nhấp chuột. Nhưng các bước tiếp theo mới thực sự đắt đỏ: kiểm tra kết quả, hiểu tác động đến kiến trúc hệ thống, xử lý xung đột giữa các Agent, và quyết định mã nào được đưa vào nhánh chính. Những công việc này không thể song song hóa đơn giản, mà vẫn phải quay về một tài nguyên tuần tự duy nhất: khả năng phán đoán của con người. Tác giả ví nhà phát triển như "GIL" trong hệ thống AI Agent - khóa luồng đơn hạn chế thông lượng cuối cùng của hệ thống đồng thời. Nhiều Agent có thể chạy cùng lúc, nhưng một khi bước vào giai đoạn đánh giá kiến trúc, xem xét mã và hợp nhất xung đột, chúng phải đi qua bộ não của nhà phát triển. Do đó, càng nhiều Agent không nhất thiết có nghĩa là sản lượng cao hơn, mà có thể chỉ làm cho hàng đợi công việc chờ xem xét dài hơn, khiến nhà phát triển mệt mỏi vì chuyển đổi ngữ cảnh liên tục. Điều dễ bị bỏ qua trong cơn sốt công cụ lập trình AI hiện nay là cảm giác hiệu quả không phải lúc nào cũng đồng nghĩa với năng suất thực. Một bảng điều khiển đầy Agent đang chạy tạo ra ảo giác "năng suất cao", nhưng nếu nhà phát triển không thực sự hiểu, xem xét và tích hợp các thay đổi, hệ thống cuối cùng tích lũy có thể là nợ kỹ thuật và nợ nhận thức. Vì vậy, bài viết thảo luận về "cách thiết kế lại quy trình làm việc xoay quanh sự chú ý của con người". Trong thời đại Agent, năng lực then chốt không chỉ là biết đặt câu hỏi và phân công nhiệm vụ, mà là biết nhiệm vụ nào có thể giao cho máy móc xử lý song song, nhiệm vụ nào phải dành cho con người đánh giá; khi nào nên xem xét hàng loạt, khi nào nên dừng điều phối để tập trung lại vào một vấn đề cốt lõi. AI đang mở rộng khả năng xử lý đồng thời trong sản xuất phần mềm, nhưng sự chú ý của con người vẫn là tài nguyên khan hiếm và không thể nhân bản nhất trong hệ thống. Một quy trình làm việc với Agent thực sự trưởng thành không phải là ném mọi nhiệm vụ cho máy móc, mà là thiết kế kiến trúc sự chú ý của chính mình một cách cẩn thận, giống như thiết kế một hệ thống sản xuất.

marsbit1 giờ trước

Tại sao nhiều AI Agent hơn không đồng nghĩa với năng suất cao hơn?

marsbit1 giờ trước

Ba năm sau: Nhìn lại nhận định của tôi về ChatGPT vào năm 2023

**Tóm tắt tiếng Việt:** Năm 2026, tác giả Vương Kiến Thạc nhìn lại 20 dự đoán của mình về ChatGPT từ năm 2023, sử dụng AI (41 agent Opus 4.8) để đối chiếu với dữ liệu thực tế. **Kết quả chính:** Phần lớn các dự đoán về **cơ chế và xu hướng** là đúng: * **Đúng:** Kiến trúc RAG + tìm kiếm trở thành chuẩn để giảm ảo giác. LUI (Giao diện ngôn ngữ tự nhiên) tạo ra một "lục địa mới" cho tương tác máy tính. Mạng lưới agent với giao thức kết nối mới đang hình thành. Trung Quốc thu hẹp khoảng cách về mô hình lớn có thể sử dụng. ChatGPT không có ý thức, vượt qua bài kiểm tra Turing nhờ biểu diễn. Nó là bước tiến lớn nhưng chưa phải AGI, chưa gây ra làn sóng thất nghiệp hàng loạt. * **Sai/Sai một phần:** Dự đoán cụ thể **GPT-4 có 100 nghìn tỷ tham số** là sai hoàn toàn (thực tế ~1.8 nghìn tỷ). Nhận định **LLM không thể tự học toán** bị bác bỏ khi các mô hình giành huy chương IMO. **Giá trị sẽ thuộc về lớp ứng dụng** bị chứng minh ngược lại khi lợi nhuận khổng lồ thuộc về lớp nền tảng tính toán (như NVIDIA). **AI có thể né tránh vấn đề bản quyền** là sai, với các vụ kiện và khoản bồi thường lớn. Dự đoán **chi phí đào tạo mô hình lớn chỉ 5-10 tỷ USD** là quá thấp so với thực tế. **Bài học rút ra:** 1. **Dự đoán xu hướng và cơ chế đáng tin cậy hơn nhiều so với các con số cụ thể hay mức độ tuyệt đối.** 2. **Có xu hướng đánh giá quá cao tốc độ thay đổi trong ngắn hạn, nhưng lại đánh giá thấp mức độ thay đổi trong dài hạn.** 3. **Sai lầm tinh vi thường nằm ở "sự phân bố":** tổng thể đúng nhưng tác động không đồng đều (ví dụ: việc làm). 4. **Những phát biểu có giới hạn, thận trọng thường đứng vững theo thời gian.** 5. **Ba năm là chưa đủ để kết luận cho một số vấn đề sâu xa** (như ý thức máy móc, sự xuất hiện năng lực). Bài viết kết luận rằng việc nhìn đúng hướng đi lớn không quá khó, nhưng thừa nhận những sai lầm trong ước tính chi tiết, tốc độ và phân bố mới là điều đáng ghi nhớ cho những dự đoán trong tương lai.

marsbit7 giờ trước

Ba năm sau: Nhìn lại nhận định của tôi về ChatGPT vào năm 2023

marsbit7 giờ trước

Ba năm sau: Nhìn lại những dự đoán của tôi về ChatGPT năm 2023

**Tóm tắt: Nhìn lại 20 dự đoán về ChatGPT năm 2023 sau 3 năm** Vào tháng 3/2023, khi ChatGPT mới xuất hiện và GPT-4 chưa ra mắt, tác giả Vương Kiến Thạc đã đưa ra 20 nhận định về tương lai của AI. Giờ đây, vào cuối tháng 5/2026, một hệ thống AI gồm 41 agent đã được sử dụng để kiểm chứng lại từng dự đoán đó dựa trên dữ liệu thực tế. **Kết quả kiểm chứng (Tính đến 5/2026):** * **Đúng/Bản chất đúng (✅/🟢):** 13/20 dự đoán. * **Một phần đúng (🟡):** 6/20 dự đoán. * **Sai (❌):** 1/20 dự đoán. **Những điểm dự đoán chính xác nổi bật:** 1. **Kiến trúc RAG & Tìm kiếm:** Dự đoán việc bổ sung kiến thức thông qua cơ chế truy xuất bên ngoài (như vector search) thay vì chỉ fine-tune model đã trở thành tiêu chuẩn. 2. **Giao diện ngôn ngữ tự nhiên (LUI):** Nhận định ChatGPT mở ra kỷ nguyên LUI, tạo ra một hệ sinh thái rộng lớn hơn cả việc phát triển model cơ bản, đã được chứng minh. 3. **Mô hình lớn Trung Quốc:** Dự báo khoảng cách về khả năng giữa các mô hình Trung Quốc và đỉnh cao thế giới sẽ thu hẹp nhanh chóng trong khoảng 3 năm đã thành hiện thực. 4. **Ý thức và Kiểm tra Turing:** Quan điểm cho rằng ChatGPT không có ý thức và bài kiểm tra Turing chỉ đánh giá biểu hiện bề ngoài vẫn vững vàng. **Những điểm dự đoán chưa chính xác hoặc sai lệch:** 1. **Tham số GPT-4 (❌):** Thông tin GPT-4 có 100 nghìn tỷ tham số là hoàn toàn sai. 2. **Khả năng toán học của LLM:** Mặc dù đúng khi cho rằng cần công cụ bổ trợ, nhưng khẳng định LLM "không thể" tự học toán thuần túy đã bị bác bỏ khi các model năm 2025 giành huy chương IMO. 3. **Nơi nắm giữ giá trị:** Dự đoán giá trị sẽ thuộc về tầng ứng dụng, còn các công ty làm model cơ bản có thể không sinh lời, đã không tính đến sự thống trị và lợi nhuận khổng lồ của NVIDIA ở tầng phần cứng tính toán. 4. **Bản quyền:** Nhận định AI có thể "né tránh" vi phạm bản quyền là sai, khi thực tế đã có những vụ kiện và dàn xếp bồi thường lớn nhất lịch sử liên quan đến dữ liệu huấn luyện. **Bài học rút ra sau 3 năm:** * **Dự đoán xu hướng và cơ chế đáng tin cậy hơn nhiều so với các con số cụ thể.** * Xu hướng chung: **Đánh giá quá lạc quan về tốc độ, nhưng lại đánh giá thấp mức độ phát triển** về lâu dài. * Sai lầm tinh vi thường nằm ở **sự phân bổ** (ví dụ: tác động việc làm lên nhóm người lao động trẻ), chứ không phải tổng thể. * **Những nhận định có giới hạn, điều kiện đi kèm thường chính xác hơn** những phát biểu tuyệt đối. * Một số câu hỏi lớn vẫn chưa có câu trả lời cuối cùng sau 3 năm. Bản tổng kết này không chỉ chấm điểm cho quá khứ, mà còn đặt ra những quy tắc cho việc dự đoán trong tương lai.

链捕手10 giờ trước

Ba năm sau: Nhìn lại những dự đoán của tôi về ChatGPT năm 2023

链捕手10 giờ trước

Cảnh báo bong bóng AI: Đầu tư vào AI mang lại lợi nhuận âm cho hầu hết các gã khổng lồ công nghệ

Bài viết cảnh báo về bong bóng đầu tư AI khi phân tích chỉ ra rằng hầu hết các gã khổng lồ công nghệ như Microsoft, Alphabet, Meta, Oracle (trừ Amazon) có thể nhận tỷ suất lợi nhuận âm từ các khoản đầu tư hàng nghìn tỷ USD vào trung tâm dữ liệu AI. Dựa trên kỳ vọng của nhà phân tích về doanh thu và chi tiêu vốn giai đoạn 2025-2030, tốc độ tăng đầu tư (~20%/năm) vượt xa tốc độ tăng doanh thu dự kiến (~15%/năm). Tác giả nhấn mạnh, đầu tư công nghệ hiện giải thích 93% tăng trưởng GDP Mỹ. Nếu các công ty cắt giảm chi tiêu, không chỉ chuỗi cung ứng (Nvidia, TSMC, ASML) bị ảnh hưởng mà nền kinh tế Mỹ có thể suy thoái, kéo theo thị trường chứng khoán lao dốc. Các IPO của OpenAI, Anthropic được xem như cách chuyển giao rủi ro từ nhà đầu tư ban đầu sang các nhà đầu tư tổ chức và cá nhân. Dù cơn sốt có thể kéo dài đến 2026 nhờ IPO, nhưng thực tế toán học khắc nghiệt (cần thêm 2-5 nghìn tỷ USD doanh thu để đạt lợi nhuận 10%) khiến việc điều chỉnh là không tránh khỏi vào 2027-2028, tương tự bong bóng dot-com những năm 2000. Câu hỏi then chốt: ai sẽ trả giá cho cuộc chạy đua cơ sở hạ tầng đắt đỏ này?

marsbit11 giờ trước

Cảnh báo bong bóng AI: Đầu tư vào AI mang lại lợi nhuận âm cho hầu hết các gã khổng lồ công nghệ

marsbit11 giờ trước

Giao dịch

Giao ngay
Hợp đồng Tương lai

Bài viết Nổi bật

AGENT S là gì

Agent S: Tương Lai của Tương Tác Tự Động trong Web3 Giới thiệu Trong bối cảnh không ngừng phát triển của Web3 và tiền điện tử, các đổi mới đang liên tục định nghĩa lại cách mà cá nhân tương tác với các nền tảng kỹ thuật số. Một dự án tiên phong như vậy, Agent S, hứa hẹn sẽ cách mạng hóa tương tác giữa con người và máy tính thông qua khung tác nhân mở của nó. Bằng cách mở đường cho các tương tác tự động, Agent S nhằm đơn giản hóa các nhiệm vụ phức tạp, cung cấp các ứng dụng chuyển đổi trong trí tuệ nhân tạo (AI). Cuộc khám phá chi tiết này sẽ đi sâu vào những phức tạp của dự án, các tính năng độc đáo của nó và những tác động đối với lĩnh vực tiền điện tử. Agent S là gì? Agent S đứng vững như một khung tác nhân mở đột phá, được thiết kế đặc biệt để giải quyết ba thách thức cơ bản trong việc tự động hóa các nhiệm vụ máy tính: Thu thập Kiến thức Cụ thể theo Miền: Khung này học một cách thông minh từ nhiều nguồn kiến thức bên ngoài và kinh nghiệm nội bộ. Cách tiếp cận kép này giúp nó xây dựng một kho lưu trữ phong phú về kiến thức cụ thể theo miền, nâng cao hiệu suất của nó trong việc thực hiện nhiệm vụ. Lập Kế Hoạch Qua Các Tầm Nhìn Nhiệm Vụ Dài Hạn: Agent S sử dụng lập kế hoạch phân cấp tăng cường kinh nghiệm, một cách tiếp cận chiến lược giúp phân chia và thực hiện các nhiệm vụ phức tạp một cách hiệu quả. Tính năng này nâng cao đáng kể khả năng quản lý nhiều nhiệm vụ con một cách hiệu quả và hiệu suất. Xử Lý Các Giao Diện Động, Không Đều: Dự án giới thiệu Giao Diện Tác Nhân-Máy Tính (ACI), một giải pháp đổi mới giúp nâng cao tương tác giữa các tác nhân và người dùng. Sử dụng các Mô Hình Ngôn Ngữ Lớn Đa Phương Thức (MLLMs), Agent S có thể điều hướng và thao tác các giao diện người dùng đồ họa đa dạng một cách liền mạch. Thông qua những tính năng tiên phong này, Agent S cung cấp một khung vững chắc giải quyết các phức tạp liên quan đến việc tự động hóa tương tác giữa con người với máy móc, mở ra nhiều ứng dụng trong AI và hơn thế nữa. Ai là Người Tạo ra Agent S? Mặc dù khái niệm về Agent S là hoàn toàn đổi mới, thông tin cụ thể về người sáng lập vẫn còn mơ hồ. Người sáng lập hiện vẫn chưa được biết đến, điều này làm nổi bật giai đoạn sơ khai của dự án hoặc sự lựa chọn chiến lược để giữ kín các thành viên sáng lập. Bất chấp sự ẩn danh, sự chú ý vẫn tập trung vào khả năng và tiềm năng của khung này. Ai là Các Nhà Đầu Tư của Agent S? Vì Agent S còn tương đối mới trong hệ sinh thái mã hóa, thông tin chi tiết về các nhà đầu tư và những người tài trợ tài chính của nó không được ghi chép rõ ràng. Sự thiếu vắng thông tin công khai về các nền tảng đầu tư hoặc tổ chức hỗ trợ dự án dấy lên câu hỏi về cấu trúc tài trợ và lộ trình phát triển của nó. Hiểu biết về sự hỗ trợ là rất quan trọng để đánh giá tính bền vững và tác động tiềm năng của dự án. Agent S Hoạt Động Như Thế Nào? Tại cốt lõi của Agent S là công nghệ tiên tiến cho phép nó hoạt động hiệu quả trong nhiều bối cảnh khác nhau. Mô hình hoạt động của nó được xây dựng xung quanh một số tính năng chính: Tương Tác Giống Như Con Người: Khung này cung cấp lập kế hoạch AI tiên tiến, cố gắng làm cho các tương tác với máy tính trở nên trực quan hơn. Bằng cách bắt chước hành vi của con người trong việc thực hiện nhiệm vụ, nó hứa hẹn nâng cao trải nghiệm người dùng. Ký Ức Tường Thuật: Được sử dụng để tận dụng các trải nghiệm cấp cao, Agent S sử dụng ký ức tường thuật để theo dõi lịch sử nhiệm vụ, từ đó nâng cao quy trình ra quyết định của nó. Ký Ức Tình Huống: Tính năng này cung cấp cho người dùng hướng dẫn từng bước, cho phép khung này cung cấp hỗ trợ theo ngữ cảnh khi các nhiệm vụ diễn ra. Hỗ Trợ OpenACI: Với khả năng chạy cục bộ, Agent S cho phép người dùng duy trì quyền kiểm soát đối với các tương tác và quy trình làm việc của họ, phù hợp với tinh thần phi tập trung của Web3. Tích Hợp Dễ Dàng với Các API Bên Ngoài: Tính linh hoạt và khả năng tương thích với nhiều nền tảng AI khác nhau đảm bảo rằng Agent S có thể hòa nhập liền mạch vào các hệ sinh thái công nghệ hiện có, làm cho nó trở thành lựa chọn hấp dẫn cho các nhà phát triển và tổ chức. Những chức năng này cùng nhau góp phần vào vị trí độc đáo của Agent S trong không gian tiền điện tử, khi nó tự động hóa các nhiệm vụ phức tạp, nhiều bước với sự can thiệp tối thiểu của con người. Khi dự án phát triển, các ứng dụng tiềm năng của nó trong Web3 có thể định nghĩa lại cách mà các tương tác kỹ thuật số diễn ra. Thời Gian Phát Triển của Agent S Sự phát triển và các cột mốc của Agent S có thể được tóm tắt trong một dòng thời gian nêu bật các sự kiện quan trọng của nó: 27 tháng 9, 2024: Khái niệm về Agent S được ra mắt trong một bài nghiên cứu toàn diện mang tên “Một Khung Tác Nhân Mở Sử Dụng Máy Tính Như Một Con Người,” trình bày nền tảng cho dự án. 10 tháng 10, 2024: Bài nghiên cứu được công bố công khai trên arXiv, cung cấp một cái nhìn sâu sắc về khung và đánh giá hiệu suất của nó dựa trên tiêu chuẩn OSWorld. 12 tháng 10, 2024: Một video trình bày được phát hành, cung cấp cái nhìn trực quan về khả năng và tính năng của Agent S, thu hút thêm sự quan tâm từ người dùng và nhà đầu tư tiềm năng. Những dấu mốc trong dòng thời gian không chỉ minh họa sự tiến bộ của Agent S mà còn chỉ ra cam kết của nó đối với sự minh bạch và sự tham gia của cộng đồng. Những Điểm Chính Về Agent S Khi khung Agent S tiếp tục phát triển, một số thuộc tính chính nổi bật, nhấn mạnh tính đổi mới và tiềm năng của nó: Khung Đổi Mới: Được thiết kế để cung cấp cách sử dụng máy tính trực quan giống như tương tác của con người, Agent S mang đến một cách tiếp cận mới cho việc tự động hóa nhiệm vụ. Tương Tác Tự Động: Khả năng tương tác tự động với máy tính thông qua GUI đánh dấu một bước tiến tới các giải pháp tính toán thông minh và hiệu quả hơn. Tự Động Hóa Nhiệm Vụ Phức Tạp: Với phương pháp mạnh mẽ của nó, nó có thể tự động hóa các nhiệm vụ phức tạp, nhiều bước, làm cho các quy trình nhanh hơn và ít sai sót hơn. Cải Tiến Liên Tục: Các cơ chế học tập cho phép Agent S cải thiện từ các trải nghiệm trước đó, liên tục nâng cao hiệu suất và hiệu quả của nó. Tính Linh Hoạt: Khả năng thích ứng của nó trên các môi trường hoạt động khác nhau như OSWorld và WindowsAgentArena đảm bảo rằng nó có thể phục vụ một loạt các ứng dụng rộng rãi. Khi Agent S định vị mình trong bối cảnh Web3 và tiền điện tử, tiềm năng của nó để nâng cao khả năng tương tác và tự động hóa quy trình đánh dấu một bước tiến quan trọng trong công nghệ AI. Thông qua khung đổi mới của mình, Agent S minh họa cho tương lai của các tương tác kỹ thuật số, hứa hẹn một trải nghiệm liền mạch và hiệu quả hơn cho người dùng trên nhiều ngành công nghiệp khác nhau. Kết luận Agent S đại diện cho một bước nhảy vọt táo bạo trong sự kết hợp giữa AI và Web3, với khả năng định nghĩa lại cách chúng ta tương tác với công nghệ. Mặc dù vẫn còn ở giai đoạn đầu, những khả năng cho ứng dụng của nó là rộng lớn và hấp dẫn. Thông qua khung toàn diện của mình giải quyết các thách thức quan trọng, Agent S nhằm đưa các tương tác tự động lên hàng đầu trong trải nghiệm kỹ thuật số. Khi chúng ta tiến sâu hơn vào các lĩnh vực tiền điện tử và phi tập trung, các dự án như Agent S chắc chắn sẽ đóng một vai trò quan trọng trong việc định hình tương lai của công nghệ và sự hợp tác giữa con người với máy tính.

Tổng lượt xem 839Xuất bản vào 2025.01.14Cập nhật vào 2025.01.14

AGENT S là gì

Làm thế nào để Mua S

Chào mừng bạn đến với HTX.com! Chúng tôi đã làm cho mua Sonic (S) trở nên đơn giản và thuận tiện. Làm theo hướng dẫn từng bước của chúng tôi để bắt đầu hành trình tiền kỹ thuật số của bạn.Bước 1: Tạo Tài khoản HTX của BạnSử dụng email hoặc số điện thoại của bạn để đăng ký tài khoản miễn phí trên HTX. Trải nghiệm hành trình đăng ký không rắc rối và mở khóa tất cả tính năng. Nhận Tài khoản của tôiBước 2: Truy cập Mua Crypto và Chọn Phương thức Thanh toán của BạnThẻ Tín dụng/Ghi nợ: Sử dụng Visa hoặc Mastercard của bạn để mua Sonic (S) ngay lập tức.Số dư: Sử dụng tiền từ số dư tài khoản HTX của bạn để giao dịch liền mạch.Bên thứ ba: Chúng tôi đã thêm những phương thức thanh toán phổ biến như Google Pay và Apple Pay để nâng cao sự tiện lợi.P2P: Giao dịch trực tiếp với người dùng khác trên HTX.Thị trường mua bán phi tập trung (OTC): Chúng tôi cung cấp những dịch vụ được thiết kế riêng và tỷ giá hối đoái cạnh tranh cho nhà giao dịch.Bước 3: Lưu trữ Sonic (S) của BạnSau khi mua Sonic (S), lưu trữ trong tài khoản HTX của bạn. Ngoài ra, bạn có thể gửi đi nơi khác qua chuyển khoản blockchain hoặc sử dụng để giao dịch những tiền kỹ thuật số khác.Bước 4: Giao dịch Sonic (S)Giao dịch Sonic (S) dễ dàng trên thị trường giao ngay của HTX. Chỉ cần truy cập vào tài khoản của bạn, chọn cặp giao dịch, thực hiện giao dịch và theo dõi trong thời gian thực. Chúng tôi cung cấp trải nghiệm thân thiện với người dùng cho cả người mới bắt đầu và người giao dịch dày dạn kinh nghiệm.

Tổng lượt xem 1.5kXuất bản vào 2025.01.15Cập nhật vào 2025.03.21

Làm thế nào để Mua S

Thảo luận

Chào mừng đến với Cộng đồng HTX. Tại đây, bạn có thể được thông báo về những phát triển nền tảng mới nhất và có quyền truy cập vào thông tin chuyên sâu về thị trường. Ý kiến ​​của người dùng về giá của S (S) được trình bày dưới đây.

活动图片

Danh mục Phổ biếnright-arrow

Thẻ Nổi bậtright-arrow