# Bài viết Liên quan Kiến trúc

Trung tâm Tin tức HTX cung cấp những bài viết mới nhất và phân tích chuyên sâu về "Kiến trúc", bao gồm xu hướng thị trường, cập nhật dự án, phát triển công nghệ và chính sách quản lý trong ngành tiền kỹ thuật số.

L2 'Tái hiệu chuẩn': Khi L1 Trở Thành Rollup Của Chính Mình, Cục Diện Cuối Cùng Của Ethereum Là Gì?

"L2 Hiệu chỉnh lại": Khi L1 trở thành Rollup của chính nó, tương lai cuối cùng của Ethereum là gì? Cộng đồng Ethereum từng lo lắng về việc L2 làm xói mòn giá trị của L1 và phá vỡ khả năng kết hợp toàn cầu. Bài viết phân tích sự điều chỉnh mối quan hệ giữa L1 và L2 trong bối cảnh mở rộng quy mô của Ethereum. Định vị mới của L2: Với việc L1 tự nâng cao khả năng xử lý (tăng Gas Limit, zkEVM...), vai trò chính của L2 không còn đơn thuần là cung cấp không gian giao dịch rẻ hơn. Thay vào đó, L2 sẽ chuyển sang cung cấp các chức năng khác biệt mà L1 khó đáp ứng thống nhất, như tối ưu hóa ứng dụng cụ thể, tính riêng tư và mô hình quản trị linh hoạt. L2 sẽ trở thành một dải phổ liên tục từ các Rollup kế thừa bảo mật tối đa của Ethereum đến các môi trường thực thi độc lập hơn. Tương tác & Kết hợp lại: Sự phân mảnh giữa các L2 gây ra vấn đề về thanh khoản và trải nghiệm người dùng. Giải pháp nằm ở việc cải thiện khả năng tương tác, không chỉ là "một nút chuyển chuỗi", mà là làm cho các trạng thái giữa các môi trường thực thi có thể tin cậy lẫn nhau nhanh hơn, thông qua các khung công việc Intent, Lớp Tương tác Ethereum (EIL) và việc rút ngắn đáng kể thời gian xác nhận cuối cùng (finality). L1 như "Rollup của chính nó": Với sự phát triển của hệ thống chứng minh (như zkEVM), trong tương lai, các trình xác thực L1 có thể xác minh trạng thái thông qua bằng chứng mật mã thay vì thực thi lại mọi giao dịch. Điều này chia sẻ kiến trúc "thực thi-tách biệt-xác minh" với Rollup, làm mờ ranh giới truyền thống giữa L1 và L2. Các L2 tiên tiến (Native Rollup) có thể kế thừa trực tiếp hơn khả năng xác minh từ giao thức L1. Tóm lại, tương lai của Ethereum không phải là L1 thay thế L2 hay ngược lại, mà là một hệ sinh thái gồm nhiều môi trường thực thi (L2) đa dạng về chức năng và hiệu suất, nhưng có thể chia sẻ nền tảng bảo mật, thanh khoản và quan hệ trạng thái, từ đó tái tạo lại trải nghiệm "một chuỗi" thống nhất cho người dùng.

marsbit07/21 12:57

L2 'Tái hiệu chuẩn': Khi L1 Trở Thành Rollup Của Chính Mình, Cục Diện Cuối Cùng Của Ethereum Là Gì?

marsbit07/21 12:57

Biến đổi Cấu trúc Transformer, LLM Trở Nên Thông Minh Hơn

Năm 2026, khi ngành công nghiệp mô hình lớn tập trung vào việc nhồi nhét nhiều tham số hơn, một nghiên cứu mới từ Mila, Đại học Cornell và Đại học Montréal đặt ra câu hỏi ngược lại: Điều gì xảy ra nếu chỉ di chuyển các tham số hiện có mà không thêm bất kỳ tham số nào? Bài báo có tên "Tapered Language Models" (TLM) chỉ ra rằng các lớp trong kiến trúc Transformer truyền thống không quan trọng như nhau. Các nghiên cứu về thoát sớm, cắt tỉa lớp và khả năng giải thích đã cho thấy các lớp đầu nắm bắt thông tin cơ bản (như ngữ pháp), trong khi các lớp sau xử lý thông tin cấp cao hơn (như ngữ nghĩa) và thường chỉ "nhấn mạnh lại" các phán đoán hiện có. Thay vì phân bổ tham số đồng đều cho tất cả các lớp, nhóm nghiên cứu đề xuất một thiết kế "hình nón": giảm dần đều chiều rộng của mạng chuyển tiếp (FFN) - thành phần lưu trữ và xử lý thông tin chính của mỗi lớp - từ đầu đến cuối mô hình, trong khi vẫn giữ nguyên tổng số tham số và lượng tính toán. Thử nghiệm trên mô hình Transformer 440M tham số cho thấy, với đường cong giảm dần dạng cosine (chiều rộng đầu gấp 1.5 lần cơ sở, chiều rộng cuối là 0.5 lần), điểm perplexity cải thiện tới 1.84 điểm so với mô hình cơ sở phân bổ đồng đều. Kết quả tích cực này được khẳng định lại trên ba kiến trúc khác (mô hình chú ý có cổng, Hope-attention, Titans) ở quy mô 760M và 1.3B tham số, trên nhiều nhiệm vụ đánh giá như suy luận thường thức và dự đoán ngôn ngữ, mà không làm giảm khả năng xử lý ngữ cảnh dài. Nghiên cứu chứng minh việc phân bổ dung lượng "não bộ" của mô hình một cách có chủ đích - tập trung nhiều hơn vào các lớp đầu nơi xử lý thông tin đa dạng - là một đòn bẩy hiệu quả gần như miễn phí. Phương pháp này mở ra hướng đi mới không chỉ cho mô hình ngôn ngữ mà còn cho các mô hình Thị giác Transformer, khuếch tán và đa phương thức vốn kế thừa thiết kế phân bổ đồng đều truyền thống.

marsbit06/29 12:55

Biến đổi Cấu trúc Transformer, LLM Trở Nên Thông Minh Hơn

marsbit06/29 12:55

Nghiên cứu mới của nhóm Hà Khải Minh: Sau khi xóa VAE và dữ liệu riêng tư, việc tạo ảnh từ văn bản lại còn mạnh hơn

Nhóm của He Kaiming đã giới thiệu MiniT2I, một mô hình tạo ảnh từ văn bản cực kỳ đơn giản, hoạt động trực tiếp trên không gian pixel mà không cần bộ mã hóa-giải mã VAE. Mô hình này sử dụng kiến trúc Transformer thuần túy (MM-JiT) với hai bộ chuyển đổi văn bản để tích hợp điều kiện, loại bỏ cơ chế tiêm điều kiện AdaLN phức tạp. Nó được huấn luyện theo hai giai đoạn hoàn toàn bằng dữ liệu công khai, với chi phí thấp (3 ngày trên 8 GPU H100). Phiên bản 258M tham số đạt điểm cao trong các bài đánh giá GenEval và DPG-Bench, vượt trội so với các mô hình pixel cùng loại có kích thước lớn hơn nhiều lần. Mặc dù vẫn tồn tại một số hạn chế như hiện tượng rạn nứt ở biên các patch pixel, tác dụng phụ của CFG và khả năng hiển thị văn bản chưa tối ưu, MiniT2I chứng minh rằng việc tạo ảnh từ văn bản chất lượng cao có thể đạt được với kiến trúc tối giản, dữ liệu mở và nguồn lực tính toán học thuật, mở ra hướng tiếp cận "tinh gọn" thay vì "chồng chất phức tạp" trong lĩnh vực này.

marsbit06/22 10:19

Nghiên cứu mới của nhóm Hà Khải Minh: Sau khi xóa VAE và dữ liệu riêng tư, việc tạo ảnh từ văn bản lại còn mạnh hơn

marsbit06/22 10:19

Phân Tích Hook của Uniswap v4: Thiết Kế Kiến Trúc, Lỗ Hổng Phổ Biến và Thực Hành Phòng Ngừa

Kể từ khi Uniswap v4 ra mắt mainnet, cơ chế Hook đã trở thành một trong những đổi mới được chú ý nhất trong DeFi. Bài viết này phân tích kiến trúc Hook của Uniswap v4, các lỗ hổng bảo mật phổ biến và thực hành phòng ngừa. Trọng tâm của v4 là hợp đồng PoolManager đơn lẻ và mô hình unlock/callback. Mọi thay đổi trạng thái pool phải thông qua PoolManager.unlock(), với ràng buộc then chốt là NonzeroDeltaCount phải bằng 0 khi kết thúc giao dịch. Mỗi pool được liên kết với một hợp đồng Hook cố định, được PoolManager gọi lại tại các điểm sự kiện quan trọng (ví dụ: beforeSwap, afterAddLiquidity). Quyền hạn của Hook được mã hóa trong 14 bit thấp của địa chỉ triển khai, đòi hỏi phải tính toán cẩn thận bằng công cụ như HookMiner. Bài viết chỉ ra nhiều lỗ hổng và điểm rủi ro tiềm ẩn: - **Kiểm soát truy cập thiếu sót:** BaseHook ban đầu chỉ bảo vệ unlockCallback(), để các hàm hook khác (beforeSwap, afterSwap...) không có bảo vệ, cần được triển khai thủ công. - **Ràng buộc pool lỏng lẻo:** PoolManager không giới hạn việc một Hook có thể được sử dụng cho nhiều pool. Hook cần tự triển khai whitelist hoặc cơ chế ràng buộc đơn pool trong beforeInitialize. - **Async/Custom Curve Hook rủi ro cao:** Hook có thể chặn toàn bộ số lượng swap (bằng cách trả về delta phủ định), thay thế hoàn toàn logic swap gốc của Uniswap, trở thành một hợp đồng tài chính tự trị cần được kiểm toán cực kỳ nghiêm ngặt. - **Kế toán Delta chỉ đảm bảo "bảo toàn", không đảm bảo "chính xác":** NonzeroDeltaCount == 0 đảm bảo sổ sách cân bằng cuối kỳ, nhưng không ngăn nội dung sổ sách bị thao túng độc hại. - **Nhầm lẫn loại token:** Khi giao thức cho phép người dùng tạo thị trường, việc xác thực ngữ nghĩa token là bắt buộc, không thể chỉ dựa vào kiểm tra interface. Sự cố bảo mật của Cork Protocol được nêu làm ví dụ, cho thấy sự phức tạp trong kiểm toán Hook v4: mỗi Hook là một vùng tin cậy độc lập, và việc kiểm toán phải bao quát toàn bộ "giao thức con" tương tác phức tạp, chứ không chỉ riêng mã hợp đồng Hook. Sự thay đổi này đòi hỏi nâng cấp phương pháp luận từ cả phía dự án và nhà kiểm toán.

marsbit06/22 08:08

Phân Tích Hook của Uniswap v4: Thiết Kế Kiến Trúc, Lỗ Hổng Phổ Biến và Thực Hành Phòng Ngừa

marsbit06/22 08:08

Xiaopeng, NIO đua tranh sức mạnh tính toán, Lixiang thay đổi kiến trúc

Ngày 15/6, Lixiang (Lý Tưởng) đã công bố chip tự nghiên cứu Makhê M100 dành cho L9 Livis thế hệ mới, tập trung vào việc thay đổi kiến trúc cốt lõi thay vì chỉ chạy đua về hiệu năng TOPS như các hãng xe NIO (Vị Lai), Xpeng (Tiểu Bằng) hay Huawei (Hoa Vi). Chip này sử dụng kiến trúc luồng dữ liệu động nhằm tối ưu việc xử lý dữ liệu cho mô hình AI lớn, hứa hẹn hiệu suất tính toán hiệu dụng cao gấp 3 lần và giảm độ trễ 40% so với một số chip đối thủ. Thiết kế của M100 đã được công nhận tại hội nghị học thuật ISCA 2026. Buổi ra mắt cũng giới thiệu tầm nhìn "xe thông minh thể hiện" (embodied AI) của Lixiang, tích hợp khả năng tự lái, trợ lý AI và trải nghiệm tương tác. Hãng cam kết mô hình tự lái Makhê VLA sẽ ngang bằng Tesla FSD V14 vào Q4/2026, với các bản cập nhật OTA cụ thể theo từng tháng. Bối cảnh tài chính của Lixiang đang thách thức khi doanh thu và lợi nhuận giảm, nhưng ngân sách R&D cho AI vẫn được duy trì. Mục tiêu doanh số năm 2026 là 550.000 xe. Chip M100 mang lại lợi thế tối ưu hóa toàn bộ hệ thống tự nghiên cứu, nhưng cũng đi kèm rủi ro về chi phí chuyển đổi nếu công nghệ thay đổi. Hiệu quả thực tế sẽ được kiểm chứng từ đợt OTA tháng 7 và mục tiêu cuối năm.

marsbit06/16 04:54

Xiaopeng, NIO đua tranh sức mạnh tính toán, Lixiang thay đổi kiến trúc

marsbit06/16 04:54

Sau khi các đạo luật GENIUS và CLARITY được thông qua, kiến trúc đúng đắn cho lợi suất trên chuỗi là gì?

Bài viết thảo luận về cấu trúc tín dụng trên chuỗi phù hợp sau khi các đạo luật GENIUS và CLARITY được thông qua. Tác giả phân biệt ba thị trường tín dụng trên chuỗi: cho vay thế chấp vượt mức (như Aave, Compound), cho vay không thế chấp (thất bại lịch sử), và tín dụng có tài sản bảo đảm (Asset-Backed Credit - ABC). ABC, với tài sản thế chấp ngoài chuỗi có thể định danh, quyền đòi nợ hợp pháp và cơ chế thu hồi, được xem là loại hình duy nhất giải quyết được vấn đề lựa chọn ngược (adverse selection) – khi những người vay rủi ro nhất lại tích cực tìm kiếm vốn nhất. Bài viết chỉ ra rằng thị trường Tài sản Thế giới Thực (RWA) trên chuỗi, đặc biệt là tín dụng tư nhân được mã hóa, đang tăng trưởng mạnh mẽ (259.6 tỷ USD vào 06/2026). Tuy nhiên, phần lớn hiện tại chỉ là "bao bì quỹ được mã hóa", kế thừa rủi ro từ nhà quản lý quỹ ngoài chuỗi mà không giải quyết triệt để vấn đề lựa chọn ngược ở cấp độ giao thức. Đạo luật GENIUS (cấm nhà phát hành stablecoin trả lãi) và CLARITY (dự kiến cấm các nền tảng trả lãi trên số dư stablecoin) đang thay đổi cục diện. Chúng thu hẹp các cách hợp pháp để tạo ra lợi nhuận từ đồng USD trên chuỗi, đẩy mạnh vai trò của "kho tiền" (vault) theo tiêu chuẩn như ERC-4626 như là sản phẩm đầu tư riêng biệt để phân phối lợi nhuận. Tác giả nhấn mạnh rằng thiết kế kho tiền, nơi mã hóa công tác thẩm định tín dụng, cấu trúc và cơ chế thu hồi, là lựa chọn kiến trúc quan trọng nhất. Trong tương lai, kho tiền được thiết kế tốt, tuân thủ quy định và tập trung vào ABC sẽ là chìa khóa để cung cấp lợi nhuận minh bạch, hợp pháp trong môi trường hậu GENIUS/CLARITY, tận dụng nhu cầu vốn khổng lồ từ thị trường stablecoin (khoảng 3230 tỷ USD).

Foresight News06/11 11:16

Sau khi các đạo luật GENIUS và CLARITY được thông qua, kiến trúc đúng đắn cho lợi suất trên chuỗi là gì?

Foresight News06/11 11:16

Vượt qua "Bức tường Bộ nhớ": Cuộc Cách mạng ở Cấp độ Wafer và Lộ trình Tính toán trong Thời đại Suy luận AI

Năm 2026, chi phí đầu tư cho suy luận AI của các nhà cung cấp điện toán đám mây quy mô lớn lần đầu tiên vượt quá chi phí cho huấn luyện, đánh dấu bước chuyển từ "luyện mô hình lớn" sang "sử dụng mô hình lớn". Trong thời đại suy luận, điểm nghẽn chính chuyển sang "tường bộ nhớ" (memory wall), nơi chi phí và độ trễ di chuyển dữ liệu giữa GPU và DRAM (như HBM) vượt xa bản thân tính toán. Cerebras Systems, với kiến trúc động cơ quy mô wafer (WSE), đề xuất một giải pháp triệt để: thay vì cắt một tấm wafer thành nhiều chip nhỏ, họ sử dụng gần như toàn bộ wafer làm một chip khổng lồ duy nhất. Chip WSE-3 mới nhất cung cấp băng thông bộ nhớ trên chip cực cao nhờ 44GB SRAM, lên tới 21 PB/s, cao hơn 2625 lần so với GPU B200 của NVIDIA, giúp giảm đáng kể độ trễ trong suy luận mô hình lớn. Trong kiến trúc của Cerebras, trọng số mô hình được lưu trữ bên ngoài trên MemoryX và được truyền theo từng lớp đến chip khi cần, cho phép thông lượng token nhanh hơn từ 1.5 đến 5 lần so với B200 trong các mô hình khác nhau. Nó cũng có lợi thế lớn về hiệu suất năng lượng cho kết nối trên chip. Tuy nhiên, Cerebras phải đối mặt với những thách thức: lợi thế SRAM có thể chạm trần vật lý do giới hạn thu nhỏ theo tiến trình bán dẫn, yêu cầu hệ thống làm mát chuyên dụng, băng thông I/O ra bên ngoài thấp gây khó khăn cho mở rộng quy mô lớn, và hệ sinh thái phần mềm độc quyền. Các gã khổng lồ công nghệ đang theo đuổi nhiều con đường khác để giải quyết điểm nghẽn suy luận, bao gồm tự phát triển ASIC (như TPU, Maia), tận dụng công nghệ đóng gói tiên tiến phổ biến (như SoW của TSMC), và khám phá kết nối/quang học. Áp lực thương mại cũng rất lớn, khi Cerebras phải chuyển đổi thành nhà cung cấp dịch vụ đám mây và triển khai năng lực trung tâm dữ liệu khổng lồ theo các hợp đồng. Tóm lại, cuộc đua kiến trúc suy luận AI là về sự đánh đổi: Cerebras tối ưu hóa cực độ cho độ trễ thấp trên một wafer, trong khi NVIDIA duy trì tính linh hoạt và thông lượng cao thông qua kiến trúc cụm GPU. Tương lai của cả hai hướng đi vẫn chưa được định đoạt, phụ thuộc vào sự phát triển của tải công việc và công nghệ.

marsbit06/05 11:10

Vượt qua "Bức tường Bộ nhớ": Cuộc Cách mạng ở Cấp độ Wafer và Lộ trình Tính toán trong Thời đại Suy luận AI

marsbit06/05 11:10

GitHub Bị Thủng Lỗ Do AI

Ngày 9/2, GitHub gặp sự cố toàn diện với cảnh báo vàng và nhiều dịch vụ như API, Actions, Copilot ngừng hoạt động. Nguyên nhân cốt lõi xuất phát từ việc giảm thời gian làm mới cache cấu hình người dùng từ 12 giờ xuống 2 giờ, gây ra "cơn bão" làm mới cache tập trung và dẫn đến hiệu ứng domino làm tê liệt cơ sở dữ liệu xác thực. Đây không phải là sự cố duy nhất. Đầu năm 2026, GitHub ghi nhận ít nhất 8 sự cố lớn trong 3 tháng, không duy trì được cam kết 99,9% khả dụng. Mô hình tăng trưởng tải đã thay đổi triệt để: AI Agent đang trở thành "người dùng" tích cực nhất. Chỉ riêng Claude Code đóng góp 4,5% commit công khai, tăng 25 lần trong 3 tháng. Lượng commit dự kiến năm 2026 có thể gấp 14 lần năm 2025. Các luồng làm việc của Agentic AI, chạy song song và liên tục, gây áp lực chưa từng có lên cơ sở hạ tầng được thiết kế cho nhịp độ của con người. Đồng thời, mô hình định giá theo chỗ ngồi của Copilot bị phá vỡ khi một số ít người dùng nặng có thể tiêu thụ tài nguyên tính toán trị giá hàng trăm USD với mức phí thấp. GitHub đã phải chuyển sang tính phí theo lượng sử dụng từ ngày 1/6. Để đối phó, GitHub không chỉ mở rộng quy mô mà cần **thiết kế lại kiến trúc** cho quy mô gấp 30 lần hiện tại, bao gồm tách biệt dịch vụ, ngăn chặn lỗi lan truyền và quản lý thay đổi chặt chẽ hơn. Bản chất vấn đề không chỉ là lưu lượng tăng mà là sự thay đổi trong cách sử dụng. GitHub, từ nền tảng cộng tác của con người, đang dần trở thành "ống xả" cho các quy trình làm việc tự động của AI. Sự cố này không đơn thuần là một lỗi kỹ thuật, mà là tín hiệu cho thấy ngành công nghiệp phát triển phần mềm đã bước vào một kỷ nguyên mới.

marsbit06/04 10:42

GitHub Bị Thủng Lỗ Do AI

marsbit06/04 10:42

Việc giảm giá 99% của Xiaomi MiMo không phải là chiêu trò marketing! Luo Fuli đăng X để phản bác những kẻ bi quan

Trong bài viết, tác giả phân tích động thái giảm giá API lên tới 99% cho dòng MiMo-V2.5 của Xiaomi và phản bác các ý kiến cho rằng đây chỉ là chiến lược marketing hay "bán lỗ cướp thị trường". Lộ Phúc Lợi, người đứng đầu MiMo, đã công bố một blog kỹ thuật dài 5000 chữ để giải thích cơ sở kỹ thuật của mức giá mới. Bài viết mô tả sáu trụ cột công nghệ chính cho phép mức giảm giá này: 1. **Kiến trúc Hybrid SWA (Sliding Window Attention):** Giảm dung lượng bộ nhớ tạm (KVCache) xuống còn 1/7 so với Full Attention truyền thống. 2. **Quản lý KVCache hai bể riêng biệt:** Tối ưu hóa việc phân bổ bộ nhớ để triệt để tận dụng lợi thế của SWA, tăng gấp 5 lần số lượng người dùng đồng thời. 3. **Hệ thống tiền tố cache được cải tiến:** Đảm bảo an toàn và nâng cao tỷ lệ trúng cache lên tới 93-95%, khiến phần lớn yêu cầu đọc lặp lại hầu như không cần tính toán lại. 4. **Hệ thống lưu trữ phân tán GCache:** Triển khai trực tiếp trên ổ SSD của máy GPU, giảm chi phí lưu trữ xuống gần bằng 0. 5. **Hệ thống điều phối LLM-Router:** Tối ưu định tuyến và lập lịch, ưu tiên các yêu cầu có cache, tăng hiệu suất tổng thể. 6. **Dự đoán đa token (MTP):** Giảm chi phí tạo văn bản (output), hoàn thiện vòng tròn giảm chi phí cho toàn bộ quá trình xử lý. Những cải tiến này, khi kết hợp, tạo ra một chuỗi tối ưu toàn diện làm giảm đáng kể chi phí tính toán và lưu trữ cho mỗi yêu cầu. Bài viết kết luận rằng mức giảm 99% không phải là con số tiếp thị, mà là kết quả có thể chứng minh của một hệ thống kỹ thuật hoàn chỉnh, một phương pháp giảm chi phí đáng để ngành tham khảo.

marsbit05/31 10:39

Việc giảm giá 99% của Xiaomi MiMo không phải là chiêu trò marketing! Luo Fuli đăng X để phản bác những kẻ bi quan

marsbit05/31 10:39

Alumni TH Thanh Hoa U00 tuổi Vương Quan ra tác phẩm mới: Dùng 1/900 token, 1/432 sức tính toán, làm đảo lộn mô hình tiền huấn luyện Transformer

Cựu sinh viên Thanh Hoa 00 hậu Vương Quan và nhóm nghiên cứu công bố mô hình HRM-Text, một phương pháp huấn luyện tiền ngôn ngữ hiệu quả sử dụng Mô hình tuần hoàn phân tầng (HRM) thay thế Transformer tiêu chuẩn. Với chỉ 1B tham số và được huấn luyện trên 40B token duy nhất, chi phí ước tính khoảng 1500 USD, HRM-Text đạt hiệu suất tương đương các mô hình nguồn mở từ 2B đến 7B tham số trên các bài kiểm tra chuẩn như MMLU (60.7%) và GSM8K (84.5%). Phương pháp này tiết kiệm đáng kể tài nguyên: sử dụng ít hơn từ 100-900 lần token huấn luyện và 96-432 lần ước tính tính toán so với baseline tiêu chuẩn. Thiết kế chính bao gồm: kiến trúc HRM với module H (chậm) và L (nhanh) cho phép cập nhật đệ quy nhiều lượt trên cùng một token để tăng độ sâu tính toán; và mục tiêu huấn luyện tập trung vào các cặp chỉ dẫn-câu trả lời, chỉ tính toán mất mát trên phần trả lời với cơ chế che PrefixLM. Thử nghiệm cho thấy HRM vượt trội về hiệu quả kiến trúc và ổn định huấn luyện so với Transformer ở cùng quy mô FLOPs. Các hướng phát triển tương lai bao gồm tách biệt "kiến thức" và "suy luận", cơ chế thời gian tính toán thích ứng, xác thực khả năng mở rộng quy mô hơn nữa, và tối ưu hóa việc triển khai PrefixLM trong các framework suy luận thực tế.

marsbit05/26 03:18

Alumni TH Thanh Hoa U00 tuổi Vương Quan ra tác phẩm mới: Dùng 1/900 token, 1/432 sức tính toán, làm đảo lộn mô hình tiền huấn luyện Transformer

marsbit05/26 03:18

活动图片

Danh mục Phổ biếnright-arrow

Thẻ Nổi bậtright-arrow

Chính sách Quản lýright-arrow