# Bài viết Liên quan Bộ nhớ đệm

Trung tâm Tin tức HTX cung cấp những bài viết mới nhất và phân tích chuyên sâu về "Bộ nhớ đệm", bao gồm xu hướng thị trường, cập nhật dự án, phát triển công nghệ và chính sách quản lý trong ngành tiền kỹ thuật số.

Khi những gã khổng lồ Mỹ "đào tẩu" hàng loạt sang mô hình AI Trung Quốc

CEO Coinbase Brian Armstrong gây chấn động khi tiết lộ chuyển sang sử dụng các mô hình AI Trung Quốc GLM và Kimi, cắt giảm một nửa chi phí AI trong khi lượng dùng vẫn tăng. Chiến lược của họ bao gồm ba điểm chính: hệ thống định tuyến tự động chọn mô hình phù hợp theo nhiệm vụ, tối ưu hóa bộ nhớ đệm để tăng tỷ lệ truy xuất lên 60%, và kỹ thuật "Context Engineering" nhằm cung cấp ngữ cảnh chính xác, gọn gàng hơn cho AI. Xu hướng này không chỉ riêng Coinbase. Các công ty như Lindy và Snowflake cũng chuyển sang các mô hình như DeepSeek hay GLM, nhấn mạnh sự chênh lệch giá lớn (ví dụ: đầu ra của GLM rẻ hơn 5-7 lần so với Claude Opus) trong khi chất lượng trên nhiều tác vụ là tương đương. Điều này cho thấy cuộc cạnh tranh AI đang chuyển sang trọng tâm về hiệu quả chi phí. Đối với người dùng, bài học là không nên chỉ phụ thuộc vào một mô hình duy nhất, cần tận dụng bộ nhớ đệm và cung cấp ngữ cảnh tinh gọn để có kết quả tốt hơn với chi phí thấp hơn. Làn sóng chuyển đổi này đang thách thức mô hình định giá của các "gã khổng lồ" AI phương Tây và mang lại nhiều lựa chọn hơn cho thị trường.

链捕手07/03 16:11

Khi những gã khổng lồ Mỹ "đào tẩu" hàng loạt sang mô hình AI Trung Quốc

链捕手07/03 16:11

Việc giảm giá 99% của Xiaomi MiMo không phải là chiêu trò marketing! Luo Fuli đăng X để phản bác những kẻ bi quan

Trong bài viết, tác giả phân tích động thái giảm giá API lên tới 99% cho dòng MiMo-V2.5 của Xiaomi và phản bác các ý kiến cho rằng đây chỉ là chiến lược marketing hay "bán lỗ cướp thị trường". Lộ Phúc Lợi, người đứng đầu MiMo, đã công bố một blog kỹ thuật dài 5000 chữ để giải thích cơ sở kỹ thuật của mức giá mới. Bài viết mô tả sáu trụ cột công nghệ chính cho phép mức giảm giá này: 1. **Kiến trúc Hybrid SWA (Sliding Window Attention):** Giảm dung lượng bộ nhớ tạm (KVCache) xuống còn 1/7 so với Full Attention truyền thống. 2. **Quản lý KVCache hai bể riêng biệt:** Tối ưu hóa việc phân bổ bộ nhớ để triệt để tận dụng lợi thế của SWA, tăng gấp 5 lần số lượng người dùng đồng thời. 3. **Hệ thống tiền tố cache được cải tiến:** Đảm bảo an toàn và nâng cao tỷ lệ trúng cache lên tới 93-95%, khiến phần lớn yêu cầu đọc lặp lại hầu như không cần tính toán lại. 4. **Hệ thống lưu trữ phân tán GCache:** Triển khai trực tiếp trên ổ SSD của máy GPU, giảm chi phí lưu trữ xuống gần bằng 0. 5. **Hệ thống điều phối LLM-Router:** Tối ưu định tuyến và lập lịch, ưu tiên các yêu cầu có cache, tăng hiệu suất tổng thể. 6. **Dự đoán đa token (MTP):** Giảm chi phí tạo văn bản (output), hoàn thiện vòng tròn giảm chi phí cho toàn bộ quá trình xử lý. Những cải tiến này, khi kết hợp, tạo ra một chuỗi tối ưu toàn diện làm giảm đáng kể chi phí tính toán và lưu trữ cho mỗi yêu cầu. Bài viết kết luận rằng mức giảm 99% không phải là con số tiếp thị, mà là kết quả có thể chứng minh của một hệ thống kỹ thuật hoàn chỉnh, một phương pháp giảm chi phí đáng để ngành tham khảo.

marsbit05/31 10:39

Việc giảm giá 99% của Xiaomi MiMo không phải là chiêu trò marketing! Luo Fuli đăng X để phản bác những kẻ bi quan

marsbit05/31 10:39

Tiết kiệm 300 triệu Token trong một tuần, Hướng dẫn Caching của Kỹ sư Anthropic cho Claude Code

Bài viết chia sẻ cách tiết kiệm token khi sử dụng Claude Code thông qua cơ chế cache prompt. Tác giả tiết kiệm được 3 tỷ token trong một tuần, với 91 triệu token cache mỗi ngày. Token được cache có chi phí chỉ bằng 10% token thông thường, giúp kéo dài phiên làm việc và giảm đáng kể chi phí. Cache hoạt động dựa trên nguyên tắc khớp tiền tố (prefix matching) và được chia thành ba lớp: hệ thống, dự án và hội thoại. Để tối ưu, người dùng nên tránh gián đoạn cache bằng cách: không để phiên trống quá 1 giờ (TTL mặc định của Claude Code), chuyển đổi nhiệm vụ một cách rõ ràng thay vì dùng lệnh /clear, và đưa tài liệu lớn vào Projects thay vì dán trực tiếp vào hội thoại. Các thao tác như chuyển đổi mô hình hay bật chế độ "Opus plan" sẽ đặt lại toàn bộ cache. Hiểu và duy trì tỷ lệ cache hit cao có lợi cho cả người dùng và nhà cung cấp, giúp tiết kiệm chi phí và cải thiện hiệu suất.

marsbit05/24 00:38

Tiết kiệm 300 triệu Token trong một tuần, Hướng dẫn Caching của Kỹ sư Anthropic cho Claude Code

marsbit05/24 00:38

3 câu hello là hết hạn mức, định mức Claude Code của bạn đi đâu? Một lỗi cache kéo dài 28 ngày và phản hồi chính thức khuyên bạn 'dùng tiết kiệm'

Claude Code đã trải qua một lỗi cache nghiêm trọng kéo dài 28 ngày, khiến tỷ lệ đọc cache giảm từ mức bình thường 97-99% xuống chỉ còn 4-17%. Lỗi này khiến hệ thống không thể tái sử dụng ngữ cảnh đã xử lý trước đó, buộc phải xử lý lại toàn bộ nội dung mỗi khi người dùng tiếp tục cuộc trò chuyện, làm tiêu hao hạn mức nhanh gấp 10-20 lần. Các báo cáo cho thấy người dùng gặp phải tình trạng hạn mức bị "bốc hơi" chỉ sau vài phút sử dụng, thậm chí một tin nhắn "hello" đơn giản có thể tiêu tốn đến 13% hạn mức. Mặc dù Anthropic đã xác nhận và sửa lỗi, họ không công bố bồi thường mà thay vào đó đưa ra các khuyến nghị như chuyển sang model rẻ hơn, tắt tính năng extended thinking và hạn chế kích thước ngữa cảnh. Phản ứng này bị chỉ trích là đổ lỗi cho cách sử dụng của người dùng thay vì thừa nhận trách nhiệm từ lỗi kỹ thuật kéo dài gần một tháng.

marsbit04/03 09:35