Ngã tư AI: Tại sao Phố Wall nói "Không" với ChatGPT và Claude?

Tác giả: Jeff @IOSG

Ngày 1 tháng 7, CEO của Palantir Alex Karp đã có một cuộc phỏng vấn 20 phút trên CNBC mà một số phương tiện mô tả là "sụp đổ tinh thần". Theo Karp, các doanh nghiệp đang trả phí premium cho token cho các phòng thí nghiệm hàng đầu, đồng thời để lộ IP của mình cho các nhà cung cấp mô hình. Ông gọi sự rò rỉ này là sự chuyển dịch alpha, và sự chuyển dịch này xảy ra ở tầng kiến trúc: mọi yêu cầu gửi đến mô hình nguồn đóng đều đến máy chủ của nhà cung cấp dưới dạng văn bản thuần túy. Chỉ vài ngày trước khi chương trình lên sóng, Palantir vừa thông báo hợp tác với NVIDIA để chạy mô hình Nemotron mở trong môi trường do khách hàng kiểm soát, cùng với một tuyên ngôn chủ quyền AI gồm chín điều. Sau khi chương trình CNBC phát sóng, cổ phiếu PLTR tăng vọt 8%.

Hai mươi năm qua, doanh nghiệp dựa vào sự tin cậy ở tầng giao thức để sử dụng phần mềm đám mây, và điều đó hiệu quả. Mỗi nhà cung cấp SaaS chỉ thấy một lát cắt dữ liệu của doanh nghiệp, và hầu hết cũng không có động lực sử dụng dữ liệu khách hàng để cải thiện sản phẩm cốt lõi. Salesforce thấy kênh bán hàng, Workday thấy nhân sự, Jira thấy quy trình phát triển, AWS cung cấp nền tảng lưu trữ và tính toán. Nhưng luồng công việc AI ngày nay đề xuất tải lên toàn bộ dữ liệu cùng một lúc, cùng với ngữ cảnh có cấu trúc kết nối các bộ phận, để tối đa hóa năng suất. Bỏ qua thiện ý, nhà cung cấp dịch vụ phía trên giờ đây có thể sử dụng những dữ liệu này để xây dựng tính năng mới, thay vì để chúng nằm chết trên máy chủ.

Không ai giảm tốc, doanh thu hàng năm của Anthropic đạt 470 tỷ USD vào tháng 5, tăng mạnh so với 90 tỷ USD vào cuối năm 2025, trong khi OpenAI vào tháng 2 đã vượt 900 triệu người dùng hoạt động hàng tuần. Cả hai công ty đều hoàn thành vòng gọi vốn mới vào mùa xuân năm nay, định giá gần 1 nghìn tỷ USD, và dự kiến IPO với mức vốn hóa thị trường cao hơn. Những cáo buộc về quyền riêng tư và IP trong nhiều năm đều không làm mất đi chút đà nào của hai công ty.

Một số doanh nghiệp đã hành động từ sớm. Tháng 2/2023, chưa đầy ba tháng sau khi ChatGPT ra mắt, các ngân hàng lớn trên Phố Wall đã hạn chế sử dụng. Tháng 5/2023, sau khi các kỹ sư Samsung để lộ mã nguồn chip vào ChatGPT, công ty đã cấm toàn mạng AI sinh. Để đáp lại, OpenAI đã ra mắt ChatGPT Enterprise vào tháng 8 năm đó, cam kết không dùng dữ liệu thương mại để huấn luyện, cùng với giao thức không lưu giữ dữ liệu (zero-data-retention, ZDR), sau này trở thành yêu cầu tiêu chuẩn cho doanh nghiệp mua sắm.

Nhưng hợp đồng chỉ ràng buộc tài khoản công ty. IBM phát hiện, đến năm 2025, AI bóng (shadow AI - nhân viên đưa dữ liệu công ty vào các công cụ AI chưa được phê duyệt thông qua tài khoản cá nhân) đã liên quan đến một phần năm sự cố rò rỉ dữ liệu, và việc sử dụng AI bóng nặng làm tăng thêm trung bình 670 nghìn USD chi phí rò rỉ. Trong một cuộc khảo sát năm 2025 của công ty đào tạo an ninh Anagram, bốn trên mười nhân viên cho biết để hoàn thành công việc nhanh hơn, họ sẵn sàng vi phạm chính sách sử dụng AI.

Doanh nghiệp ít nhất có thể mua lối thoát: hợp đồng ZDR, gói dịch vụ không huấn luyện, triển khai có chủ quyền nếu bạn là khách hàng của chính phủ hoặc Palantir. Còn với người dùng phổ thông như chúng ta, tầm quan trọng của AI riêng tư vẫn còn tranh cãi, cho đến khi giấy triệu tập của tòa án gửi đến.

Một lệnh của tòa án vào tháng 5/2025 đã buộc OpenAI lưu giữ cả các cuộc trò chuyện cấp người dùng đã xóa, đến tháng 11, thẩm phán lại ra lệnh chuyển 20 triệu trong số đó cho luật sư của The New York Times làm tài liệu khám phá chứng cứ. Tiếp theo là các vụ án hình sự: hồ sơ ChatGPT của bị cáo vụ đốt rừng Palisades được đưa vào chứng cứ, một bản tuyên thệ trong vụ án mạng kép ở Florida đã trích dẫn câu hỏi của nghi phạm về cách xử lý thi thể. Sam Altman cũng thừa nhận trong một cuộc phỏng vấn tháng 7/2025 rằng, các cuộc trò chuyện ChatGPT không được bảo vệ bởi đặc quyền pháp lý, và trong các vụ kiện, OpenAI "có thể bị yêu cầu giao nộp" hồ sơ trò chuyện của người dùng.

Điểm mấu chốt không phải là chỉ tội phạm mới cần cuộc trò chuyện riêng tư. Việc các cuộc đối thoại của con người với AI được lưu trữ và có thể bị triệu tập, là một mặt giám sát mà hầu hết người dùng không biết tồn tại. Một cuộc khảo sát của Kolmogorov Law vào tháng 10/2025 với 1000 người dùng AI tại Mỹ phát hiện, 50% không biết những cuộc trò chuyện này có thể bị triệu tập, đồng thời hai phần ba cho rằng những cuộc trò chuyện này nên được bảo vệ tương đương với việc tư vấn luật sư hoặc bác sĩ.

Các mô hình mã nguồn mở tự lưu trữ hoặc chạy trong môi trường có thể xác minh đang nhanh chóng đuổi kịp, nhưng nhóm mạnh nhất vẫn kém các mô hình nguồn đóng hàng đầu khoảng 4 tháng về khả năng tổng quát. Điều này đặt các cá nhân và doanh nghiệp tập trung tối đa token trước một ngã ba: hoặc từ bỏ vài tháng chất lượng mô hình để đổi lấy sự riêng tư này, hoặc tiếp tục gửi tài liệu nhạy cảm lên máy chủ của Anthropic, bởi đối thủ cạnh tranh cũng đang làm vậy để giành lợi thế năng suất.

Hiện tại thị trường chưa có giải pháp hoàn hảo. Báo cáo này tổng hợp các nỗ lực thu hẹp khoảng cách của các bên, quan sát xem trí tuệ tiên tiến dưới sự riêng tư có thể chứng minh được còn bao xa mới được giao đến tay doanh nghiệp và người dùng phổ thông.

AI riêng tư không phải là một công trình đơn lẻ, nhưng mỗi cơ chế trên thị trường hiện nay xử lý cùng một sự kiện: một lời nhắc rời khỏi thiết bị của bạn, đi qua mạng, rơi vào máy chạy mô hình, rồi trả về một phản hồi. Sự khác biệt giữa các cơ chế nằm ở chỗ văn bản thuần túy tồn tại ở đâu trên con đường này, ai có thể đọc được nó ở đó, và bằng cách nào để xác minh tính riêng tư của phản hồi.

Ở tầng này, ngoài bạn vẫn có người đọc được lời nhắc văn bản thuần túy của bạn, và điều gì xảy ra tiếp theo hoàn toàn dựa vào một lời hứa.

• Không lưu giữ dựa trên hợp đồng là giải pháp phiên bản doanh nghiệp. Nhà cung cấp dịch vụ biết bạn là ai, xử lý lời nhắc của bạn, và cam kết không lưu giữ, việc thực hiện dựa vào hợp đồng và danh tiếng.

• Ủy quyền ẩn danh xóa bỏ bạn là ai, nhưng không mã hóa bạn nói gì, nhà cung cấp dịch vụ phía dưới vẫn xử lý văn bản thuần túy theo chính sách riêng. Các điều khoản khác nhau, ví dụ các proxy như Duck.ai (sản phẩm chatbot của DuckDuckGo) sẽ thương lượng giao thức xóa với nhà cung cấp mô hình, trong khi Venice để người dùng mặc định rằng nhà cung cấp dịch vụ sẽ lưu giữ mọi thứ, nhưng cả hai bên đều không thể xác minh.

Mỗi đoạn đường giữa máy với máy đều chạy trên TLS, nó chỉ mã hóa đường ống, bên nhận vẫn có thể đọc được tất cả thông tin. Các bộ chuyển tiếp thường dùng Oblivious HTTP (RFC 9458) để chia tách quyền biết này, nguyên lý giống như nhờ bạn chuyển ghi chú. Người bạn biết ai gửi nhưng không đọc được nội dung, người nhận đọc được nội dung nhưng không biết ai viết. OHTTP đã trở thành tiêu chuẩn IETF từ tháng 1/2024, hiện nhiều công ty đang chạy lưu lượng sản xuất trên các bộ chuyển tiếp OHTTP thuê từ Cloudflare và Fastly.

Đây cũng là giới hạn trên về quyền riêng tư có thể đạt được khi truy cập mô hình nguồn đóng, lý do là một bài toán số học. Chi phí cho một lần huấn luyện cấp hàng đầu hiện nay ở mức hàng tỷ USD, và định giá hàng nghìn tỷ USD của các phòng thí nghiệm này được đặt cược vào việc độc chiếm các trọng số mô hình. Chênh lệch năng lực mô hình kéo dài bao lâu, phí premium sẽ tồn tại bấy lâu, vì vậy các phòng thí nghiệm giữ tệp trọng số như bí mật quốc gia.

Meta đã bị động làm thí nghiệm này. LLaMA ra mắt tháng 2/2023 ban đầu chỉ mở cho nhà nghiên cứu, nhưng chưa đầy một tuần, trọng số đã bị rò rỉ dưới dạng hạt giống lên 4chan. Một tuần nữa, llama.cpp đã cho phép mô hình nhỏ nhất 7B của nó trả lời cục bộ trên một chiếc MacBook, ba ngày sau, Stanford lại tinh chỉnh với dưới 600 USD trên cùng một mô hình để tạo ra trợ lý trò chuyện Alpaca. Vụ rò rỉ này đã đẩy chi phí chạy Llama xuống còn tiền điện, bất kỳ ai có được tệp đều có thể chạy tại nhà. Tháng 7/2023, Meta chính thức mở mã nguồn Llama 2 với giấy phép thương mại kèm điều khoản loại trừ 700 triệu người dùng hoạt động hàng tháng. Trọng số mất, phí premium cũng mất theo.

Về lý thuyết, các phòng thí nghiệm hàng đầu có thể thực hiện chứng thực từ xa (attestation) cho việc suy luận của mô hình nguồn đóng, nhưng attestation chỉ có thể chứng minh đoạn mã nào đã đọc lời nhắc, không chứng minh được đoạn mã đó đã làm gì với nó. Để biết liệu máy chủ có lưu giữ dữ liệu hay không, chúng ta cần kiểm toán mã phục vụ (serving code) và tái tạo nó về mã băm mà phần cứng báo cáo. Nhưng một khi giao mã phục vụ, phòng thí nghiệm cũng giao luôn các kỹ thuật xử lý hàng loạt và lưu đệm hỗ trợ tỷ suất lợi nhuận, và những kỹ thuật này sẽ di chuyển lên mọi thế hệ mô hình trong tương lai. Lý do Apple và Meta có thể thực hiện chứng thực từ xa cho ngăn xếp dịch vụ đằng sau iPhone và WhatsApp là vì lợi nhuận của họ nằm trong thiết bị và quảng cáo, việc công khai mã phục vụ hầu như không tốn kém gì.

Đây là lý do tại sao trọng số và mã phục vụ của các mô hình hàng đầu không thể đến tay bên vận hành bên ngoài. Và không có bên vận hành bên ngoài, sẽ không có attestation của bên thứ ba, không có attestation, quyền riêng tư có thể xác minh chỉ tồn tại trên các mô hình mã nguồn mở.

Mỗi cơ chế trong loại này đều thay thế lời hứa tin cậy bằng các bằng chứng dựa trên phần cứng, mật mã hoặc vật lý, nhưng mỗi cái đều phải trả giá khác nhau cho việc nâng cấp quyền riêng tư, trước hết là chúng chỉ có thể chạy mô hình mã nguồn mở.

• Tính toán bảo mật TEE (Môi trường thực thi đáng tin cậy) chạy suy luận trong enclave phần cứng (một khoang kín trên chip mà ngay cả bên vận hành máy cũng không thể mở), chip sẽ ký một attestation, nêu rõ chính xác mô hình nào, đoạn mã nào đã chạy.

• Lời nhắc chỉ bị niêm phong tại điểm cuối. Trên đường đi qua proxy nền tảng trung gian vẫn còn một vai trò có thể đọc văn bản thuần túy, và chỉ có giao thức ngăn proxy ghi lại hoặc rò rỉ nội dung trung chuyển.

• E2EE (Mã hóa đầu cuối) đóng các bộ chuyển tiếp có thể đọc. Thiết bị người dùng mã hóa lời nhắc bằng khóa của enclave, mỗi bước nhảy trung gian mang theo một phong bì niêm phong chỉ enclave mới có thể mở.

• Sự tin cậy đặt vào phía máy khách. Mã chịu trách nhiệm mã hóa lời nhắc, kiểm tra attestation cũng có khả năng thu hồi sự đảm bảo này. Do đó, E2EE có thể xác minh vừa cần enclave đã được chứng minh, cũng vừa cần mã máy khách mở, có thể tái tạo.

• So với sự đơn giản của TEE, cái giá của E2EE là gánh nặng kỹ thuật, điều này cũng làm chậm tích hợp chức năng. E2EE biến proxy thành một sứ giả gửi mù, vì vậy tất cả chức năng hoạt động dựa trên việc đọc văn bản thuần túy đều phải được xây dựng lại xung quanh khóa máy khách, hoặc chỉ được xây dựng lại bên trong enclave.

• FHE (Mã hóa đồng hình đầy đủ, và các biến thể MPC) đơn giản loại bỏ bên được tin cậy. Máy chủ thực hiện tính toán trên văn bản mã hóa trong một chiếc hộp khóa mà nó không bao giờ mở được, chìa khóa chỉ nằm trong tay bạn, MPC (Tính toán an toàn đa bên) chia lời nhắc thành các phần bí mật phân phối cho nhiều bên, hiệu quả tương đương trừ khi tất cả các bên tham gia đồng lõa.

• Cái giá là tốc độ. FHE tự nhiên chỉ thực hiện phép cộng và nhân, vì vậy các bước phi tuyến cần thiết để biến đổi transformer hoạt động phải được xây dựng lại với chi phí cao. Chi phí suy luận trên văn bản mã hóa gấp 10.000 đến 100.000 lần văn bản thuần túy, ngay cả trên mô hình nhỏ, mỗi token cũng mất vài giây đến vài phút, trong khi không mã hóa chỉ cần mili giây.

• Các chip được thiết kế riêng cho phép toán mã hóa hứa hẹn thu hẹp khoảng cách, nhưng nguyên mẫu đầu tiên mới hoàn thành demo vào đầu năm 2026, phiên bản thương mại còn phải chờ vài năm nữa.

• Suy luận cục bộ trực tiếp xóa bỏ con đường này. Mô hình chạy trên phần cứng của chính bạn, không có bộ chuyển tiếp, không có máy chủ, không có nhà cung cấp dịch vụ, cũng không cần xác minh.

• Cái giá rõ ràng là chi phí và khả năng mô hình. gpt-oss-120b đạt điểm khoảng một nửa GLM-5.2 trên chỉ số Artificial Analysis, nhưng dung lượng 65GB, vượt quá tổng bộ nhớ của hai card đồ họa chơi game hàng đầu trên thị trường. Còn GLM-5.2 độ chính xác đầy đủ chỉ có thể chạy trên nút trung tâm dữ liệu 8 card, riêng GPU đã hơn 300 nghìn USD.

Tuy nhiên, ngoài những hạn chế cấu trúc này, chi phí đưa suy luận vào enclave đang được nén lại. Về suy luận đơn card, các bài kiểm tra chuẩn của nhà cung cấp dịch vụ đám mây enclave Phala cho thấy, tổn thất thông lượng ở chế độ enclave của H100 trung bình dưới 7%, và trên mô hình lớn gần bằng 0, vì chi phí chính nằm ở việc di chuyển dữ liệu vào chip, không phải tính toán bên trong. Về suy luận đa card, GPU thế hệ mới Blackwell của NVIDIA đã hỗ trợ mã hóa trực tiếp lưu lượng giữa các chip, trong khi H100 cũ muốn đạt hiệu quả tương tự chỉ có thể đi vòng qua CPU chủ với băng thông bằng một phần bảy. Các bài kiểm tra chuẩn của chính NVIDIA trên Blackwell cho thấy, tổn thất thông lượng của mô hình 397B ở chế độ enclave dưới 8%. Với những tiến bộ này, tổn thất hiệu suất của chính việc suy luận riêng tư không còn là ràng buộc quyết định.

Thực tế, bản thân enclave hầu như không tăng thêm chi phí vận hành cho bên vận hành. Mọi card H100 từ năm 2023 trở đi đều đi kèm chế độ enclave, chi phí bổ sung là tổn thất thông lượng do mã hóa, không phải chip bổ sung. Hiện tại, giá thuê SKU H100 bảo mật trên Azure vẫn là 8.90 USD mỗi giờ, không mở enclave là 6.98 USD, tương đương với việc tăng giá 27% trên cơ sở hạ tầng đám mây truyền thống. Trong khi đó, trên các nhà khai thác chuyên cung cấp enclave như Phala, H100 chế độ bảo mật đang được cho thuê từ 3.80 USD mỗi giờ, thấp hơn mức giá 3.99 đến 4.29 USD cho card SXM thông thường của Lambda. Về giải pháp API được quản lý, NEAR AI cung cấp gpt-oss-120b với endpoint có attestation với giá 0.15 USD cho mỗi triệu token đầu vào và 0.55 USD đầu ra, ngang bằng với Amazon Bedrock, Together và Groq trên tuyến văn bản thuần túy. Ngay cả với các mô hình cần nhiều chip song song, NEAR AI định giá GLM 5.2 giống hệt Fireworks, và trên Kimi K2.6 lớn hơn thì đầu vào rẻ hơn 15%, đầu ra rẻ hơn 4%.

Mặc dù các nhà cung cấp dịch vụ suy luận riêng tư mới này có thể đang đốt lợi nhuận để giành thị phần (điều này có thể đúng với bất kỳ công ty nào muốn tăng trưởng trên thị trường), nhưng xu hướng cấu trúc là chi phí cho quyền riêng tư đang giảm xuống đối với cả người tiêu dùng và bên vận hành.

Mặc dù chi phí hiệu suất đang được nén lại, vẫn còn một khoảng cách rõ ràng giữa các mô hình hàng đầu và mô hình mã nguồn mở SOTA, một chủ thể theo đuổi tối đa hóa năng suất muốn ở lại hàng đầu vẫn phải tin tưởng các phòng thí nghiệm hàng đầu không đánh cắp IP của mình.

Khoảng cách vẫn còn, nhưng AIA Labs thuộc Bridgewater và Thinking Machines đã đưa ra một nghiên cứu điển hình vào ngày 30 tháng 6: một mô hình mở được tinh chỉnh bằng chú thích chuyên gia, đã đánh bại mô hình hàng đầu cả về độ chính xác lẫn chi phí.

Trong nghiên cứu, nhóm đã tinh chỉnh Qwen3-235B trên Tinker (dịch vụ API tinh chỉnh được quản lý của Thinking Machines). Họ đầu tiên mua chú thích từ nhà cung cấp, sử dụng dữ liệu này để huấn luyện vòng đầu tiên, sau đó chuyển các mẫu phân kỳ cho nhân viên đầu tư của công ty chú thích lại. Quá trình huấn luyện chạy học tăng cường (GRPO), cùng với ba sửa đổi: round-robin batching (mỗi nhiệm vụ lần lượt tạo một batch), CISPO loss (giới hạn trên về mức độ một câu trả lời đơn lẻ có thể kéo mô hình đi xa), on-policy distillation (neo vào checkpoint tối ưu hiện tại, đảm bảo mô hình không học từ các bản sao yếu hơn).

Các nhiệm vụ đều lấy từ luồng công việc hàng ngày của nhân viên đầu tư: một tin tức có quan trọng với chuyên gia đầu tư cấp C-suite không, một tài liệu ngân hàng trung ương có hàm ý hướng thay đổi lãi suất trong tương lai không, lời nói mẫu trong một tài liệu hoặc email bắt đầu từ đâu. Điểm số từ tập kiểm tra độc lập, mô hình hàng đầu đạt điểm trung bình khoảng 50% dưới lời nhắc đơn giản, với lời nhắc chuyên gia cũng chỉ đạt 78.2%, thấp hơn ngưỡng 80% do nhân viên đầu tư đặt ra. Trong khi đó, Qwen được tinh chỉnh đạt 84.7%, theo cách diễn đạt trong bài báo, tương đương với việc mắc ít lỗi hơn 29.8% so với tối ưu hàng đầu, và chi phí suy luận thấp hơn 13.8 lần.

https://thinkingmachines.ai/news/learning-to-replicate-expert-judgment-in-financial-tasks/

Nghiên cứu điển hình này chứng minh mô hình mã nguồn mở có thể chiến thắng về độ chính xác và chi phí, nhưng quá trình huấn luyện vẫn không riêng tư. Dữ liệu chú thích chuyên gia được sử dụng trong quá trình này là dữ liệu riêng của Bridgewater, đi qua dịch vụ của bên thứ ba Tinker, rơi vào cùng cấp độ tin cậy với giao thức ZDR. Quỹ cũng thuê sức mạnh tính toán, toàn bộ quá trình huấn luyện chạy trên các máy mà nó chưa từng kiểm soát. Những người mua muốn công thức này mà không muốn dựa vào giả định tin cậy, hiện nay có rất ít lựa chọn. Thuê cụm GPU trần, quá trình huấn luyện có thể đọc được với bên vận hành đám mây. Mua cụm giải quyết vấn đề lưu trữ dữ liệu, nhưng chi phí tăng vọt.

Tuyến đường có attestation vừa mới đến. Tháng 3, Workshop Labs và Tinfoil ra mắt Silo, một ngăn xếp hậu huấn luyện chạy trong enclave Tinfoil, trên một nút 8 card đơn lẻ, với chìa khóa chỉ do khách hàng nắm giữ. Bài báo đưa ra chi phí enclave là: hai giờ huấn luyện thêm 11 phút, và ngăn xếp này, bằng cách đóng băng trọng số cơ sở, chỉ huấn luyện adapter nhỏ trên đó, có thể chứa một mô hình nghìn tỷ tham số (Kimi K2 Thinking). Khó khăn nằm ở chỗ, học tăng cường cần di chuyển dữ liệu qua lại giữa các thành phần, và chính việc di chuyển dữ liệu là nơi phát sinh chi phí enclave.

Chưa đầy một tháng sau khi Silo ra mắt, Workshop Labs đã được Thinking Machines mua lại, các thành phần cần thiết để chạy một vòng RL kiểu Bridgewater tiếp theo trong enclave, giờ đều thuộc về cùng một công ty.

Còn một vấn đề nằm ngoài tất cả cơ chế suy luận riêng tư. Các cơ chế này quản lý con đường từ lời nhắc đến mô hình, trong khi mỗi lần gọi công cụ bên ngoài do agent khởi xướng, đều mở ra một con đường mà tầng suy luận cơ bản không thể chạm tới. Làn sóng kỹ thuật harness gần đây đã phóng đại vấn đề lên gấp bội, mỗi công cụ, kho lưu trữ bộ nhớ và nguồn dữ liệu được kết nối xung quanh mô hình, đều là một điểm đến khác đọc lát cắt công việc của riêng mình dưới dạng văn bản thuần túy. Máy chủ lịch đọc lịch trình, máy chủ cơ sở dữ liệu đọc truy vấn. Một agent hoàn toàn cục bộ nếu muốn bất cứ thứ gì ngoài tập huấn luyện, vẫn cần chuyển từ khóa tìm kiếm dưới dạng văn bản thuần túy cho công cụ tìm kiếm, máy chủ không đọc được văn bản thuần túy, thì không thể trả lời câu hỏi.

Giải pháp chủ lưu vẫn mặc định nằm ở tầng giao thức. Các công ty như Runlayer và MintMCP sử dụng một cổng trung tâm để quản lý tất cả lưu lượng công cụ, che giấu thông tin nhận dạng cá nhân (PII) trước khi yêu cầu ra ngoài. Cổng đồng thời quyết định máy chủ nào có thể nhận lưu lượng, chặn những máy chưa được kiểm duyệt, và ghi lại điểm đến và nội dung của mỗi lần gọi để lấy chứng cứ. Ngay cả khi các biện pháp kiểm soát này có kiểm toán độc lập (SOC 2), máy chủ công cụ vẫn phải đọc truy vấn văn bản thuần túy để trả lời, việc nó có lưu bản sao hay không phụ thuộc vào các điều khoản lưu giữ riêng, và phải nhân lên với mỗi công cụ trong harness. Hơn nữa, bản thân cổng cũng là một bên đọc phụ thuộc tin cậy được thêm vào trên đường đi, chứ không phải xác minh.

Giải pháp cấp cấu trúc nhắm vào tầng trung gian đó. Ví dụ, Phala lưu trữ máy chủ MCP trực tiếp vào TEE, danh mục bao phủ ví, thực thi mã và nguồn dữ liệu, người dùng có thể xác minh tuyên bố quyền riêng tư bằng một attestation, thay vì tin tưởng bên vận hành. Tuy nhiên, công cụ được lưu trữ TEE cuối cùng vẫn phải giao truy vấn dưới dạng văn bản thuần túy cho nhà cung cấp dịch vụ, enclave chỉ niêm phong người đưa tin, không phải điểm đến.

Chỉ một số ít điểm đến học được cách trả lời mà không cần đọc, nhưng chỉ giới hạn ở truy vấn có cấu trúc. Apple cung cấp truy xuất thông tin riêng tư cho iPhone, cho phép so sánh số điện thoại gọi đến với cơ sở dữ liệu cuộc gọi rác mà không cần tiết lộ số, Microsoft sử dụng cùng một giải pháp cho mật khẩu trong trình duyệt Edge. Queryable Encryption của MongoDB cho phép máy khách mã hóa trường trước khi rời đi, máy chủ chỉ dựa trên văn bản mã hóa có thể hoàn thành khớp bằng và phạm vi.

Nhưng đối với tìm kiếm mở, câu trả lời tốt nhất hiện nay dừng lại ở sự tin cậy, tìm kiếm mã hóa có thể xác minh vẫn chưa ra khỏi phòng thí nghiệm. Brave cam kết không lưu giữ dữ liệu trên chỉ mục 40 tỷ trang của chính họ (thay vì của Google), nhưng nó vẫn nằm ở tầng giao thức. Exa xây dựng một chỉ mục thần kinh, nhúng từ khóa của người dùng thành ngữ nghĩa, sắp xếp kết quả theo khớp ngữ nghĩa, nhưng bước nhúng này vẫn được tính từ văn bản thuần túy trên máy chủ của Exa. Bài báo Tiptoe của MIT năm 2023 sắp xếp thứ tự trên 360 triệu trang web mà không tiết lộ truy vấn, nhưng mỗi lần tìm kiếm đều đốt một lượng lớn sức mạnh tính toán của máy chủ, chất lượng sắp xếp có khoảng cách so với tìm kiếm không mã hóa. Bài báo Wally của Apple năm 2024 giảm chi phí truyền thông tối đa 31 lần bằng cách giấu truy vấn thực trong một đống truy vấn mồi, nhưng toán học này chỉ trở nên rẻ ở quy mô hàng triệu truy vấn đồng thời, một quy mô mà hiện nay không có hệ thống tìm kiếm riêng tư nào sở hữu.

Tìm kiếm mã hóa có thể làm được, chỉ là hiệu suất và giá cả đều chưa đến mức khả thi thương mại.

Nhu cầu về AI riêng tư đang tăng. Venice AI gần đây vượt mốc 3.5 triệu người dùng đăng ký và 1.3 nghìn tỷ token thông lượng hàng tháng, sau đó hoàn thành vòng Series A định giá 10 tỷ USD. Proton là đối thủ trực tiếp của họ, sản phẩm trò chuyện Lumo của họ đạt hơn 10 triệu người dùng trong vòng một năm sau khi ra mắt. Về cơ sở hạ tầng, Phala hiện đang chạy trung bình 2 đến 3 tỷ token mỗi ngày trên OpenRouter. Duck.ai định tuyến gpt-oss-120b và Gemma vào enclave của Tinfoil, cung cấp quyền riêng tư có thể xác minh bên cạnh việc ủy quyền cho người dùng. Điều này chưa tính đến việc tự lưu trữ, rất có thể là kênh suy luận riêng tư lớn nhất, bởi mô hình chạy trên phần cứng của chính bạn, không để lại bất kỳ dấu vết sử dụng nào.

Tuy nhiên, trong làn sóng lớn của AI chủ lưu, AI riêng tư chỉ chiếm một phần cực nhỏ, và khoảng cách này chỉ thu hẹp khi các phòng thí nghiệm hàng đầu có ý định đáp ứng nhu cầu này. Vào tháng 5, toàn bộ sản phẩm của Google xử lý 3200 nghìn tỷ token, tính theo đó, thông lượng một tháng của Venice tương đương với 18 phút của Google. Tháng 11 năm ngoái, Google ra mắt Private AI Compute (PAC), đưa một số tính năng điều khiển bởi Gemini vào chạy trong các enclave TPU kín cách ly với chính công ty, và thiết kế được kiểm toán độc lập bởi NCC Group. Nhưng vấn đề là, PAC chỉ bao phủ một số ít tính năng như đề xuất cá nhân hóa, tóm tắt ghi âm trên Pixel, không bao phủ ứng dụng Gemini mà hàng trăm triệu người đang sử dụng. Google dám giao thiết kế cho bên kiểm toán, vì những tính năng này kiếm tiền từ thiết bị và quảng cáo, không phải từ bán token.

Các giải pháp được quản lý hiện tại cũng không hoàn hảo. Người dùng muốn có quyền riêng tư cao nhất thông qua E2EE phải đợi tính năng mới được xây dựng lại ở nơi mà nhà cung cấp dịch vụ không đọc được. Harness riêng tư ở tầng dịch vụ vẫn phụ thuộc vào giao thức. Huấn luyện hậu kỳ với giá hợp lý, muốn có kết quả tinh chỉnh tốt nhất vẫn phải tin tưởng nhà cung cấp bên thứ ba. Tự lưu trữ loại bỏ tất cả nhà cung cấp dịch vụ cùng một lúc, nhưng chạy mô hình mã nguồn mở mạnh nhất cục bộ, số tiền chi ra có thể còn đắt hơn ngôi nhà chứa nó.

Dù có khiếm khuyết, AI riêng tư đã là một lựa chọn thực tế và có thể chi trả được, những khoảng trống còn lại cũng đang thu hẹp. Đối với người tiêu dùng phổ thông, trên Lumo và Venice, trò chuyện riêng tư với mô hình mở dưới cam kết không nhật ký là miễn phí, đăng ký 18 đến 20 USD của Venice hoặc Tinfoil đưa cùng cuộc trò chuyện đó vào enclave, không đắt hơn một gói đăng ký ChatGPT. Đối với luồng công việc doanh nghiệp, các endpoint có attestation hiện nay thậm chí còn rẻ hơn cả tuyến văn bản thuần túy. Các endpoint như E2EE API của NEAR đã có thể đưa ngữ cảnh được mã hóa vào enclave, trí nhớ, tải lên tệp, chỉ lệnh tùy chỉnh ngày nay đều có thể hoạt động trên nền E2EE. Còn về huấn luyện hậu kỳ có attestation, Vera Rubin NVL72 sắp ra mắt của NVIDIA sẽ mở rộng tính toán bảo mật từ nút 8 card của Blackwell lên giá 72 card, khiến các vòng RL hàng đầu khả thi hơn mà không để lộ IP.

Tuy nhiên, việc nắm bắt giá trị then chốt lại nằm ngoài các tầng giá đang được nén này. Quyền riêng tư gần như miễn phí ở nơi nó đã tồn tại, nhưng chưa bao phủ các luồng công việc agentic chủ lưu. Các nhà khai thác chuyên cho thuê/bán enclave nắm giữ một công tắc trên chip tiêu chuẩn, không phải hào bảo vệ, trong khi các cổng ở tầng giao thức cạnh tranh trên cùng sân chơi với phần mềm trung gian truyền thống. Vị trí phòng thủ được, là một nửa chưa được giải quyết trong báo cáo này: các vòng huấn luyện bị nhốt trong enclave, các lệnh gọi công cụ được niêm phong đầu cuối, chỉ mục tìm kiếm không nhìn thấy từ khóa. Ai làm ra một trong số đó trước, bán thứ mà bất kỳ cuộc chiến giá nào cũng không thể hàng hóa hóa được. Vốn đuổi theo AI riêng tư, nên mua vào khoảng trống, không phải cái công tắc đó.

Vậy, tin tưởng hay xác minh? Đối với các nhiệm vụ nặng về thực thi, nặng về agent, chọn tin tưởng, bởi mỗi lệnh gọi công cụ vốn đã giao văn bản thuần túy đến điểm đích mà enclave không thể niêm phong, và mô hình hàng đầu xứng đáng với giá của nó trong các vòng lặp này. Còn đối với tư duy cấp cao phân biệt một công ty với đối thủ, chọn xác minh. Chiến lược, lập kế hoạch, và những phán đoán được chắt lọc từ nhiều năm kinh nghiệm chuyên môn, chính là phần alpha đang gây tranh cãi. Con đường phía trước, là sử dụng những hiểu biết độc quyền này để tinh chỉnh mô hình mã nguồn mở trong ranh giới do công ty tự kiểm soát. Trong lĩnh vực mà alpha của một công ty nằm ở đó, mô hình mở được chuyên gia điều chỉnh đã đánh bại mô hình hàng đầu cả về độ chính xác lẫn chi phí, và cơ sở hạ tầng để xây dựng nó trong môi trường riêng tư, đang đến từng nút một.