Tác giả: Ben Thompson
Biên dịch: Deep Tide TechFlow
Dẫn nhập Deep Tide: Mô hình mới Fable của Anthropic vừa ra mắt hai tháng đã bị chính phủ Mỹ yêu cầu dừng khẩn cấp, bề ngoài là vì "rò rỉ an ninh", nhưng thực chất lộ ra cuộc chiến kép của phòng thí nghiệm AI với chính phủ và với ngành phần mềm. Công ty này với điểm bán là "an toàn", đang biến tường thuật về an toàn thành hào bảo vệ thương mại, và thứ họ thực sự muốn chiếm đoạt là dữ liệu người dùng đang nằm trong tay những gã khổng lồ như Microsoft.
Tôi hiểu lập trường của những người hay chế giễu, họ luôn cho rằng các tuyên bố công khai của Anthropic – đặc biệt là ngôn từ khi phát hành mô hình – là để gieo rắc nỗi sợ hãi nhằm mục đích tiếp thị. Hai tháng trước, Anthropic thông báo ra mắt Mythos Preview, tuyên bố rằng mô hình này quá nguy hiểm để công khai, đặc biệt là khả năng an ninh mạng mạnh mẽ của nó. Rồi hai tháng sau, công ty công bố rộng rãi Fable, tức phiên bản Mythos đã được thêm các hàng rào an toàn.
Dựa trên trải nghiệm sử dụng hạn chế của tôi, Fable quả thực là một mô hình xuất sắc. Giờ đây, ngoài hiệu suất lập trình ra, thật khó để đánh giá mô hình một cách khách quan, nhưng cảm nhận chủ quan vẫn có, tôi thấy trải nghiệm tương tác với Fable cực kỳ tuyệt vời; nó khiến các mô hình khác, bao gồm GPT 5.5 và Opus 4.8, trông có vẻ nhỏ bé và ngu ngốc. Tôi chỉ từng có cảm giác này hai lần trước đây, một lần là với GPT-4, một lần với Grok 4, cả hai đều đại diện cho một thế hệ mới về quy mô và độ phức tạp của mô hình cơ sở; tôi cảm thấy Fable bắt nguồn từ một đợt huấn luyện trước mới, là mô hình đầu tiên của thế hệ mới.
Vì vậy, tôi hoàn toàn chấp nhận việc Fable/Mythos thực sự mạnh hơn trong việc nhận diện và khai thác các vấn đề an ninh, và việc Anthropic thận trọng khi đưa ra là có lý do. Nhưng vấn đề của việc phát hành công khai một mô hình là các hàng rào có thể bị vượt qua, và rõ ràng điều đó đã xảy ra không lâu sau khi phát hành.
Anthropic một lần nữa đối đầu với chính phủ Mỹ
Những gì xảy ra tiếp theo có phần không rõ ràng. Anthropic viết trong bài đăng trên blog:
Chính phủ Hoa Kỳ viện dẫn quyền hạn an ninh quốc gia, đã ban hành chỉ thị kiểm soát xuất khẩu, tạm dừng mọi truy cập của công dân nước ngoài vào Fable 5 và Mythos 5, bất kể ở trong hay ngoài lãnh thổ Mỹ, bao gồm cả nhân viên nước ngoài của Anthropic. Hiệu lực thực tế của mệnh lệnh này là, chúng tôi phải đột ngột vô hiệu hóa Fable 5 và Mythos 5 cho tất cả khách hàng để đảm bảo tuân thủ. Truy cập vào tất cả các mô hình Anthropic khác không bị ảnh hưởng.
Chúng tôi nhận được chỉ thị của chính phủ vào lúc 5:21 chiều theo giờ ET ngày hôm nay. Thư không cung cấp chi tiết cụ thể về mối lo ngại an ninh quốc gia. Chúng tôi hiểu rằng chính phủ cho rằng đã phát hiện ra phương pháp vượt qua hoặc "vượt rào" Fable 5. Chúng tôi đã xem xét các minh họa sử dụng kỹ thuật cụ thể này để nhận diện một số lượng nhỏ các lỗ hổng nhỏ đã biết. Các lỗ hổng này có vẻ đều tương đối đơn giản, chúng tôi nhận thấy các mô hình có sẵn công khai khác cũng có thể phát hiện ra chúng mà không cần vượt rào.
Anthropic sau đó lập luận rằng việc vượt rào không phổ quát là không thể tránh khỏi và phạm vi hạn chế, không có bằng chứng cho thấy tồn tại việc vượt rào phổ quát; và việc vượt rào được phát hiện dường như do Amazon báo cáo, điều này đáng chú ý vì Amazon vừa là nhà đầu tư của Anthropic, vừa là nhà cung cấp dịch vụ suy luận chính của công ty. Vào thời điểm tôi viết bài này, các giám đốc điều hành của Anthropic đang ở Washington D.C., cố gắng giải quyết vấn đề mà họ khẳng định là hiểu lầm, còn các quan chức Nhà Trắng thì ám chỉ rằng ban lãnh đạo công ty thờ ơ trước những lo ngại chính đáng về an ninh quốc gia.
Xét có quá nhiều sự thật đang tranh cãi, tôi thực sự không có gì để bổ sung cho cuộc xung đột hiện tại; nhưng tôi không ngạc nhiên khi cuộc xung đột đang xảy ra: tôi đã giải thích trong bài viết "Anthropic và Sự Liên kết" rằng xung đột giữa chính phủ Mỹ và Anthropic là không thể tránh khỏi. Về vấn đề này, những người cho rằng Mythos chưa đủ mạnh để chính phủ có hành động quyết liệt đã bỏ lỡ trọng tâm: nếu bây giờ chưa đủ mạnh, thì mô hình tiếp theo sẽ là, hoặc mô hình sau nữa, đặc biệt là khi các mô hình ngày càng hữu ích trong việc tạo ra thế hệ kế thừa.
Tuy nhiên, điều này dẫn đến một câu hỏi khác – một câu hỏi dường như xác nhận quan điểm của những người chế giễu: nếu Mythos nguy hiểm như vậy, tại sao ngay từ đầu lại phát hành Fable, tại sao lại chống đối chính phủ để làm điều bạn tuyên bố muốn làm? Thực tế, tôi cho rằng hành vi của Anthropic là hoàn toàn có thể hiểu được; điểm độc đáo của công ty nằm ở cách họ biện minh cho những hành vi này, và chính những lời biện minh này vừa cung cấp nhiên liệu cho những người chế giễu, vừa mang lại sức mạnh ma thuật cho Anthropic.
Tất yếu kinh tế
Trong những năm đầu của AI, giá trị kinh tế nhiều nhất chảy về phía sức mạnh tính toán, lý do rõ ràng: chúng ta không có đủ nguồn cung để đáp ứng nhu cầu, điều đó có nghĩa là giá cả tăng vọt; những người hưởng lợi lớn nhất là Nvidia, TSMC và các nhà sản xuất bộ nhớ (SK Hynix, Samsung và Micron). Trong khi đó, Anthropic và OpenAI cùng nhau lỗ hàng trăm tỷ đô la để xây dựng các mô hình tiên phong, và những mô hình này một khi được phát hành, đã bị chưng cất và hàng hóa hóa bởi các mô hình mã nguồn mở, chủ yếu từ Trung Quốc.
Điều này đại diện cho viễn cảnh bi quan của các phòng thí nghiệm – họ sẽ không bao giờ có thể bù đắp chi phí, vì sự khác biệt của họ chỉ là tạm thời, và các giải pháp thay thế miễn phí trở nên "đủ tốt" – tôi cho rằng điều này là hợp lý. Trong một thế giới mà các mô hình có thể hoán đổi cho nhau, mô hình là hàng hóa, và phần lớn giá trị sẽ chảy về nơi khác. Hiện tại là sức mạnh tính toán, nhưng theo thời gian, khi chúng ta có đủ sức mạnh tính toán, vị trí có giá trị nhất trong chuỗi giá trị sẽ là nơi luôn có giá trị nhất: sở hữu điểm tiếp xúc người dùng.
Do đó, các phòng thí nghiệm tiên phong có một tất yếu kinh tế là phải tiến gần hơn đến người dùng, điều này với tôi là rất rõ ràng. Nếu bạn sở hữu điểm tiếp xúc người dùng, thì bạn có sự ràng buộc có ý nghĩa, và cách tốt nhất để sở hữu điểm tiếp xúc người dùng là trở thành bức tranh cho mọi thứ họ cần làm. Điều này tiếp tục có nghĩa là các phòng thí nghiệm tiên phong đang đi đến xung đột với các công ty phần mềm: chính phần mềm sở hữu điểm tiếp xúc người dùng, và lợi ích dài hạn của các phòng thí nghiệm tiên phong không đơn giản là trở thành đầu vào hàng hóa cho phần mềm, mà là trực tiếp thay thế phần mềm.
Trong khi đó, các công ty phần mềm đang nỗ lực làm điều ngược lại. Satya Nadella đã trình bày tầm nhìn của mình về cách công ty nên xây dựng trên các mô hình trong một bài đăng trên X:
Mỗi công ty đều phải xây dựng thứ mà tôi gọi là vốn nhân lực và vốn token. Vốn nhân lực bao gồm kiến thức, phán đoán, mối quan hệ, óc sáng tạo và nhận dạng mẫu của nhân viên, trong khi vốn token là khả năng AI mà công ty xây dựng và sở hữu. Điều quan trọng là, khi vốn token phát triển, vốn nhân lực không trở nên kém giá trị hơn. Nó chỉ trở nên có giá trị hơn! Tôi tin rằng sự chủ động của con người sẽ là động lực thúc đẩy sự phát triển của vốn token. Con người sẽ đặt ra các mục tiêu đầy tham vọng, kết nối các điểm giữa các lĩnh vực, thiết lập các mối quan hệ và nhận diện các mẫu quan trọng nhất. Không có sự hướng dẫn của con người, sức mạnh tính toán của bạn chỉ đang quay trống.
Điều này có nghĩa cơ hội thực sự không nằm ở việc chọn mô hình tốt nhất, mà là xây dựng vòng lặp học tập trên các mô hình, để vốn nhân lực và vốn token cùng tăng lãi kép. Bạn có thể thuê ngoài một nhiệm vụ, thậm chí một công việc, nhưng bạn không bao giờ có thể thuê ngoài việc học của mình. Tương lai của công ty là khả năng để việc học này tăng lãi kép giữa con người và AI. Điều này đòi hỏi một cách tiếp cận kiến trúc mới, cho phép mọi doanh nghiệp xây dựng các hệ thống tác nhân thông minh được cải thiện theo thời gian, đồng thời vẫn giữ quyền kiểm soát đối với tài sản trí tuệ của mình. Các công ty cần có thể thay thế các mô hình "phổ thông" mà không làm mất đi kiến thức chuyên môn "kỳ cựu của công ty" được tích hợp vào hệ thống học tập của họ. Đây là "bài kiểm tra" then chốt cho quyền kiểm soát và chủ quyền của bạn trong kỷ nguyên tương lai.
Nadella đã mở đầu tầm nhìn này bằng một lời cảnh báo:
Tất cả chúng ta đều không muốn thấy một thế giới mà mọi công ty trong mọi ngành đều nhượng lại giá trị cho một vài mô hình nuốt chửng mọi thứ. Nếu tất cả giá trị chỉ bị chiếm đoạt bởi một vài mô hình, chính trị kinh tế đơn giản sẽ không dung thứ nó. Xã hội sẽ không cấp phép cho một tương lai AI làm rỗng toàn bộ ngành công nghiệp.
Hãy nghĩ về điều đã xảy ra ở giai đoạn đầu của toàn cầu hóa, toàn bộ các nền kinh tế công nghiệp bị làm rỗng bởi việc thuê ngoài. Bề ngoài, các con số GDP trông ổn, nhưng sự dịch chuyển là có thực, hậu quả vẫn còn được cảm nhận cho đến ngày nay. Chúng ta đừng đưa động lực này vào thời đại AI, để một vài hệ thống AI chiếm đoạt tất cả lợi nhuận kinh tế, trong khi toàn bộ ngành công nghiệp phát hiện ra kiến thức của họ bị hàng hóa hóa ngay trước mắt họ.
Vấn đề của phép loại suy này là: toàn cầu hóa thực sự đã xảy ra, các nền kinh tế công nghiệp thực sự bị làm rỗng. Điều này có khả năng không phải là cảnh báo mà là lời tiên tri; chẳng trách Nadella đang gióng lên hồi chuông cảnh báo, vì Microsoft có thể là một trong những nạn nhân. Tương tự, tất yếu kinh tế của các nhà sản xuất mô hình chính là để đạt được điều này.
Tất yếu dữ liệu
Các mô hình này – thậm chí cả Mythos – vẫn chưa đạt đến mức đó. Chúng cần, ngoài nhiều sức mạnh tính toán hơn, còn cần nhiều dữ liệu tốt hơn. Việc cải thiện mô hình ngày càng đến từ việc học tăng cường; một số có thể được tạo ra tổng hợp, nhưng đòn bẩy mạnh mẽ nhất đối với các phòng thí nghiệm tiên phong là việc sử dụng trong thế giới thực.
Tôi cho rằng đây là lý do chính tại sao cả OpenAI và Anthropic đều cung cấp các gói đăng ký được trợ giá đáng kể. SemiAnalysis gần đây ước tính, gói 200 đô la có thể mang lại cho bạn trị giá 8000 đô la Claude token và 14000 đô la Codex token. Tất nhiên cả hai đều đang tranh giành thị phần người dùng và tâm trí nhà phát triển, nhưng họ cũng đang tranh giành quyền truy cập vào dữ liệu sử dụng thực tế để cải thiện mô hình.
Anthropic đã tăng cược lớn vào Fable, thông báo rằng họ sẽ giữ lại tất cả dữ liệu sử dụng trong 30 ngày, ngay cả đối với các gói doanh nghiệp trước đây cam kết không lưu giữ dữ liệu. Công ty nói sẽ không dùng dữ liệu này để huấn luyện, nhưng họ không thiết lập bất kỳ biện pháp bảo vệ nào để đảm bảo trong tương lai sẽ không làm vậy (ví dụ như lưu trữ dữ liệu ở bên thứ ba). Nếu thay đổi chính sách này (khi Fable được khôi phục) không dẫn đến việc mất nhiều khách hàng, tôi nghi ngờ rằng việc họ bắt đầu sử dụng dữ liệu chỉ là vấn đề thời gian: nó quá có giá trị đối với mục tiêu cuối cùng của họ.
Cũng cần lưu ý vòng lặp lành mạnh khi tiến lên phía điểm tiếp xúc người dùng: càng nhiều quy trình làm việc được hoàn thành trực tiếp bằng Claude hoặc Codex, mỗi công ty càng có nhiều dữ liệu có thể phản hồi vào quá trình huấn luyện, điều này làm cho sản phẩm của họ mạnh mẽ hơn và hữu ích hơn, mở rộng số lượng quy trình làm việc họ có thể phục vụ, mở rộng quyền truy cập vào dữ liệu của họ.
Nadella trong bài viết của mình đã nhấn mạnh tầm quan trọng của những dữ liệu này, nhưng tự nhiên cho rằng nó nên độc lập với mô hình:
Các công ty cần chuyển đổi quy trình làm việc, kiến thức lĩnh vực và phán đoán tích lũy thành các hệ thống AI được cải thiện sau mỗi lần sử dụng. Việc đánh giá riêng tư nên nắm bắt được liệu mô hình có thực sự cải thiện trên các kết quả quan trọng đối với doanh nghiệp hay không (không chỉ là các tiêu chuẩn bên ngoài!). Môi trường học tăng cường riêng tư nên làm cho mô hình trở nên mạnh mẽ hơn trên các đường đi thực tế bên trong tổ chức. Cơ sở kiến thức của nó làm cho trí nhớ thể chế có thể truy vấn, việc sử dụng token hiệu quả hơn.
Vòng lặp này trở thành tài sản trí tuệ mới của công ty. Tôi xem nó như một cỗ máy leo núi. Khác với hầu hết các tài sản, nó tăng lãi kép. Mỗi quy trình làm việc được cải thiện sẽ tạo ra tín hiệu huấn luyện tốt hơn, điều này thúc đẩy tích lũy kiến thức ngầm độc nhất của công ty. Các công ty xây dựng điều này sớm sẽ có lợi thế khó sao chép, bất kể khả năng của bất kỳ mô hình đơn lẻ mới nào.
Tuy nhiên, nếu những công ty tuân thủ chính sách dữ liệu của Anthropic hiện có thể đạt được kết quả tốt hơn thì sao? Hoặc nếu các công ty hiện có kháng cự, để lại cơ hội cho các công ty mới – hoặc chính các nhà sản xuất mô hình – đánh bại họ trên thị trường? Anthropic thực sự đang thử thách sự quyết tâm mà Nadella kêu gọi.
Yêu sách quyền lực
Xung quanh chính sách lưu giữ dữ liệu của Fable/Mythos, đó thậm chí chưa phải là phần gây tranh cãi nhất trong lần phát hành. Thay vào đó, Anthropic khi phát hành đã tuyên bố rằng nếu Fable được sử dụng để phát triển LLM, hiệu suất của nó sẽ bị giảm lặng lẽ; thẻ hệ thống viết:
Chúng tôi cũng đã thêm các biện pháp bảo vệ liên quan đến việc phát triển LLM tiên phong. Như đã thảo luận trong Phần 6.1 của Báo cáo Rủi ro tháng 2 năm 2026, chúng tôi lo ngại về rủi ro đẩy nhanh tốc độ phát triển AI tổng thể, mặc dù chúng tôi vẫn không chắc chắn về mức độ nghiêm trọng của những rủi ro này. Cụ thể, mối lo ngại của chúng tôi nằm ở chỗ – như chúng tôi đã viết lúc đó – "đẩy nhanh tốc độ các nhà phát triển AI khác xây dựng các hệ thống AI mạnh mẽ có rủi ro tương tự như hệ thống của chúng tôi – nhưng không nhất thiết có các biện pháp bảo vệ tương ứng."
Xét đến khả năng gần đây của các mô hình có thể đẩy nhanh sự phát triển của chính chúng, chúng tôi đã triển khai các biện pháp can thiệp mới, hạn chế hiệu quả của Claude đối với các yêu cầu phát triển LLM tiên phong (ví dụ: xây dựng đường ống huấn luyện trước, cơ sở hạ tầng huấn luyện phân tán hoặc thiết kế bộ tăng tốc ML). Việc sử dụng Claude để phát triển các mô hình cạnh tranh vốn đã vi phạm điều khoản dịch vụ của chúng tôi, nhưng việc thực thi hạn chế này thông qua các biện pháp bảo vệ có thể tránh việc đẩy nhanh tốc độ của những tác nhân sẵn sàng vi phạm các điều khoản này nhất.
Không giống như các biện pháp can thiệp của chúng tôi trong an ninh mạng, hóa sinh và các nỗ lực chưng cất, các biện pháp bảo vệ này không hiển thị với người dùng. Fable 5 sẽ không quay trở lại một mô hình khác. Thay vào đó, các biện pháp bảo vệ sẽ hạn chế hiệu quả thông qua việc sửa đổi lời nhắc, vector dẫn hướng hoặc các phương pháp điều chỉnh tinh tế tham số hiệu quả (PEFT). Các biện pháp can thiệp này sẽ không ảnh hưởng đến phần lớn công việc lập trình. Chúng tôi ước tính chúng sẽ ảnh hưởng đến khoảng 0,03% lưu lượng, tập trung ở dưới 0,1% tổ chức. Khi các biện pháp can thiệp này có hiệu lực, chúng tôi dự kiến chúng sẽ có tác động không đáng kể đến hành vi của mô hình, ngoài việc hạn chế hiệu quả trong việc phát triển LLM tiên phong. Claude vẫn sẽ phản hồi hữu ích với yêu cầu của người dùng. Chúng tôi sẽ tiếp tục cải thiện độ chính xác của các phương pháp phát hiện sau khi phát hành mô hình này.
Anthropic đã rút lại thay đổi này – Fable sẽ chuyển các yêu cầu liên quan đến LLM cho Opus 4.8 xử lý và sẽ tiết lộ việc chuyển giao này cho người dùng – nhưng tôi cho rằng chính sách ban đầu rất có tính khai sáng. Một mặt, tôi thực sự không trách Anthropic không muốn giúp đỡ đối thủ cạnh tranh; mặt khác, cần phải rất rõ ràng rằng Anthropic cho rằng ngoài họ ra, bất kỳ ai khác cũng không nên chế tạo LLM tiên phong.
Chính sách này càng trở nên nổi bật hơn khi nó được ban hành chỉ hai tháng sau cuộc tranh cãi của Anthropic với Bộ Chiến tranh: bên sau muốn sử dụng Claude cho bất kỳ mục đích hợp pháp nào, trong khi bên trước muốn áp đặt kiểm soát chặt chẽ hơn đối với giám sát và vũ khí tự động. Biện pháp giảm hiệu suất này vừa đại diện cho khả năng, vừa đại diện cho ý chí của Anthropic trong việc lặng lẽ thay đổi mô hình của mình để thực hiện các ưu tiên chính sách của họ. Nói cách khác, Anthropic đang chủ động xác nhận một số lo ngại lớn nhất của các nhà phê bình về họ như một rủi ro chuỗi cung ứng.
Tuy nhiên, kết luận rộng hơn từ sự việc đó là, Anthropic cho rằng họ nên có quyền quyết định cuối cùng về cách sử dụng Anthropic; xét rằng họ cho rằng chỉ có họ nên phát triển AI tiên phong, thì trên thực tế họ cho rằng chỉ có họ nên có quyền quyết định cuối cùng đối với AI nói chung. Khi bạn kết hợp nhận thức này với tuyên bố của công ty rằng AI có thể thực hiện mọi hoạt động kinh tế, bạn nhận ra rằng ban lãnh đạo Anthropic thực sự muốn có quyền lực đối với mọi thứ và mọi người.
Tường thuật an toàn
Tất nhiên, Anthropic sẽ không bao giờ diễn đạt thẳng thừng như vậy; thay vào đó, câu chuyện là về sự an toàn:
Tôi dự đoán Anthropic sẽ ngày càng công khai khả năng mô hình của họ với người dùng cuối thông qua các điểm cuối ngày càng được tùy chỉnh cho các quy trình làm việc khác nhau, ngay cả khi họ bắt đầu hạn chế API. Việc thay thế phần mềm này và hạn chế truy cập sẽ được thực hiện nhân danh an toàn, ngay cả khi Anthropic đang thực hiện tất yếu kinh tế là tiến gần đến người dùng cuối.
Lời giải thích của Anthropic cho thay đổi lớn trong chính sách lưu giữ dữ liệu của họ là an toàn. Cụ thể, công ty tuyên bố việc giữ lại tất cả dữ liệu người dùng trong 30 ngày là cần thiết để ngăn chặn hành vi vượt rào mà chính phủ Mỹ lo ngại. Tôi chắc chắn có thể hình dung một tương lai, nơi các yếu tố an toàn buộc họ cũng phải huấn luyện trên những dữ liệu này, để phòng ngừa tốt hơn việc sử dụng độc hại.
Toàn bộ câu chuyện nguồn gốc của Anthropic bắt rễ từ niềm tin của những người sáng lập rằng OpenAI không đủ nghiêm túc trong việc đối mặt với an toàn; công ty cho rằng chỉ có họ mới có thể kiểm soát AI, và bởi vì họ quan tâm đến sự nguy hiểm một cách độc nhất, nên họ có lý do để cố gắng kiểm soát tất cả mọi người khác, bao gồm cả chính phủ Mỹ.
Vấn đề với những lý do an toàn này là: Tôi cho rằng chúng có hiệu lực, bởi vì đối với Anthropic, chúng không phải là lý do. Công ty thực sự tin rằng họ là người duy nhất tin vào siêu trí tuệ, và do đó là người duy nhất quan tâm đầy đủ đến sự nguy hiểm. Điều này biện minh cho quyết định này đến quyết định khác, chính sách này đến chính sách khác, cuộc đối đầu này đến cuộc đối đầu khác, mà đối với những người ngoài cuộc, chúng trông giống như sự kết hợp kỳ lạ giữa chủ nghĩa hoài nghi và sự ngây thơ.
Sự tương phản với OpenAI thật lớn: Một cách để hiểu cách thức và lý do OpenAI đánh mất vị trí dẫn đầu, tôi nghĩ là, trong những năm sau khi phát hành ChatGPT, công ty đã ở trong tình trạng xung đột nội bộ, phòng thí nghiệm nghiên cứu từng thời bất ngờ được gánh vác gánh nặng trở thành một công ty công nghệ tiêu dùng ngoài dự kiến; trong khi OpenAI giải quyết xung đột này, họ đã để mất một lượng lớn nhân tài cho các công ty như Anthropic.
Mặt khác, Anthropic có sự đồng nhất hoàn hảo giữa nhân tài, sứ mệnh và kinh doanh. Công ty có thể tiếp thị cho các nhà nghiên cứu tầm nhìn về việc tạo ra một cỗ máy thần thánh, với hào quang của những người quan tâm đến nguy hiểm và đủ thông minh để đại diện cho loài người đối mặt với nguy hiểm; và mỗi thay đổi chính sách từ đó xảy ra đều có lợi cho việc kinh doanh, đó là sự trùng hợp tuyệt vời nhất trên thế giới.
Tôi vừa tôn trọng sự đồng nhất này, vừa e sợ nó. Tôi tôn trọng nó bởi vì nó rõ ràng là rất hiệu quả; phép loại suy gần nhất có lẽ là Apple, công ty luôn bao bọc mọi hành động ích kỷ dưới vỏ bọc làm điều đúng đắn cho người dùng – và họ thường xuyên làm vậy. Anthropic cũng vậy. Tuy nhiên, điều tôi e sợ là, để những người tin chắc mình biết rõ nhất xây dựng một chiếc điện thoại thông minh mà tôi có thể chấp nhận hoặc từ chối là một chuyện; để họ xây dựng một siêu trí tuệ có tiềm năng sánh ngang hoặc vượt qua quyền lực của các quốc gia dân tộc, hoặc đơn giản là của các doanh nghiệp lớn, thì lại đáng lo ngại hơn nhiều. Lịch sử của những người thông minh tin chắc mình biết loài người cần gì là bẩn thỉu, chính bởi vì họ thuyết phục bản thân rằng ý định là tốt, và biện minh cho những hành động thực tế không phải như vậy.
