Thuật toán huấn luyện mọi AI, bị chính AI tuyên án "tử hình"?
Mới đây, hai nhà nghiên cứu từ Đại học Thanh Hoa và Trường Kinh doanh Wharton thuộc Đại học Pennsylvania đã công bố một bài báo mới, đưa ra kết luận mà giới lý thuyết tối ưu đã chờ đợi suốt 40 năm——
Để Gradient Descent chạy nhanh nhất, chỉ điều chỉnh độ dài bước (step size) là không đủ.
Đây là lần đầu tiên trong lịch sử có người chứng minh được rằng, Gradient Descent chỉ dựa vào việc thiết kế chuỗi độ dài bước, tồn tại một trần giới toán học không thể vượt qua.
Và, thực thể hoàn thành chứng minh cốt lõi không phải là con người, mà là GPT-5.6 Sol Pro.
GPT-5.6 giải quyết một bài toán 40 năm chưa ai trả lời
Câu chuyện là thế này.
Ai cũng biết Gradient Descent, từ GPT đến Stable Diffusion đến xe tự lái, tất cả đều chạy trên nền tảng của nó. Tốc độ hội tụ tiêu chuẩn của Gradient Descent là O(1/T), chạy T bước, sai số xấp xỉ giảm xuống cấp độ 1/T.
Năm 1983, Nesterov thêm động lượng (momentum) vào Gradient Descent, đẩy trực tiếp lên O(1/T²). Cũng chạy 1000 bước, sai số từ một phần nghìn trở thành một phần triệu, chênh lệch ba bậc độ lớn. Đến nay vẫn là tối ưu lý thuyết.
Một câu hỏi rất tự nhiên đặt ra là: Không thêm động lượng, không thay đổi cấu trúc, chỉ thuần túy dựa vào việc thiết kế cẩn thận độ dài bước ở mỗi bước, liệu có thể đuổi kịp Nesterov không?
Câu hỏi này treo lơ lửng suốt 40 năm. Mãi đến năm 2023, Altschuler và Parrilo từ MIT mới tạo ra được "silver stepsize".
Chuỗi độ dài bước này không phải giảm dần theo truyền thống, mà lúc lớn lúc nhỏ, có cấu trúc tự đồng dạng phân hình. Nhờ nó, Gradient Descent được đẩy lên O(T^{-1.2716}).
Vậy con số 1.2716 này rốt cuộc là điểm cuối cho việc điều chỉnh thuần túy độ dài bước, hay chỉ là khởi đầu?
Gần đây, một cặp thầy trò người Hoa đã tiếp nhận vấn đề này.
Jianhao Ma vừa nhận chức tại Khoa Kỹ thuật Công nghiệp, Đại học Thanh Hoa vào tháng 7 năm nay, có bằng tiến sĩ từ Đại học Michigan, nhận được vị trí giảng dạy sau khi hoàn thành nghiên cứu sau tiến sĩ tại Penn.
Người hướng dẫn sau tiến sĩ của anh, Yuxin Chen, là giáo sư danh dự tại Trường Kinh doanh Wharton, có bằng tiến sĩ từ Stanford, chuyển từ Princeton sang Penn, từng nhận giải thưởng bài báo xuất sắc SIAM.
Trước đây mọi người đều làm phép cộng, thiết kế chuỗi độ dài bước thông minh hơn, xem tốc độ có thể nâng cao bao nhiêu.
Ý tưởng của Ma và Chen thì ngược lại, đi chứng minh tồn tại một ranh giới, bất kể thiết kế chuỗi độ dài bước thế nào cũng không thể vượt qua.
Tìm một chuỗi độ dài bước tốt, bạn chỉ cần một ví dụ thành công. Nhưng để chứng minh "tất cả các chuỗi độ dài bước có thể đều không được", là nói "không" với vô số khả năng.
Hai người suy nghĩ một lúc, trực tiếp ném vấn đề cho GPT-5.6 Sol Pro, để AI thử sức.
Cụ thể, họ đưa cho GPT hai thứ.
Một là mục tiêu nghiên cứu, chứng minh việc điều phối thuần túy độ dài bước không thể đạt O(1/T²). Hai là chiến lược cấp cao, gọi là "resisting oracle" (oracle chống đối).
Nguyên lý của nó là, trước tiên xây dựng một quỹ đạo chống đối khiến Gradient Descent đi chậm nhất, sau đó tìm một hàm lồi trơn thực sự, để đường đi của Gradient Descent trên hàm này trùng khớp với con đường chậm này.
Sau khi định hướng xong, GPT-5.6 Sol Pro bắt đầu làm việc.
Phương án cốt lõi cuối cùng mà nó đưa ra là một cấu trúc hình học.
Cho trước một chuỗi độ dài bước bất kỳ, đầu tiên chọn ra các "bước dài" (long steps), tức là những bước có độ dài vượt quá giá trị an toàn chuẩn 1/L. Sau đó đặt một nhóm điểm neo (anchor points) vuông góc lẫn nhau trong không gian nhiều chiều, mỗi bước dài tương ứng với một điểm.
Gradient Descent giữa hai bước dài buộc phải đi cùng một hướng, gặp bước dài thì nhảy sang hướng vuông góc hoàn toàn tiếp theo. Toàn bộ quỹ đạo được thực hiện chính xác bởi một hàm lồi trơn gọi là Moreau Envelope, tương đương nghiêm ngặt.
Điểm then chốt của cấu trúc này là, nó được tạo ra dựa theo chuỗi độ dài bước của bạn. Bất kể bạn thiết kế chuỗi độ dài bước thế nào, nó đều có thể tạo ra một hàm tương ứng để chặn bạn.
Nhưng chứng minh đến đây vẫn chưa xong.
Chặn dưới cuối cùng không được phụ thuộc vào thứ tự xuất hiện của các bước dài, nếu không cùng một chuỗi độ dài bước nhưng đổi thứ tự có thể thoát được.
GPT-5.6 lại tìm được một kỹ thuật ghép đôi, sắp xếp các bước dài theo kích thước, xây dựng một đường đi, chia thành hai nhóm chẵn lẻ để ghép đôi, hoàn toàn loại bỏ sự phụ thuộc thời gian. Sau đó đưa vào một hàm thế Lyapunov để kiểm soát sự tăng trưởng toàn cục, kết hợp với lập luận cắt ngắn (truncation argument), biến các ràng buộc cục bộ thành chặn dưới tổng thể.
Lập luận này được hình thành hoàn chỉnh sau nhiều lần Ma và Chen tương tác với GPT-5.6 Sol Pro, chỉ ra chỗ sai sót trong suy diễn, GPT sửa chữa rồi tiếp tục, trải qua nhiều lần lặp.
Như lời Ma nói, không có thành phần toán học không tầm thường nào trong chứng minh cốt lõi đến từ con người.
Trong toàn bộ chứng minh có một tham số then chốt, đồng thời chịu hai điều kiện ràng buộc, giới hạn ghép đôi cho chặn dưới, kiểm soát tăng trưởng cho chặn trên.
Khi chỉ số hội tụ p giảm, hai ràng buộc càng thu chặt. Tại p = √(2+√3) ≈ 1.9319, hai đường gặp nhau, không gian hoạt động của tham số về không. Đẩy xuống thêm nữa, chứng minh sẽ không đi được.
Kết luận cuối cùng GPT-5.6 Sol Pro đưa ra là, với bất kỳ chuỗi độ dài bước không âm được xác định trước nào, chặn dưới tốc độ hội tụ của Gradient Descent là Ω(T^{-1.9319}).
Gradient Descent chỉ điều chỉnh độ dài bước, bất kể chuỗi độ dài bước được thiết kế tinh xảo thế nào, vĩnh viễn không thể vượt qua đường giới hạn này.
Nói cách khác, muốn có tốc độ hội tụ nhanh nhất, buộc phải thay đổi cấu trúc thuật toán.
Lean 4 thẩm định cuối: Không sorry, không admit
Chứng minh do AI viết, làm sao xác nhận không phải là ảo giác?
Ma và Chen đã sử dụng phương thức xác minh cứng nhất của giới toán học, bộ chứng minh định lý Lean 4.
Họ dùng Codex để chuyển dần chứng minh bằng ngôn ngữ tự nhiên của GPT-5.6 Sol Pro thành mã Lean 4.
Hệ thống xác minh hình thức này sẽ kiểm tra từng bước suy diễn, bất kỳ bước nhảy logic nào hoặc thiếu cơ sở, biên dịch sẽ báo lỗi ngay.
Nếu một bước nào đó thực sự không chứng minh tiếp được, có thể chèn một sorry hoặc admit để tạm bỏ qua——ý nghĩa là "bước này tôi chưa chứng minh xong".
Bảng điểm cuối cùng: Không sorry, không admit. Không bỏ qua một bước nào.
Mã nguồn công khai trên GitHub, kèm theo TRACEABILITY.md, đối chiếu từng dòng mỗi định lý trong bài báo với chứng minh tương ứng trong mã Lean. Ai muốn kiểm tra tự biên dịch.
Địa chỉ dự án: https://github.com/jianhaoma/gd-lower-bound-lean
Toàn bộ chuỗi xác minh là tiếp sức ba đoạn. GPT-5.6 Sol Pro xây dựng chứng minh, Codex dịch sang Lean 4, trình biên dịch thẩm định từng dòng cuối cùng. Con người giám sát xuyên suốt.
Bạn không cần "tin" AI, để hệ thống hình thức phán quyết là được.
Câu chuyện vẫn chưa kết thúc
Phạm vi có thể xác nhận hiện tại là thế này: silver stepsize đã đẩy Gradient Descent lên T^{-1.2716}, Ma và Chen chứng minh không thể vượt quá T^{-1.9319}.
Giữa hai giá trị còn cách nhau 0.66. Giới hạn thực sự nằm ở đâu?
Nhà nghiên cứu tối ưu lâu năm Ben Grimmer, sau khi đọc xong bài báo, cho biết ông "tin chắc mạnh mẽ" rằng 1.2716 chính là trần giới thực sự.
Nếu ông ấy đúng, vậy silver stepsize đã là điểm cuối của việc điều phối thuần túy độ dài bước, chặn dưới của Ma và Chen vẫn còn không gian để tiếp tục thu hẹp.
Nhưng bất kể giới hạn thực sự rơi vào đâu, bài báo này đã hoàn thành bước cốt lõi nhất: Chỉ dựa vào điều chỉnh độ dài bước, Gradient Descent không thể chạy đến điểm tối đa. Điều này từ phỏng đoán đã trở thành định lý.
Và tạo ra kết quả này, chỉ có hai người. Không có đội ngũ toán học, không có chuyên gia Lean, không có ngân sách tính toán riêng, sử dụng GPT-5.6 Sol Pro phiên bản thương mại mà ai cũng có thể gọi.
Nếu mô hình này có thể nhân rộng, bất kỳ nhà nghiên cứu nào trên thế giới có một bài toán hay, đều có thể để AI chạy chứng minh thay mình.
Tài liệu tham khảo:
https://arxiv.org/abs/2608.10418
Bài viết từ tài khoản công chúng WeChat "新智元" (Tân Trí Nguyên), tác giả: ASI Khải Thị Lục, biên tập: Môi Tây
