Mười thành tựu 'cấp độ Huy chương Fields', toàn bộ quá trình chứng minh của AI đã được công khai!
Hôm nay, OpenAI tung ra một 'bản thảo cốt lõi' dài 62 trang, trình bày chi tiết quá trình suy luận hoàn chỉnh của GPT.
Cuối cùng, chính thức 'đóng dấu' xác nhận, đã hoàn thành đột phá kinh ngạc này, chính là 'mô hình chủ lực thế hệ tiếp theo'.
Nếu tính theo tiêu chuẩn tính phí API GPT-5.6 Sol, tổng chi phí Token bị đốt, chỉ 2000 đô la Mỹ.
Bản thảo chứng minh của AI vừa ra mắt, cả mạng lại một lần nữa bùng nổ.
Tất cả mọi người đều đang đoán mò, 'Đây chắc chắn là GPT-6 huyền thoại rồi!'! Còn có người liên tục thán phục, 2000 đô la Mỹ lại mở khóa được mười thành tựu mang tính lịch sử.
GPT phá mười bài toán thế kỷ, chỉ 2000 đô la Mỹ
Hai ngày trước, một nhân viên nội bộ OpenAI đăng một bài blog, thẳng thắn nói mô hình thế hệ tiếp theo Astra đã giải quyết mười bài toán toán học hóc búa.
Một bức hình danh sách được đưa ra, làm tất cả mọi người kinh ngạc.
Bao phủ các vấn đề: xếp chặt khối cầu không gian nhiều chiều, mã nhị phân và mã mặt cầu, lý thuyết nhóm, giả thuyết cứng Connes, cận dưới mạch số học, lặp lại song song lượng tử, bài toán vector gần nhất, giả thuyết thể tích Ehrhart, số Ramsey đa sắc, lý thuyết đồ thị cực trị.
Lúc đó, blog chính thức đã đăng bộ sưu tập luận văn 249 trang và một bộ chứng chỉ chính quy hóa Lean 4 hoàn chỉnh.
Nhưng cho đến hôm nay, một bản thảo 62 trang chính thức được công khai, tên là "How the Ideas Came Together" — Những ý tưởng này đã kết hợp với nhau như thế nào.
Đường dẫn: https://cdn.openai.com/pdf/reasoning-walkthroughs.pdf
"Tóm tắt" của nó chỉ có một đoạn ngắn, nhưng lượng thông tin lại lớn đến kinh ngạc —
Tài liệu này do mô hình AI tự viết, đội ngũ OpenAI hoàn toàn không can thiệp.
AI đọc CoT gốc, và các bài báo toán học cuối cùng đã được viết thành văn, sau đó đối với từng bài toán, tái cấu trúc bốn điều:
Những ý tưởng nào ban đầu đã chỉ ra một con đường khả thi;
Những phương pháp trông có vẻ quan trọng nào đã va phải trở ngại thực sự;
Sự chuyển đổi góc nhìn nào đã để lộ ra cấu trúc cơ bản;
Cái nhìn sâu sắc mang tính quyết định cuối cùng đã hình thành lập luận hoàn chỉnh như thế nào.
Cả mạng bàn luận sôi nổi về bài toán khó, xếp chặt khối cầu nhiều chiều, 46 năm không ai động được
Trong mười bài toán, cái được cả mạng quan tâm nhất, là xếp chặt khối cầu nhiều chiều.
Gạt tên gọi cao siêu sang một bên, bản thân vấn đề thực ra dễ hiểu: Cho một loạt quả cầu cùng kích thước vào một cái hộp, có thể nhồi nhiều nhất bao nhiêu?
Đáp án cho không gian ba chiều đã có từ lâu, chính là cách xếp "chất cam" như ở sạp trái cây.
Nhưng khi lên đến vài trăm chiều, hàng ngàn chiều, con người chỉ có thể đưa ra một "cận trên" — nhiều nhất không thể vượt quá bao nhiêu.
Số mũ của cận trên này, mắc kẹt ở 0.5991, tính từ năm 1978, 46 năm không có tiến triển thực chất.
Còn Astra, trực tiếp đẩy nó lên 0.6044005442916776954..., cận trên mật độ được viết là 2^-(0.6044...+o(1))d.
Mấu chốt là, nó đã mở ra như thế nào?
Đầu tiên, Astra trong quá trình suy luận, đã xác định được giới hạn của bản thân phương pháp quy hoạch tuyến tính Cohn–Elkies.
Ý tưởng ban đầu của AI là, dùng Cauchy–Schwarz để ước lượng khối lượng âm của một hàm, làm mãi, chỉ đạt được bán kính √d/(2√π).
Sau khi bị kẹt, nó đưa ra một phán đoán: Trở ngại không phải do hằng số chưa tối ưu, mà là chuẩn toàn cục hoàn toàn không nhớ được khối lượng âm rơi vào đâu.
Do đó, Astra quyết định thay đổi góc nhìn: chuyển sang sử dụng Biến đổi Mellin, cộng thêm độ đo điều hòa.
Nhưng, tại sao lại là nó?
Bởi vì đối với hàm hướng tâm, biến đổi Fourier về bản chất là biến đổi Hankel, hạt nhân của nó chỉ phụ thuộc vào tích số của bán kính không gian và bán kính tần số.
Ở phía Mellin, việc này trở thành một thao tác cực kỳ đơn giản: Phản xạ, cộng thêm một pha rõ ràng.
Ở đây còn có một điểm tinh tế: nhân tử pha đó trên trục thực có mô-đun luôn bằng 1, trên trục thực không nhìn ra được gì.
Nhưng khi nó mở rộng ra ngoài mặt phẳng phức, thứ mà nó mang theo chính là phần thông tin nhiều chiều mà bất đẳng thức chuẩn đã đánh rơi.
Khi đẩy đến giới hạn, độ đo điều hòa hội tụ thành một mật độ logistic, và thế loga của nó chính xác bằng hàm digamma, tích phân ra chính là log(π/2).
Ngưỡng 1/π này, chính là từ đây mà ra.
Có một chi tiết đặc biệt có thể nói rõ nó biết mình đang làm gì:
Tổng khối lượng của độ đo điều hòa là (1−σ)/2, không phải là 1. Bản thảo đặc biệt viết một câu: Nếu thay hạt nhân này bằng mật độ xác suất quá sớm, sẽ làm thay đổi hằng số mũ.
Lấy được cận dưới rồi, còn phải xây dựng ra một hàm số thực sự đạt đến nó.
Hàm Gauss cho tính đối xứng Fourier đúng, nhưng vị trí điểm yên ngựa không đúng.
Cách làm là nhân với một biến dạng chẵn, để di chuyển điểm yên ngựa mà không phá vỡ tính đối xứng. Sau khi dùng hết lượng giảm chấn có sẵn, thu được một "mặt cắt lý tưởng".
Tích phân dịch chuyển điểm yên ngựa của nó dựa vào tích Wallis tính ra, chính xác bằng −(1/2)log(π/2).
Con số này đã chuyển chính xác bán kính 1/√(2π) của Gauss sang 1/π.
Bán kính mà cận dưới dự đoán, và bán kính mà cận trên xây dựng, tại đây đã khớp với nhau.
Trong bản thảo, còn có một chi tiết rất cụ thể:
Khi xây dựng hàm phụ trợ, phía xa cần bổ sung một miếng giảm chấn dương.
Mà miếng vá này phải được cộng lên toàn bộ một khoảng, không thể cộng ở một điểm đơn lẻ, bởi vì cộng ở một điểm đơn sẽ va phải tần số cộng hưởng.
Nhóm không sofic, khó điểm nằm ở "nhiều" và "một"
Bài toán hot thứ hai, chính là "nhóm không sofic" chưa được xây dựng trong 27 năm.
Nhà toán học Thomas Bloom đến từ Đại học Manchester thẳng thắn nói, "Trong số các thành tựu kiểu xây dựng, cái này còn quan trọng hơn phản ví dụ của giả thuyết khoảng cách đơn vị trước đây".
Khái niệm "nhóm sofic" này, được đề xuất bởi nhà toán học Nga, người đoạt giải Abel, Mikhail Gromov vào năm 1999.
Trong tiếng Hebrew, sofic có nghĩa là "hữu hạn".
Nói một cách dễ hiểu, một nhóm có phải là sofic hay không, hỏi chính là việc này:
Cấu trúc trừu tượng, vô hạn lớn này, có thể được một loạt "thao tác xáo trộn hữu hạn đủ lớn" mô phỏng gần đúng hay không?
Astra đã đưa ra một cách xây dựng rõ ràng, đáp án là: Tồn tại một "nhóm không sofic" hữu hạn biểu diễn, vô hạn.
Trong bản thảo, điều có giá trị nhất, là nó viết rõ chỗ thực sự bị kẹt —
Định lý Kun cho là nhiều đồ thị mở rộng, còn định lý Kun–Thom cần một.
Bước chuyển giữa "nhiều" và "một", là điểm khó cốt lõi của toàn chương.
AI gọi đây là "sự không khớp then chốt" (the crucial mismatch).
Nó đưa ra một ví dụ đặc biệt dứt khoát để giải thích tại sao không thể tùy tiện chọn một cái:
Trên hai bản Q hoàn toàn giống nhau gộp lại (Q⊔Q), thao tác "hoán đổi hai bản" này giao hoán chính xác với tác động mở rộng K — nhưng nó không bảo toàn bất kỳ thành phần nào.
Tức là, những thứ "gần tâm" có thể nhảy qua lại giữa các thành phần, bạn hoàn toàn không nắm bắt được.
Trước đó còn có một con đường vòng sớm hơn: muốn chuyển trực tiếp tính chất (T) thành tính trộn. Điều này cần một tập trung bình lazy hoặc phản hai phần, bởi vì một đồ thị hai phần có thể có phổ gần −1, mặc dù nó có khoảng trống Kazhdan tại 1.
Việc sửa chữa trung bình thực sự chữa được vấn đề phổ này, nhưng không chữa được "rốt cuộc chọn thành phần nào".
Vì vậy, Astra thử một phiên bản phương án: lấy logarit kích thước thành phần, phân vào các bin trên lưới dịch chuyển ngẫu nhiên, sau đó đổi thành so sánh trung vị bị chặn.
Nhưng con đường này thất bại, qua tổng kết kinh nghiệm AI rút ra:
Cái cần lấy trung bình, luôn luôn phải là một hàm đơn điệu bị chặn của quy mô thành phần, tuyệt đối không thể là bản thân quy mô không bị chặn.
Do đó, phiên bản cuối cùng đã viết lại dựa trên "nguyên tắc cốt lõi" này.
Trong mỗi thành phần mở rộng môi trường A, lấy một trung vị có trọng số đỉnh m_A, sau đó định nghĩa
f(x) = M(x) / (M(x) + m_A)
M là quy mô thành phần. Hàm f này luôn nằm giữa 0 và 1, và 1/2 chính xác là trung vị trên mỗi A.
Điều hay của hàm f này, là nó biến một đại lượng mất kiểm soát thành một đại lượng có thể kiểm soát.
Điểm then chốt nằm ở việc phần tử sinh là phép thế — chỉ di chuyển vị trí, không tăng không giảm, đi một vòng tổng biến thiên nhất định bằng 0; còn mỗi bước nhiều lắm chỉ giảm đi một chút xíu, hai bên đều bị ép thành không đáng kể.
Rồi cắt theo độ cao, dùng tính mở rộng cho phía nhỏ, kẹp hai đầu lại: f hầu như khắp nơi bằng 1/2.
Tức là quy mô của tất cả các khối trong cùng một phạm vi bị kẹp gần như giống nhau, điều này mới có thể khớp với nhau từng cái một.
Cuối cùng khi kết thúc, còn một vùng nhỏ.
Cách xử lý của Astra rất phản trực giác: chọn một vùng xấu càng lớn càng tốt để vứt bỏ toàn bộ — chính vì chọn vùng lớn nhất đó, nên ngược lại chứng minh nó thực ra nhỏ đến mức có thể bỏ qua.
Vấn đề của Gromov, 27 năm sau đã có đáp án.
Quá trình chứng minh bằng AI của tám bài toán còn lại, các bạn quan tâm có thể tham khảo: https://cdn.openai.com/pdf/reasoning-walkthroughs.pdf
"Điểm kỳ dị" giáng lâm, đếm ngược
Bản thảo vừa được công khai, chuyên gia học tăng cường của OpenAI Mo Bavarian đã đăng một bài dài.
Câu đầu tiên mở đầu, đây thực sự là một khoảnh khắc "siêu thực".
Năm 2021, ông và đội ngũ OpenAI tung ra một tập dữ liệu GSM8K — 8500 bài toán ứng dụng toán tiểu học, đơn giản đến mức chỉ cần 2-8 bước là làm xong.
Ở thời đại GPT-2/3, AI thậm chí làm không ổn bài toán tiểu học, soạn thảo email may ra đủ dùng.
Thế nhưng, chỉ vài năm ngắn ngủi, RL quy mô lớn lao vun vút, từng "ngõ cụt công nghệ" tưởng như không thể vượt qua, lần lượt bị đập tan.
Khoảng thời gian này, ngắn một cách khó tin.
Mo Bavarian cho biết, "Đối với tôi, thời khắc này, hơn bất cứ lúc nào, đều giống như đêm trước điểm kỳ dị hơn".
Vài năm trước, AI còn loạng choạng trong các bài toán ứng dụng tiểu học.
Ngày nay, 2000 đô la Token, có thể đổi lấy mười đáp án có thể đi vào lịch sử toán học.
"Đêm trước điểm kỳ dị", có lẽ cũng không xa đến thế.
Tài liệu tham khảo: https://cdn.openai.com/pdf/reasoning-walkthroughs.pdf
Bài viết từ tài khoản công chúng WeChat "Tân Trí Nguyên", tác giả: ASI Khải Thị Lục; Biên tập: Đào Tử
