Mô hình lớn có thể viết được thuật toán tối ưu cấp công nghiệp không? MIT đề xuất FrontierOR đặt ra một kỳ thi cho AI
Trong hai năm qua, các LLM đã có bước tiến nhanh chóng trong việc chuyển đổi "ngôn ngữ tự nhiên sang mô hình toán học" và "ngôn ngữ tự nhiên sang mã trình giải". Chúng có thể đọc hiểu vấn đề, viết công thức MIP, gọi các trình giải như Gurobi, cho thấy khả năng mô hình hóa tối ưu ban đầu. Tuy nhiên, điều này vẫn chưa đủ cho các bài toán quy mô công nghiệp thực tế.
Thách thức thực sự không nằm ở việc dịch các ràng buộc thành biểu thức toán học, mà là thiết kế các thuật toán có khả năng mở rộng, chính xác và hiệu quả cho các trường hợp quy mô lớn. Ngay cả khi một mô hình MIP hoàn toàn chính xác, việc sử dụng trình giải tổng quát đôi khi không đem lại giải pháp chất lượng cao trong vòng một giờ. Đó là lý do các kỹ sư vận trù học (OR) vẫn cần viết các thuật toán phân rã, sinh cột, Benders, tìm kiếm cục bộ, siêu heuristic và các thuật toán lai.
Gần đây, các nhà nghiên cứu từ MIT và các tổ chức khác đã đề xuất FrontierOR: một tiêu chuẩn đánh giá LLM tập trung vào khả năng thiết kế thuật toán tối ưu quy mô lớn. Khác với các benchmark truyền thống chỉ đánh giá "khả năng mô hình hóa" hoặc "khả năng gọi trình giải", FrontierOR tập trung vào việc LLM có thể thiết kế các thuật toán có thể mở rộng, chất lượng cao và hiệu quả cho các cấu trúc vấn đề phức tạp, giống như các nhà nghiên cứu và kỹ sư OR thực thụ.
FrontierOR được xây dựng từ 180 bài báo khoa học OR từ năm 1992–2025, chuyển đổi thành các nhiệm vụ tiêu chuẩn với mô tả ngôn ngữ tự nhiên, mô hình toán học, mã tham chiếu, lời giải tham chiếu và bộ kiểm tra tính khả thi. Một tập hợp con 50 nhiệm vụ "Khó" được lựa chọn, nơi Gurobi không thể chứng minh tính tối ưu trong vòng một giờ.
Quy trình đánh giá hai giai đoạn: đầu tiên lọc trước trên các ví dụ nhỏ để kiểm tra tính khả thi và chất lượng cơ bản, sau đó đánh giá trên các ví dụ lớn với bốn chỉ số: Tỷ lệ thực thi, Tính khả thi, Chất lượng giải pháp và Hiệu quả Chất lượng-Thời gian (QTE).
Kết quả thử nghiệm cho thấy, trong cài đặt one-shot, các mô hình tiên tiến (như GPT-5.3-Codex, Claude Opus 4.6) có tỷ lệ thực thi rất cao (~0.98) nhưng các chỉ số về tính khả thi và chất lượng (đặc biệt là QTE) thấp hơn đáng kể, cho thấy viết mã chạy được không đồng nghĩa với việc giải quyết hiệu quả bài toán. Tập con "Khó" làm nổi bật sự khác biệt về năng lực thuật toán thực sự giữa các mô hình.
Phân tích cho thấy các mô hình mạnh hơn có xu hướng sử dụng đa dạng phương pháp hơn (phân rã, heuristic, tìm kiếm cục bộ, phương pháp lai) thay vì chỉ gọi trình giải thuần túy, và điều này tương quan với hiệu suất QTE tốt hơn. Các lỗi của mô hình mạnh cũng chuyển từ sai sót trong mô hình hóa cơ bản sang các vấn đề về chiều sâu và chất lượng của chiến lược tìm kiếm.
Đặc biệt, khi áp dụng các khuôn khổ tự tiến hóa trong quá trình kiểm tra (như CORAL, OpenEvolve), hiệu suất của các chương trình do LLM tạo ra được cải thiện đáng kể. QTE trên các nhiệm vụ khó nhất có thể tăng từ 0.15 (one-shot) lên 0.50, cho thấy tiềm năng lớn của việc LLM lặp lại và cải thiện thiết kế thuật toán dựa trên phản hồi.
FrontierOR chỉ ra rằng tương lai của LLM trong OR không chỉ dừng lại ở việc tạo mã, mà hướng tới vai trò của một tác nhân thiết kế thuật toán thông minh, có thể hiểu cấu trúc vấn đề, lựa chọn và kết hợp các kỹ thuật, đồng thời tự cải tiến thông qua vòng lặp thử nghiệm và phản hồi, mở ra triển vọng cho các hệ thống hỗ trợ ra quyết định công nghiệp tự động.
marsbit07/10 09:12
