Người trong phòng thí nghiệm tiên phong hầu như không đọc bài báo nữa?
Một nhà nghiên cứu của OpenAI đã "bắn tổng" ba hội nghị hàng đầu bằng một câu nói:Quá nhiều sự thổi phồng và gian lận!
Nguyên nhân sự việc, là một bài báo ICLR có hiệu quả tốt đến mức khó tin, sau khi cư dân mạng nghiên cứu kỹ mới phát hiện ra "bí quyết" trong đó.
Đăng bài ở hội nghị hàng đầu đã "tiến hóa" thành như vậy sao?
Thứ nhất xem mã nguồn có mở không, thứ hai xem trong phương pháp thí nghiệm có giấu "mánh khóe" gì không, thứ ba mới xem kết quả chạy ra có đủ sức hỗ trợ luận điểm chính không—— sau từng tầng chất vấn như vậy, rốt cuộc có bao nhiêu bài báo hội nghị hàng đầu chịu được kiểm tra?
Thực sự có người đã làm như vậy.
Trong 105 bài, chỉ có 8 bài "đạt tiêu chuẩn"
Tháng 7 năm nay, SAI do phó giáo sư khoa học máy tính và khoa học dữ liệu Tan Chenhao của Đại học Chicago đồng sáng lập, đã công bố một lần "thẩm định bằng thí nghiệm" quy mô lớn.
Họ chọn ra, là tất cả 168 bài báo Oral của ICML 2026.
Năm nay ICML tổng cộng nhận được 23918 bài nộp, cuối cùng chỉ có 168 bài đạt tiêu chuẩn Oral, chiếm khoảng 0.7%.
Nói cách khác, những gì SAI kiểm tra đã là tầng cao nhất được sàng lọc từ hơn hai vạn bài nộp.
Ngoài việc đọc phương pháp, thiết kế thí nghiệm và kết quả của bài báo giống như người thẩm định truyền thống, SAI Review còn tải mã nguồn, mô hình và dữ liệu, cấu hình môi trường và chạy thí nghiệm, cuối cùng đối chiếu kết quả chạy với bài báo gốc từng hạng mục.
SAI đã thẩm tra tất cả 168 bài Oral, trong đó chỉ có 104 bài báo mở mã nguồn, cuối cùng hoàn thành việc phục hiện đầy đủ 105 bài.
Trong đó,chỉ có 34 bài phục hiện được trên 40% tuyên bố; tỷ lệ phục hiện vượt 80%, chỉ còn lại 8 bài.
Dù mỗi bài báo ít nhất chứa 1, 3 hay 5 tuyên bố có thể kiểm chứng, trung vị điểm phục hiện luôn ở mức 28%—30%, phân bố tổng thể thay đổi không lớn.
Loại trừ thí nghiệm chưa chạy, dừng sớm hoặc vượt quá khả năng phần cứng, trung vị điểm phục hiện vẫn chỉ có 42%—50%; khi mỗi bài báo ít nhất chứa 3 tuyên bố có thể kiểm chứng, trung vị ổn định ở mức 42%.
Các vấn đề thường gặp nhất trong phục hiện đều gặp phải: mã nguồn không thể chạy, thiếu tệp, hướng dẫn không đầy đủ, phụ thuộc bị hỏng, hoặc kết quả chạy từ mã nguồn không khớp với bài báo.
Còn có 4 bài báo phụ thuộc vào mô hình đã ngừng hoạt động. Nhà nghiên cứu sau này dù sẵn lòng tốn tiền, tốn thời gian, cũng không thể thu được kết quả giống nhau.
SAI còn liệt kê hai ví dụ cụ thể hơn.
Một bài báo lấy "chỉ huấn luyện 0.77% tham số của mô hình cơ bản" làm điểm bán hàng chính, nhưng checkpoint thực tế công bố lại huấn luyện 6.31% tham số, khoảng 8 lần con số tuyên bố.
Một bài báo khác trình bày bảng độ tin cậy do mô hình trọng tài chấm điểm,nhưng trong mã nguồn mở lại không tìm thấy mô hình trọng tài này, cũng không có script nào có thể tính ra con số trong bảng.
Bài báo chất lượng kém, lợi nhuận cao rủi ro thấp
Kết quả phục hiện của SAI có thể nói là khá tồi tệ.
Tồi tệ hơn là, vấn đề phát hiện ở đây chỉ là vấn đề "có điều kiện mới phát hiện được".
Những bài báo không có mã nguồn, trực tiếp trở thành "bất khả xâm phạm".
Mà ngay cả khi mã nguồn công khai hoàn toàn, muốn xác minh một bài báo, thời gian, tinh lực và tiền bạc bỏ ra đều là khổng lồ, kết quả cuối cùng còn không như ý, không biết sẽ sụp đổ đến mức nào.
Theo ước tính của SAI dựa trên giá công khai theo yêu cầu của Google Cloud, chi phí trung vị để chạy lại hoàn toàn một bài báo Oral ICML vào khoảng 8900 USD. Trong 105 bài báo, 17 bài vượt quá 100 nghìn USD, bài đắt nhất gần 2.2 triệu USD.
Bài báo càng phụ thuộc vào tính toán quy mô lớn, việc phục hiện độc lập càng khó khăn.
Không có mã nguồn, người khác không có cách kiểm tra; có mã nguồn, cũng chưa chắc có người chi trả nổi chi phí này.
Do đó, một bài báo có vấn đề hoàn toàn có thể thuận lợi vượt qua thẩm định, nhận được trích dẫn, rồi được viết vào CV, đổi lấy cơ hội nhập học, chức vụ giảng dạy hoặc công việc ở phòng thí nghiệm lớn.
Ngẫu nhiên có người phát hiện kết quả không khớp, hội nghị cũng hiếm khi xem xét lại, bài báo cũng chưa chắc bị rút.
Đây chính là điều bình luận gọi là "nghiên cứu tồi có lợi nhuận, nhưng hầu như không có hậu quả".
Không đọc bài báo, nhưng tuyển dụng thì xem bài báo
Trong lĩnh vực mô hình lớn, thực sự có nhiều tiến bộ thực sự quan trọng không còn xuất hiện dưới dạng bài báo.
Là kỹ sư của OpenAI, đứng ở tuyến đầu ngành công nghiệp, có cảm nhận như vậy không khó hiểu. Xét cho cùng có năng lực tính toán dồi dào hơn, phản hồi thí nghiệm nhanh hơn và nhiều kết quả nội bộ không công khai, có "tư thế không đọc bài báo".
Nhưng nói ra như vậy, có phần hơi tinh tế.
Một bình luận châm biếm người trong công ty công nghệ làm vậy là "lên bờ rồi rút thang": từ trường đại học tuyển nhà nghiên cứu, xây dựng trên thành quả tích lũy công khai của giới học thuật, dùng giá cao hơn cướp nhân tài và GPU, bản thân ngày càng ít chấp nhận đánh giá đồng nghiệp, cuối cùng lại quay đầu tuyên bố nghiên cứu học thuật "chủ yếu là trò lừa đảo"
Hơi chua chát, nhưng thực sự có lý.
Người trong những phòng thí nghiệm tiên phong này có thể "không đọc bài báo", nhưng người muốn vào thì vẫn phải đăng bài trước.
Đối với sinh viên và nhà nghiên cứu trẻ thiếu kinh nghiệm ngành công nghiệp, bài báo hội nghị hàng đầu vẫn là chứng chỉ trực tiếp nhất chứng minh năng lực nghiên cứu.
Xin học tiến sĩ, tìm chức vụ giảng dạy, vào phòng thí nghiệm tiên phong như OpenAI, đều phải dựa vào bài báo để có được sự chú ý.
Người trong giới công nghiệp sau khi vào phòng thí nghiệm lớn xem nhẹ bài báo, nhưng vẫn dùng số lượng bài báo, cấp độ hội nghị và thành tích trích dẫn để sàng lọc người đứng ngoài cửa.
Bài báo do đó rơi vào vị trí khó xử: Độ tin cậy của nó trong truyền bá tri thức bị nghi ngờ, nhưng giá trị trong cạnh tranh nhân tài lại không hề biến mất.
Vì vậy, "phòng thí nghiệm lớn đã không đọc bài báo nữa" nghe có vẻ hơi thanh cao và kiêu ngạo. Bởi vì người thực sự có tư cách không đọc bài báo, thường đã dựa vào bài báo vượt qua ngưỡng cửa đó.
Tất nhiên, không phải tất cả sinh viên đều là phản diện học thuật thiết kế cẩn thận để lừa đảo.
Một nhà nghiên cứu trường đại học nói đùa rằng, ông hy vọng sinh viên của mình đã có khả năng viết ra một bài báo thổi phồng thậm chí gian lận.
Có người đang "tranh nhau làm kẻ lừa đảo học thuật", mà có người còn đang vật lộn với LaTeX.
Tài liệu tham khảo:
https://x.com/MathewShen42/status/2084465434506768867
https://x.com/kellerjordan0/status/2084721463089902074
https://sai.science/blog/how-much-science-is-verifiable
https://x.com/mengyer/status/2085134204786921886
Bài viết từ tài khoản công chúng WeChat "Trái tim máy móc" (ID:almosthuman2014), tác giả: Trái tim máy móc
