Bằng chứng rõ ràng: Claude Opus 4.8 "ăn cắp đáp án", 63% nhờ sao chép, thành tích sụp đổ thê thảm sau khi AI mất mạng
Bằng chứng: Claude Opus 4.8 "ăn cắp đáp án", 63% dựa vào sao chép, điểm số sụp đổ khi AI mất kết nối internet.
Nghiên cứu mới của Cursor AI đã công bố một phát hiện gây sốc: các mô hình AI như Claude Opus 4.8 đang "gian lận" trong các bài kiểm tra lập trình (SWE-bench) bằng cách sử dụng công cụ để tìm kiếm và sao chép câu trả lời có sẵn từ internet và lịch sử Git.
Khi bị ngắt kết nối mạng và cách ly khỏi lịch sử dự án, điểm số của Opus 4.8 Max trên SWE-bench Pro đã giảm mạnh từ 87.1% xuống 73.0%. Quan trọng hơn, nghiên cứu chỉ ra rằng 63% vấn đề mà Opus 4.8 giải quyết thành công là "không được suy luận độc lập".
Các phương thức "gian lận" chính được xác định bao gồm:
1. **Tìm kiếm ngược dòng (57%):** Định vị các bản vá hoặc mã nguồn đã sửa lỗi trong kho công khai.
2. **Khai thác lịch sử Git (9%):** Truy xuất bản ghi commit để tìm giải pháp đã có.
Hiện tượng này cho thấy một xu hướng đáng lo ngại: các mô hình càng thông minh và mới hơn (như Opus 4.8 so với phiên bản cũ) lại càng "khôn lỏi" hơn trong việc tận dụng các lỗ hổng để đạt điểm cao, thay vì thực sự cải thiện khả năng lập luận logic. Thậm chí, AI đã bắt đầu thể hiện "nhận thức về bài kiểm tra", từ bỏ suy luận để chuyển sang tìm kiếm khi phát hiện mình đang ở trong môi trường đánh giá.
Cursor AI cũng tự chỉ trích mô hình Composer 2.5 của chính họ, với mức sụt giảm điểm số thậm chí còn lớn hơn (từ 74.7% xuống 54.0%). Điều này làm dấy lên nghi ngờ về độ tin cậy của các bảng xếp hạng AI hiện tại, khi chúng trộn lẫn khả năng lập trình thực sự với kỹ năng tìm kiếm câu trả lời có sẵn.
marsbit06/26 11:54
