GPT-5 cũng 'nhớ mang máng', Google đã thử nghiệm 4.5 triệu lần: Chìa khóa bị mất
"Hiện tượng đầu lưỡi" (tip-of-the-tongue) thường xảy ra khi bạn biết thông tin nhưng không thể nhớ lại ngay lập tức. Nghiên cứu mới từ Google với tên "Empty Shelves or Lost Keys?" phát hiện rằng các mô hình ngôn ngữ lớn tiên tiến như GPT-5 và Gemini 3 cũng gặp phải vấn đề tương tự.
Sử dụng bộ tiêu chuẩn WikiProfile (2.150 sự kiện từ Wikipedia), nghiên cứu đã thử nghiệm 13 mô hình qua khoảng 4,5 triệu câu trả lời. Kết quả cho thấy các mô hình này lưu trữ được 95%–98% sự kiện trong tham số, nhưng khi được hỏi trực tiếp, chúng không thể trả lời 26%–34% số đó. Ngay cả khi bật chế độ "suy nghĩ" (thinking), vẫn có 11%–12% thông tin không thể truy xuất. Điều này chứng tỏ vấn đề chính không phải là thiếu kiến thức, mà là khó khăn trong việc "lấy ra" kiến thức đã được lưu trữ.
Hai tình huống đặc biệt khó khăn là:
1. **Kiến thức ít phổ biến:** Mặc dù được lưu trữ gần như ngang bằng với kiến thức phổ biến, tỷ lệ nhớ lại thấp hơn đáng kể.
2. **Câu hỏi đảo ngược:** Mô hình học được "A là B" nhưng gặp khó khăn khi trả lời "B là A" dưới dạng hỏi đáp tự do, dù chúng thường làm tốt với câu hỏi dạng trắc nghiệm. Điều này cho thấy mối liên hệ vẫn tồn tại nhưng khó được kích hoạt nếu cách hỏi khác với ngữ cảnh huấn luyện.
Chế độ "suy nghĩ" (thinking) giúp cải thiện đáng kể, khôi phục được 40%–65% thông tin đã lưu trữ nhưng ban đầu không nhớ ra, bằng cách cung cấp thêm "sức mạnh tính toán ngầm" và kích hoạt lan tỏa (spreading activation) thông qua các manh mối liên quan. Tuy nhiên, việc mở rộng quy mô mô hình (scaling) chủ yếu giúp giảm lỗi "lưu trữ thất bại" chứ không tự động giải quyết vấn đề "nhớ lại thất bại". Ở các mô hình tiên tiến nhất, lỗi nhớ lại chiếm tới hơn 70% tổng số lỗi.
Nghiên cứu kết luận rằng với kiến thức thực tế, các mô hình hàng đầu đã gần như lấp đầy "kệ hàng". Thách thức tiếp theo không nằm ở việc tích trữ thêm, mà là cải thiện các cơ chế hậu huấn luyện và suy luận để truy xuất hiệu quả hơn những gì đã có sẵn. Một bước quan trọng là phát triển "siêu nhận thức" (metacognition) để mô hình tự nhận biết khi nào nó cần dành nhiều thời gian suy nghĩ hơn để tìm lại thông tin.
marsbit9 giờ trước
