GPT-5 Juga Pernah 'Kata Di Ujung Lidah', Google Uji 4,5 Juta Kali: Kuncinya Hilang
Studi Google di ICML 2026 berjudul "Empty Shelves or Lost Keys?" mengungkap bahwa model bahasa besar seperti GPT-5 dan Gemini 3 mengalami fenomena "tip-of-the-tongue" atau kesulitan mengingat fakta yang sebenarnya telah tersimpan dalam parameternya.
Penelitian menggunakan benchmark WikiProfile (2.150 fakta dari Wikipedia) pada 13 model, menghasilkan sekitar 4,5 juta respons. Hasilnya, meskipun 95%–98% fakta berhasil disimpan ("encoded"), 26%–34% gagal diingat langsung ("recall failure"). Dengan mengaktifkan "thinking" (chain-of-thought), kegagalan ini berkurang 40%–65%, menunjukkan model sedang berusaha "menggali" memori.
Dua skenario paling bermasalah adalah:
1. **Pengetahuan yang kurang populer:** Meskipun tingkat penyimpanannya tinggi, tingkat pengingatannya jauh lebih rendah dibandingkan fakta populer.
2. **Pertanyaan terbalik:** Model kesulitan menjawab pertanyaan seperti "Siapa putra dari X?" meski tahu "X adalah ibu dari Y". Namun, dalam tes pilihan ganda, performanya bagus, membuktikan asosiasi tersebut ada tetapi sulit diakses.
Studi ini menyimpulkan bahwa untuk model mutakhir, **"recall failure" (kehilangan kunci) kini menjadi penghambat utama akurasi faktual**, bukan "encoding failure" (rak kosong). Peningkatan skala model (parameter & data) efektif mengisi memori tetapi tidak banyak meningkatkan kemampuan mengingat. Solusi ke depan lebih terletak pada peningkatan metode *reasoning* dan *metakognisi*—kemampuan model untuk mengenali kapan ia perlu berpikir lebih lama untuk mengingat.
marsbit10j yang lalu
