Tidak ada yang benar-benar mengajari Anda cara melakukan penelitian. Anda mendapat meja kerja, masalah yang dipilih orang lain, dan instruksi samar untuk 'menghasilkan sesuatu yang baru'.

Oleh karena itu, kebanyakan orang merekayasa balik pekerjaan ini melalui hal-hal yang bisa mereka lihat (seperti makalah, pos, dan pengumuman), dan pada akhirnya mereka hanya belajar bagaimana 'terlihat' seperti seorang peneliti, bukan bagaimana 'menjadi' seorang peneliti. Kemampuan penelitian yang sesungguhnya adalah tumpukan keterampilan kecil, dan hampir setiap keterampilan itu dapat dikembangkan melalui latihan yang disengaja.

Memilih Masalah Anda Sendiri

Richard Hamming di Bell Labs memiliki kebiasaan yang membuatnya tidak disukai saat makan siang. Dia akan bertanya kepada orang di sebelahnya, apa masalah penting di bidang mereka, lalu bertanya mengapa mereka tidak meneliti masalah itu. Akibatnya, orang-orang berpindah meja untuk makan.

Pertanyaan itu menusuk karena kebanyakan dari kita tidak bisa memberikan jawaban yang baik. Kita tidak memilih masalah, melainkan menyerap masalah — dari pembimbing, dari pengumuman lab besar kuartal lalu, dari makalah yang dikutip semua orang minggu ini.

Masalah dengan masalah yang diserap adalah Anda hanya memegang kesimpulannya, tanpa mengetahui logika yang mendasarinya. Anda tahu lab terkenal tertentu peduli pada suatu arah, tetapi Anda tidak tahu alasannya, apa yang mereka harapkan untuk ditemukan, atau keadaan apa yang akan membuat mereka meninggalkan arah itu.

Ketika mereka berbalik arah, Anda baru akan menyadarinya setahun kemudian. Selain itu, dalam masalah yang sudah populer, Anda berlomba melawan 1.000 orang yang mulai lebih awal dari Anda dan memiliki daya komputasi lebih besar daripada Anda.

Panduan penelitian pembelajaran mesin John Schulman membagi pekerjaan ini menjadi dua mode. Pertama, Anda membaca literatur dan mencari hal-hal yang dapat ditingkatkan. Kedua, Anda memilih hasil yang benar-benar ingin Anda capai, kemudian bekerja mundur untuk merancang eksperimen.

Dia menganjurkan yang kedua, dengan alasan tersirat bahwa ini menciptakan orisinalitas. Tujuan yang benar-benar Anda pedulikan akan menarik Anda ke wilayah yang belum pernah dibahas oleh makalah tinjauan apa pun.

Mengenai 'selera' (taste), orang sering membicarakannya seolah-olah itu bakat bawaan. Namun, sebenarnya ia lebih menyerupai otot.

Sebelum menjalankan setiap eksperimen, prediksi hasilnya terlebih dahulu; tutupi bagian hasil suatu makalah, dan tebak datanya hanya berdasarkan metodenya; catat prestasi mana yang dirilis bulan ini yang masih penting dua tahun ke depan, lalu kembali lagi untuk memverifikasi tingkat akurasi Anda. Satu prediksi ditambah satu koreksi, ulangi ratusan kali — setiap model yang bagus dilatih seperti itu, termasuk yang ada di kepala Anda.

Tingkatkan Input Anda

Daftar bacaan bersama menghasilkan ide bersama. Jika pakan informasi Anda hanyalah daftar terpopuler arXiv ditambah sisa-sisa dari seleksi obrolan grup, Anda pasti akan sampai pada kesimpulan yang sama dengan semua orang pada saat yang bersamaan, sehingga membuat kesimpulan itu hampir tidak berharga.

Nilai bahan lama sangat diremehkan. Bidang ini selalu menampilkan kembali masa lalunya dengan jeda: model campuran ahli (MoE) dapat ditelusuri kembali ke 1991, LSTM ke 1997, propagasi balik menjadi arus utama pada 1986.

Richard Sutton pada tahun 2019 hanya menulis sekitar seribu kata untuk "Pelajaran Pahit" (The Bitter Lesson), dan prediksinya tentang lintasan perkembangan bidang ini lebih akurat daripada tinjauan yang sepuluh kali lebih panjang. Claude Shannon pada tahun 1952 memberikan pidato tentang pemikiran kreatif, dan langkah pertamanya adalah mengecilkan masalah ke tingkat yang hampir tidak berarti, memecahkan versi kecil ini, kemudian secara bertahap menambahkan kembali kesulitannya.

Dengan satu taktik ini saja, Anda dapat menembus lebih banyak tembok daripada saran produktivitas modern mana pun.

Luas sama pentingnya dengan kedalaman. Penelitian keterjelasan (interpretability) secara terang-terangan meminjam dari ilmu saraf; desain evaluasi (eval) hanyalah desain mekanisme yang mengenakan jas lab; dengan pengetahuan praktis tentang bagaimana sebenarnya GPU memindahkan memori, Anda dapat memprediksi makalah arsitektur mana yang pasti akan gagal bahkan sebelum hasil pengujian standar keluar; dan statistik yang jujur mungkin sudah menjadi keterampilan paling langka di bidang pembelajaran mesin, di mana banyak 'ketelitian' yang dipublikasikan hanyalah 'perasaan' dengan batas kesalahan.

Ada satu hal lagi. Baca makalah itu sendiri, bukan postingan yang merangkumnya. Lampiran adalah tempat rahasia terkubur, dan bagian 'keterbatasan' biasanya adalah bagian paling jujur dalam seluruh dokumen.

Tuliskan Semuanya

Paul Graham menyatakan bahwa sebuah ide selalu terasa sangat matang sebelum Anda mencoba mengubahnya menjadi tulisan. Namun, kata-kata yang tercetak akan mengungkapkan kekurangan yang dihaluskan oleh otak Anda: asumsi yang belum pernah Anda uji, langkah-langkah yang sebenarnya tidak koheren, dua klaim yang diam-diam saling bertentangan.

Prinsip Feynman adalah, orang pertama yang harus Anda hindari untuk menipu adalah diri Anda sendiri, karena Andalah target yang paling mudah tertipu. Menulis adalah mekanisme pertahanan termurah yang pernah diciptakan.

Darwin melangkah lebih jauh, dia memprogramnya: setiap fakta yang bertentangan dengan teorinya akan langsung ditulis, karena dia menemukan bahwa ingatannya menghapus bukti yang tidak menguntungkan jauh lebih cepat daripada menghapus bukti yang menguntungkan. Ingatan Anda juga demikian terhadap catatan kegagalan Anda.

Pertahankan kebiasaan membuat log: asumsi, pengaturan, harapan, hasil, pemahaman yang diperbarui. Membaca ulang catatan bulan lalu akan membuat Anda merasa sangat rendah hati, tidak ada pengulas yang bisa memberikan efek seperti itu.