Penulis: Sarah Guo
Diterjemahkan oleh: Deep Tide TechFlow
Panduan Deep Tide: Ketika model besar mulai mengungguli manusia di semua daftar peringkat, investor mulai dilanda keputusasaan: selain Anthropic dan Nvidia, apa lagi yang layak diinvestasikan? Investor top Silicon Valley ini menggunakan data dan kasus untuk menjelaskan, parit pertahanan yang sebenarnya tidak ada di daftar peringkat—ia tersembunyi di tempat-tempat yang tidak bisa diukur oleh benchmark.
Pertengahan 2026, versi investor dari kegilaan AI adalah sebuah keputusasaan: tidak ada yang layak diinvestasikan, kita harus menginvestasikan semua uang ke Anthropic dan Nvidia lalu pulang.
Saya belum pernah merasakannya. Saya sudah yakin model lebih pintar beberapa subversi dari saya, saya sangat senang membeli Anthropic dan Nvidia dengan harga pasar, semua teman terpintar saya cukup yakin perbaikan diri akan segera berhasil—tapi saya tetap tidak merasakan keputusasaan itu.
Keputusasaan ini tidak bodoh. Logikanya begini: jika model terus membaik dalam segala hal, maka setiap perusahaan yang dibangun di atasnya hanyalah lapisan pembungkus tipis, menunggu untuk diserap, satu-satunya nilai yang bisa bertahan adalah daya komputasi dan bobot terdepan.
Ambil contoh perangkat lunak, ini adalah kasus yang paling diandalkan oleh penganut paham keputusasaan. Saat diluncurkan pada tahun 2024, Devin hanya bisa menyelesaikan 13% tugas pada benchmark perangkat lunak standar, praktis diabaikan. Setahun setengah kemudian, agen terbaik bisa mencapai skor 80-an, mereka sedang melakukan pekerjaan nyata di dalam Goldman Sachs dan Angkatan Darat AS. Hampir semua orang menarik pelajaran yang sama yang salah: model melahap rekayasa perangkat lunak. Tapi ketika model melahap bagian rekayasa perangkat lunak yang paling mudah diukur, kita sedang menyadari kembali apa yang sudah lama diketahui banyak tim—rekayasa selalu menolak pengukuran, bagian yang paling mudah diukur mungkin bukan satu-satunya bagian yang penting.
Mert Demirer dari MIT dan rekan-rekannya akhirnya memberikan angka: pada lebih dari 100.000 pengembang, agen pengkodean terbaru meningkatkan jumlah kode yang ditulis sekitar 180%, sedangkan kode yang benar-benar dirilis meningkat sekitar 30%. Menulis kode menjadi lebih murah. Sisanya masih harus melalui manusia, dan itu penting. Tentu, dampak bersihnya tetap luar biasa.
Benchmark adalah hal yang bisa kamu ukur, dan hal yang bisa kamu ukur adalah hal yang bisa kamu latih untuknya. Jadi, agen pengkodean matang terlebih dahulu: kompiler adalah pemeriksa gratis, rangkaian pengujian adalah pemeriksa gratis, ketika jawaban memeriksa dirinya sendiri secara gratis, kamu bisa terus mengasahnya terhadap pemeriksaan itu sampai kamu mengalahkannya. Tapi lulus uji tidak pernah memberitahumu, apakah perubahan ini benar untuk basis kode tua sepuluh tahun yang memiliki tiga modul alasan keberadaannya yang tidak terdokumentasi, pipeline penyebaran yang bertahan dengan cron job yang tidak ada yang mau akui menulisnya.
Kebenaran seperti itu tidak bisa dibaca dari papan peringkat, sebenarnya juga tidak bisa dibaca dari apa pun. Kamu belajar dengan menjalankannya cukup lama di dunia nyata untuk menemukan apakah sistem kompleks seperti itu berfungsi, dan model yang lebih pintar tidak membuat dunia berjalan lebih cepat. Tidak ada yang melakukan pengujian unit pada sesuatu seukuran Google lalu mempercayai tanda centang hijau; kamu mempercayainya karena ia telah menahan beban nyata bertahun-tahun. Kebenaran seperti itu tidak hanya privat, ia adalah parit pertahanan lambat yang tidak bisa diruntuhkan oleh modal. Bahkan para optimis mengakui jam tidak bisa dilompati: Noam Brown, perintis model penalaran OpenAI, baru-baru ini menulis, satu-satunya cara andal untuk mengevaluasi agen dalam rentang waktu satu tahun mungkin adalah... menjalankannya selama setahun.
Seperti yang dikatakan Gabe Pereyra, otomatisasi nyata bukan hanya model yang menjadi lebih baik. Ini adalah produk, model, alur kerja, dan perusahaan yang bergerak bersama, dan tiga dari empat itu bergerak dengan kecepatan organisasi.
Orang yang bergerak adalah bagian yang tidak terjangkau benchmark: membuat seorang rekan yang skeptis mengubah cara dia menangani urusan, menjaga tim tetap bersatu selama pembangunan kembali. Itulah sebabnya ketika kita merekrut CEO, kemampuan menangani manusia setidaknya sama pentingnya dengan kemampuan analitis, dan model yang lebih pintar tidak akan mengubah bobot itu. Umpan baliknya kabur, rentang waktunya bertahun-tahun, kepercayaan milik seseorang. Setiap perusahaan yang saya tahu membuat semua insinyurnya menggunakan model pengkodean terdepan, tetapi tidak satu pun yang mengubah organisasi rekayasanya dengan kecepatan mendekati itu. Adopsi memakan waktu satu kuartal, itu kuartal pertumbuhan token yang luar biasa! Tapi pembangunan kembali memakan waktu bertahun-tahun.
Yang terlihat adalah hal-hal yang sedang pergi. Pekerjaan bernilai secara struktural tidak terlihat: apa pun yang bisa kamu letakkan di papan peringkat, kamu bisa melatih untuk itu, jadi apa pun yang bisa diukur sudah dalam perjalanan menjadi komoditas. Proses ini membutuhkan waktu dan tidak akan pernah sepenuhnya, tetapi arahnya tidak pernah terbalik. Dalam istilah uang dari teman saya Matt MacInnis di Rippling: token yang dihabiskan untuk menjawab pertanyaan umum hampir tidak bernilai, karena model siapa pun bisa menjawabnya, sedangkan token yang dihabiskan untuk menalar data perusahaamu jauh lebih berharga, karena ia melakukan hal yang benar-benar kamu inginkan, bukan hanya hal yang tampak masuk akal.
Pekerjaan yang terlihat dimakan dari dua arah. Dari bawah, saturasi tugas: begitu suatu pekerjaan bisa diperiksa dengan murah, pembeli tidak lagi bertanya model mana yang melakukannya, dan mulai bertanya berapa biayanya, pekerjaan jatuh ke model sumber terbuka atau distilasi termurah minggu itu. Di mana pun mereka bisa berdampak, margin keuntungan akhirnya penting. Dari atas, lab mencoba membuat model melahap perancahnya sendiri. Pengambilan, perutean antara panggilan murah dan mahal, penggunaan alat, bahkan strategi penalaran, semua perangkat yang pernah membungkus model ditarik ke dalam bobot, sampai pembungkusnya adalah model itu sendiri. Inilah serapan terdepan. Tekanan margin keuntungan juga memotong ke arah lain: agen umum harus siap untuk apa pun, itu mahal, sedangkan aplikasi fokus dapat menyetel alur kerja sampai ia berjalan pada sebagian kecil pengeluaran token, dan tidak seperti lab yang menjual token ini, ia mempertahankan selisihnya.
Jadi, kita bisa menanyakan dua hal tentang jenis pekerjaan apa pun. Apakah kebenarannya privat dan mahal untuk dibangun, kebenaran yang hanya ada di dalam data seseorang? Apakah ia terisolasi, terkunci di dalam sistem yang tidak bisa kamu masuki? Kontraskan ini dengan seberapa jenuh tugasnya, dan kamu mendapatkan matriks 2x2. Pekerjaan jenuh dengan jawaban publik adalah token komoditas, model sumber terbuka memilikinya. Pekerjaan terdepan dengan jawaban publik, tempat benchmark pengkodean berada, adalah tempat lab menang, karena ketika evaluasi gratis, memilikinya bukanlah apa-apa. Hadiahnya ada di sudut terakhir, yang tidak bisa dilatih: pekerjaan terdepan yang kebenarannya hanya ada di domain privat. Kamu bisa melihatnya di awan penalaran yang menaungi perintis AI asli, di mana sebagian besar token dihasilkan oleh model kustom, bukan model sumber terbuka umum.
Tembok untuk masuk ke sudut terakhir itu tingginya bervariasi. Basis kode mainan pengembang tunggal portabel dan terstandarisasi, jadi pendakiannya pendek. Sistem produksi bank bukan keduanya, kamu tidak mendapatkan izin root hanya karena 2% lebih pintar di SWE-Bench Verified.
Kemampuan melahap banyak hal, tetapi model yang lebih baik tidak membuat fakta dasar privat menjadi publik. Ia tidak memegang lisensi, tidak menandatangani tanggung jawab, juga tidak memiliki dokumen perusahaan, ia tidak bisa menjadi pihak yang dituntut ketika jawabannya salah. Kecerdasan bukan hambatan di sini. Lisensi, tanggung jawab juga. Kamu bisa membayangkan model yang jauh lebih pintar dari siapa pun, ia masih harus diizinkan masuk, masih ada orang yang harus menandatangani apa yang dilakukannya.
Pintu itu memiliki kunci dan engsel. Kuncinya adalah lingkungan: kamu hanya bisa memverifikasi apakah AI melakukan hal yang berguna setelah dipercaya di dalam sistem, setelah tinjauan keamanan, integrasi, kontrak di mana kamu menandatangani hasilnya. Engselnya adalah pengguna. Sekarang sebagian besar dokter Amerika membuka OpenEvidence setiap hari, tidak ada jumlah daya komputasi yang bisa membeli ini. Lab bisa melatih model medis sempurna besok, tetap tidak bisa masuk ke kebiasaan dokter, atau masuk ke proses pengambilan keputusan UCSF, karena kepercayaan dibangun perlahan, berdasarkan hubungan, membutuhkan persetujuan pengguna, bukan menghapus gradien turun mereka.
Ini juga pekerjaan. Sebuah aplikasi mendapatkan posisinya di sudut yang tidak bisa dilatih dengan melakukan pekerjaan yang tidak mencolok: mengatur realitas privat perusahaan agar model dapat mengambil tindakan, memberi model alat untuk bertindak, bekerja dengan klien untuk mengubah realitas karyawannya. Sebuah perusahaan yang membawa terjemahan sulit disalin—dan terjemahan tidak pernah berakhir. Integrasi dan pemeliharaan berlangsung selama hubungan, dimenangkan oleh tim yang menempatkan insinyur dan alat ahli domain di samping klien.
Sebagai contoh, di firma hukum kelas atas, hanya bisnis M&A yang menjalankan hampir seribu transaksi per tahun. Karena alasan kerahasiaan dan banyak alasan lainnya, kamu tidak bisa membuat ratusan asisten mengunduh dokumen klien ke desktop masing-masing dan meminta agen umum membalik-baliknya, bahkan jika kamu bisa, yang akan kamu pelajari adalah fragmen, koreksi satu asisten pada satu waktu, tidak melihat bagaimana seluruh transaksi mengalir. Sinyal penting ada di tingkat transaksi, dan transaksi memiliki bentuk: untuk M&A adalah NDA, daftar syarat, uji tuntas, perjanjian pembelian, dokumen pendukung, daftar penutupan; untuk litigasi IP, adalah mosi, pengungkapan bukti, seni sebelumnya, lebih banyak mosi. Setiap bidang bisnis memiliki sendiri, pengacara dan alat tidak bisa dipertukarkan antar bidang. Dan masalah yang sebenarnya dipecahkan firma hukum berada di satu tingkat di atas semua ini: menjalankan setiap bidang bisnis secara paralel, seperti mitra teratas menjalankan ratusan masalah secara bersamaan, sambil membawa masalah baru dan melatih asisten. Mentransformasi firma hukum seperti ini bukanlah tugas tunggal yang bisa kamu tulis evaluasi untuknya. Ini membutuhkan operator untuk melakukan dengan analitik data, dengan tujuan yang sangat kabur, umpan balik tidak lengkap, rentang waktu lama, dalam lingkungan yang tidak diam.
Sayangnya, nilai yang tidak terlihat juga sulit dijual, karena alasan yang sama dengan sulitnya menjadi komoditas: perusahaan tidak bisa menilai dari luar apakah AI akan mengubah operasinya, sama seperti benchmark tidak bisa menilai. Jadi perusahaan perusahaan terkuat berhenti mencoba membuktikannya dari luar, dan masuk ke dalam, memberi harga pada hasilnya. Sierra mengenakan biaya ketika agennya menyelesaikan masalah klien, tidak ketika menendang masalah ke manusia, jadi harga menjadi evaluasi, ini hanya berfungsi jika Sierra memiliki definisi "terselesaikan". Devin milik Cognition mengambil langkah yang sama dalam perangkat lunak, menawarkan "jaminan kinerja", yang hanya bisa kamu berikan untuk hasil jika kamu dipercaya masuk ke dalam sistem.
Bahkan token layanan, lapisan yang semua orang suka sebut komoditas murni, tidak beroperasi seperti komoditas. Perusahaan asli AI terbaik memusatkan layanan mereka pada satu atau dua penyedia (Baseten atau Fireworks), karena biaya per token mengkomoditaskan sesuai rencana, sementara keandalan di bawah lalu lintas nyata dan akses terjamin ke daya komputasi langka tidak. Di mana kamu melayani adalah pilihan yang berbeda dari model mana yang kamu gunakan. Harga adalah satu-satunya bagian dalam penalaran yang beroperasi seperti komoditas.
Satu keberatan yang sering diajukan adalah, lab adalah pemasokmu—mengapa ia tidak menjalankan produk pihak pertama sendiri dengan harga di bawah biaya untuk memerasmu, atau menarik akses API-mu dan merebut pasar sendiri? Ini adalah versi nyata dari paham keputusasaan, itu hanya berfungsi jika lapisan model adalah permainan satu orang. Jelas bukan—ia lebih mirip balapan kematian tiga setengah pihak, sekelompok pemain internasional tertinggal enam bulan pelatihan, liga pengembangan 5 kali ukuran tahun lalu. Klien menginginkan persaingan antar pemasok, lab lebih menginginkan pangsa pasar daripada membiarkan aplikasi mana pun mati.
Kamu bisa melihatnya di pasar di mana lab saling berhadapan langsung. Dalam obrolan konsumen, model terbaik tidak pernah sekadar menang. ChatGPT mempertahankan kepemimpinan dalam kompetisi nyata bertahun-tahun, pangsa yang sekarang hilang mengalir ke Gemini, berkat kekuatan Android dan pencarian, bukan model yang lebih baik. Anthropic, yang saat ini dinilai oleh pasar prediksi (dan suasana internet) sebagai perusahaan dengan model terbaik, hampir bukan faktor dalam obrolan konsumen, tetapi membangun bisnisnya sendiri di perusahaan dan pengkodean. Jika model yang lebih baik tidak bisa mengambil pengguna pesaing di aplikasi intinya, ia tidak akan menembus catatan rumah sakit atau tanggung jawab bank melalui integrasi. Pilihan publik hari ini tidak hanya berdasarkan pengkodean. Jika terdepan tetap ramai, lapisan di atasnya akan berharga.
Jika pekerjaan tidak bisa dinilai dari luar, seseorang di dalam harus memutuskan apa jawaban yang baik, dan keputusan itu adalah seluruh permainan. Cukup banyak keputusan ini, dituliskan, menjadi sebuah benchmark. Harvey merilis satu untuk hukum, Sierra merilis satu untuk agen suara. Kamu memenangkan hak untuk mendefinisikan apa artinya baik untuk suatu domain dengan menjadi yang sudah digunakan domain itu, perusahaan-perusahaan ini memenangkan hak itu melalui perjuangan adopsi nyata.
Evaluasi yang menentukan uang sungguhan adalah privat dan berbeda antar perusahaan: perusahaan ini, dalam urusan ini, akan menerima apa sebagai pekerjaan baik, itu jauh dari selesai, karena kedalaman hukum membuat pengujian publik mana pun terlihat kecil. OpenEvidence sedang menentukan seperti apa jawaban klinis yang aman. Ini bukan pengukuran nyata, ini adalah penilaian tentang apa yang benar dan apa yang baik, dituliskan sampai menjadi standar yang diukur oleh semua orang lain, dan lab dasar tidak peduli seberapa pintar tidak bisa menulisnya, karena status seperti itu hanya ada di dalam domain itu. Otoritas ini cenderung jatuh di tempatnya sudah duduk. Pengacara senior menulis benchmark hukum. Mendefinisikan jawaban klinis yang aman jatuh pada dokter. Dan terselesaikan berarti apa pun yang sudah memiliki klien katakan artinya.
Serapan terdepan terus naik, karena kita terus belajar mengukur lebih banyak pekerjaan, yang bisa diukur dimakan. Tanah yang tidak bisa dilatih menyusut di bawah kaki siapa pun yang berdiri di atasnya, jadi kamu tidak bisa menemukan titik yang bisa dipertahankan lalu beristirahat. Kamu terus bergerak ke arah apa pun yang belum bisa dinilai, kamu terus menilai ulang. Pada tugas yang sempit, dengan data privatmu dan evaluasimu sendiri, kamu bisa melatih ke terdepan dan mengalahkan model umum di tempat yang penting, model khusus itu menjadi bagian dari parit pertahanan. Di sisi lain, bersaing pada model umum adalah perang modal, kamu akan kalah dari orang yang memiliki daya komputasi terbanyak, ini adalah jebakan bagi perusahaan dengan akses dangkal dan tugas terlihat. Ia berjanji untuk melampaui pelatihan terdepan dalam ruang lingkup tugas umum untuk bertahan pada hari itu, pemenangnya tampaknya paling ditentukan oleh skala pusat data, akhirnya biasanya bukan juara independen tetapi dijual ke orang yang kaya daya komputasi.
Semua ini adalah pertahanan. Yang lebih sulit adalah penyerangan, memilih apa yang pertama kali dibangun. Inilah yang saya cari selama setahun, saya mungkin menemukannya tiga kali. Model tidak membantu di sini. Ia akan melakukan apa pun yang kamu tunjuk, tetapi tidak bisa memberitahumu apa yang layak ditunjuk, kamu tidak bisa membenchmark itu, jadi kamu tidak bisa melatihnya. Ini juga alasan perusahaan yang ada tidak akan mengambil segalanya: mereka mempertahankan wilayah yang mereka miliki, hal berikutnya datang dari orang yang menemukan kegunaan sebelum kita yang lain. Mungkin niat adalah input yang lebih langka daripada daya komputasi.
Paham keputusasaan setengah benar. Lapisan pembungkus tipis memang sedang diserap, banyak hal yang terlihat seperti perusahaan hari ini adalah pembungkus tipis. Ia salah tentang apa yang tersisa. Mekanismenya jelas; tujuannya tidak. Yang akan saya pertaruhkan adalah arahnya: kecerdasan terus menjadi lebih murah, nilai terus tergelincir ke sedikit tempat yang tidak bisa dijangkau model. Yang tidak bisa dilatih adalah nilai yang memiliki sejarah. Jadi masuk ke satu, lakukan terjemahan yang tidak mencolok, mulailah menuliskan apa artinya baik di sana, karena seseorang akan melakukannya. Skor benchmark yang paling banyak dikutip tahun ini adalah peta wilayah yang akan segera menjadi tidak bernilai, dan pemberitahuan tentang siapa yang akan kehilangan hak untuk mengatakan apa yang dihitung sebagai baik.
