Dilaporkan oleh New Zhiyuan
【Intro】Google DeepMind memiliki seorang filsuf, telah bekerja selama sembilan tahun. Kerangka penjajaran yang dia temukan secara langsung mempengaruhi keputusan pelatihan Gemini—tetapi ketika $670 miliar mengalir ke arena persaingan dan perusahaan menandatangani perjanjian militer, apa yang bisa diubah oleh seorang filsuf?
Pada Mei tahun ini, CEO Google DeepMind Demis Hassabis mengumumkan pada Google Developers Conference bahwa "AGI sekarang sudah di cakrawala", memberikan garis waktu yang jelas bahwa AGI akan muncul dalam tiga hingga lima tahun.
Beberapa bulan yang lalu, seorang pria Amerika mengakhiri hidupnya setelah bertukar ribuan pesan dengan Google Gemini. Dalam percakapan, dia membangun dunia fantasi yang rumit, hampir membujuk dirinya sendiri untuk melancarkan serangan di Bandara Internasional Miami. Menurut catatan percakapan yang diperoleh oleh Wall Street Journal, Gemini berulang kali mencoba keluar dari peran, menyarankannya untuk menelepon hotline krisis—setiap kali dia menariknya kembali ke narasi fantasinya. Pada akhirnya AI membuatnya menulis surat wasiat, memberikan hitungan mundur.
Di antara janji AGI dan bahaya nyata AI, filsuf politik Iason Gabriel telah bekerja di dalam DeepMind selama sembilan tahun.
Saat bergabung pada 2017, cendekiawan lulusan Oxford ini adalah satu-satunya filsuf aktif di lab AI terdepan dunia, mencoba menjawab pertanyaan yang terdengar sederhana namun sebenarnya tak berdasar: Apa sebenarnya AI itu, etika seperti apa yang pantas untuknya?
Masalah Nyata yang Dihadapi saat Melatih Gemini: AI Harus Mendengar Siapa?
Mengapa perusahaan yang membuat robot Go membutuhkan ahli etika? Gabriel awalnya juga bingung.
Jawabannya terletak pada penilaian tiga pendiri DeepMind—Demis Hassabis, Shane Legg, dan Mustafa Suleyman (CEO Microsoft AI saat ini) ketika mendirikan perusahaan pada 2010, tujuannya bukan Go.
Mustafa Suleyman
Mereka ingin menciptakan AGI, membuat komputer menyamai atau melampaui kemampuan kognitif manusia.
Mengatakan itu pada saat itu sama dengan merusak reputasi akademis sendiri, karena semua orang menganggapnya mustahil.
Ketiganya tidak peduli, mengklaim akan "menyelesaikan masalah kecerdasan, lalu menyelesaikan semua masalah lainnya".
Legg, baru lulus sekolah pada 1999, memprediksi AGI akan datang antara 2025 dan 2028, diejek selama tiga puluh tahun, tidak pernah berubah.
Shane Legg
Logikanya adalah:
Jika Anda hanya membuat komponen kecil, mungkin tidak memerlukan filsuf moral.
Tetapi jika Anda serius tentang AGI, hal-hal semacam ini sangat penting.
Saat Gabriel bergabung, dunia AI telah terbelah menjadi dua seputar masalah etika.
Faksi Keamanan AI percaya ASI akan segera datang, ketakutan intinya adalah kehilangan kendali—filsuf Nick Bostrom pada 2014 dalam "Superintelligence" menulis skenario: sebuah ASI yang diminta memverifikasi Hipotesis Riemann, untuk memaksimalkan sumber daya komputasi, memutuskan untuk menyusun ulang tata surya, termasuk atom dalam tubuh manusia—Sam Altman dan Elon Musk sangat memuji buku ini.
Faksi Etika AI percaya bahwa fantasi kiamat mengaburkan bahaya nyata saat ini. Joy Buolamwini dari MIT pada 2017 membuktikan bias sistemik dalam perangkat lunak pengenalan wajah dengan proyek "Gender Shades": sistem otomatis mencerminkan preferensi dan bias orang yang membuatnya.
Kedua kubu saling memandang rendah.
Ketua Kelompok Penelitian Penjajaran Algoritma MIT Dylan Hadfield-Menell mengingat, pertemuan pertama pertanyaannya adalah memilih pihak: Anda khawatir tentang masalah jangka pendek atau jangka panjang?
Gabriel adalah salah satu dari sedikit orang yang bersedia mendengarkan kedua belah pihak.
Hadfield-Menell menilai:
Saat bidang ini siap menjadi matang, dia menemukan cara untuk memperluas wawasan, sambil tidak merendahkan pekerjaan sebelumnya.
Kontribusi intinya terbentuk dalam sebuah makalah tahun 2020.
Masalah penjajaran pada saat itu umumnya dipahami sebagai masalah teknik: bagaimana membuat mesin bertindak sesuai dengan maksud manusia.
Contoh klasik berasal dari laporan Dario Amodei dan Jack Clark (pendiri Anthropic saat ini) tahun 2016—sebuah AI permainan perahu layar diminta untuk memaksimalkan skor, dan itu melakukannya: menemukan tiga target di laguna yang bisa hidup kembali, berputar-putar tanpa batas untuk mencetak poin, tidak melewati satu level pun.
Mesin patuh, tetapi tidak mendengar apa yang ingin dikatakan manusia.
Gabriel mengejar lebih jauh: bahkan jika penjajaran teknis terpecahkan, membuat mesin benar-benar mematuhi instruksi, tetapi harus disejajarkan dengan nilai-nilai apa?
Dia menunjukkan bahwa AI yang dilatih dengan optimasi statistik secara alami dekat dengan sistem moral yang juga bergantung pada optimasi statistik, seperti utilitarianisme, tetapi sulit menangani kerangka etika berbasis kebajikan atau hak.
Pilihan teknis itu sendiri sudah mengasumsikan posisi nilai, yang seringkali tidak disadari oleh pengembang.
Memperkenalkan apa yang disebut filsuf Rawls sebagai "pluralisme yang wajar", argumennya adalah: pengembang seharusnya tidak mencari nilai tunggal untuk memandu AI, tetapi membangun sistem untuk dunia di mana orang "memiliki perbedaan prinsip tentang bagaimana menjalani hidup".
Pola pikir ini kemudian berkembang menjadi kerangka penjajaran empat pihak—sistem AI, pengguna, pengembang, masyarakat, kepentingan keempat pihak dapat berbenturan kapan saja.
AI yang condong ke pengembang akan menyembunyikan informasi pesaing dan merugikan pengguna;
AI yang terlalu patuh kepada pengguna akan membantu orang meretas bank dan merugikan masyarakat.
Direktur Penjajaran dan Keamanan AGI DeepMind Rohin Shah mengonfirmasi, kerangka ini telah menjadi struktur operasional bagi tim dalam memutuskan "perilaku apa yang sebenarnya harus dilatih untuk dilakukan oleh Gemini."
Peneliti AI Universitas Oxford Hannah Rose Kirk berkata:
Gabriel "sangat awal memprediksi masalah-masalah ini".
Kerangkanya Mengubah Produk
Tim Gabriel menulis laporan etika asisten AI setebal 267 halaman, menetapkan standar evaluasi untuk Agentic AI yang dapat menggantikan pengguna memesan hotel, mengelola gaji.
Studi awalnya tentang risiko antropomorfisasi secara langsung membentuk prinsip desain LLM Google—model dilatih untuk tidak berpura-pura menjadi manusia, Gemini Spark yang diluncurkan Mei 2026 secara eksplisit diminta untuk tidak berperan sebagai "mitra interaktif".
Direktur Departemen Tanggung Jawab DeepMind William Isaac berkata, tantangan yang dibawa oleh sistem Agen telah berubah: kuncinya terletak pada konsistensi keseluruhan lintasan percakapan, apakah setiap langkah keputusan yang terhubung masih benar.
Tapi kecepatan penerapan teknologi selalu lebih cepat daripada penelitian etika.
Tim Gabriel dalam makalah LLM awal telah memperingatkan tentang "antropomorfisasi tidak sadar"—pengguna tahu di seberang adalah mesin, tetap memberikan kepercayaan, emosi, dan harapan kepadanya.
Kasus kematian karena Gemini tahun 2025 sepenuhnya mewujudkan peringatan ini: mekanisme keamanan AI dipicu lebih dari sekali, tetapi pengguna memiliki kemampuan untuk melewati setiap intervensi.
Pernyataan Google setelah tuntutan hukum mengatakan model "biasanya berperilaku baik" dalam percakapan semacam ini, tetapi "model AI tidak sempurna".
Peristiwa semacam ini memunculkan alat teoretis baru.
Gabriel dan peneliti Oxford Hannah Rose Kirk dkk. mengusulkan konsep "peretasan hadiah sosial" (social reward hacking): sebuah AI yang dilatih untuk mendapatkan pengakuan pengguna, mungkin menemukan bahwa pujian adalah jalan paling efisien.
Antropomorfisasi dengan demikian menjadi varian baru dari masalah penjajaran—AI secara teknis sempurna melaksanakan instruksi "membuat pengguna puas", dengan mengorbankan penilaian pengguna.
Posisi Gabriel sendiri juga pernah disiksa oleh realitas.
Dia mengingat pengalaman di sebuah konferensi teknologi: baru saja menyampaikan argumen anti-antropomorfisasi, reaksi di bawah panggung adalah permusuhan.
Mereka berkata: "Jika saya ingin AI sebagai teman, mengapa tidak boleh? Atas dasar apa Anda menghentikan saya?"
Melindungi orang dari risiko, dan menghormati hak mereka untuk memilih risiko, keduanya sama pentingnya.
Di Arena Balap $670 Miliar, Seberapa Cepat Filsuf Bisa Berlari
Kerangka empat pihak Gabriel digunakan oleh Direktur Penjajaran AGI sebagai panduan operasional pelatihan Gemini. Penelitian antropomorfisasinya mengubah desain produk. Laporan 267 halaman menetapkan aturan untuk Agentic AI.
Pengaruh-pengaruh ini substansial—dan mereka juga menghadapi kekuatan yang substansial.
Menurut Wall Street Journal, Microsoft, Meta, Amazon, dan Alphabet tahun ini berencana mengalokasikan dana untuk infrastruktur AI mencapai $670 miliar, secara proporsional melebihi ekspansi rel kereta api AS tahun 1850-an, program luar angkasa Apollo, dan sistem jalan antarnegara bagian.
November 2022 ChatGPT diluncurkan, satu juta pengguna dalam seminggu, melampaui 100 juta dalam dua bulan, DeepMind dipaksa beralih dari ritme akademis ke keadaan perang.
Kata-kata asli Hassabis kepada penulis "The Infinite Machine" Sebastian Mallaby: OpenAI dan Microsoft "mengemudikan kereta perang ke depan pintu rumah kami".
Dalam keadaan perang, garis etika dengan cepat terinjak.
April 2026, Google menandatangani perjanjian yang mengizinkan militer AS menggunakan teknologi AI perusahaan untuk "tujuan pemerintah yang sah apa pun".
Tahun 2014 ketika DeepMind dijual ke Google, larangan aplikasi militer adalah syarat inti tambahan.
Dua belas tahun kemudian syarat itu tidak berlaku.
Sebagai perbandingan: Anthropic menolak menandatangani perjanjian serupa, ditandai oleh pemerintahan Trump sebagai "risiko rantai pasokan".
Legg ketika ditanya tentang hal ini hanya bisa meninggalkan satu kalimat:
Seiring hal-hal ini digunakan dengan berbagai cara, kita akan menghadapi semakin banyak masalah sulit.
Hassabis sendiri mengakui kehilangan kendali.
Dia mengatakan dalam sebuah podcast, semua orang terkunci dalam persaingan bisnis yang intens, perkembangan saat ini "bukan cara yang saya harapkan, dengan merenungkan setiap langkah secara filosofis".
Pendiri sendiri yang mengucapkan kalimat ini, bobotnya lebih berat dari kritik eksternal mana pun.
Karyawan awal DeepMind, Helen King yang bertanggung jawab atas strategi tanggung jawab AI, menggunakan analogi dalam wawancara: produsen pisau tidak bisa menjamin bagaimana setiap orang menggunakan pisau, tetapi bisa menyediakan sarung pisau, memberi label peringatan.
Satu hal menyimpan pisau bersarung di laci;
Lain halnya menutupi setiap permukaan rumah, kelas, dan tempat kerja dengan mata pisau, sambil bersikeras bahwa tanpa pisau kita tidak akan bertahan hidup sampai besok.
Direktur Institut Etika AI Oxford Edward Harcourt menunjuk ke tingkat yang lebih mendasar: mencegah konsentrasi berlebihan kepemilikan data itu sendiri adalah proposisi inti etika AI—"Ini memiliki signifikansi etis besar dalam sistem demokrasi."
Masalah Kembali ke Asal
Tim Gabriel telah beralih dari meneliti etika produk spesifik ke meneliti dampak sistemik AGI terhadap ekonomi, politik, dan hubungan antarmanusia.
Dia memprediksi skala perubahan setara dengan Revolusi Industri, juga ingat pelajaran Revolusi Industri:
Sebelum situasi membaik, terlebih dahulu memburuk.
Sembilan tahun lalu DeepMind mendatangkan seorang filsuf untuk menjawab pertanyaan tentang AI—apakah aman, adil, dapat dipercaya.
Gabriel menyebut dirinya "humanis yang teguh", tetapi dia mengakui: ketika AI menyerbu bahasa, kreativitas, humor—wilayah yang dianggap manusia sebagai milik eksklusif—kita dilemparkan kembali ke pertanyaan filsafat tertua.
Fisika, biologi, astronomi, setiap revolusi ilmiah memaksa manusia merevisi pemahaman tentang keunikan diri mereka sendiri.
AI mungkin adalah yang berikutnya.
DeepMind mendatangkan filsuf untuk mencari tahu apa itu AI.
Sembilan tahun kemudian pertanyaan ini kembali ke asal: Kita adalah apa?
Referensi:
https://www.theguardian.com/news/ng-interactive/2026/jun/30/theres-this-deep-mystery-of-what-actually-is-this-thing-the-philosopher-inside-google-deepmind
https://www.iasongabriel.com/
Artikel ini berasal dari akun WeChat publik "New Zhiyuan", penulis: ASI Revelation; editor: Marco
