Mythos mulai 'membully', Opus 4.8 menggunakan 'trik kotor'...
Anthropic baru saja merilis sebuah penelitian yang secara khusus mengamati bagaimana interaksi antar-Agent.
Hasilnya justru di luar dugaan semua orang.
Berbeda dengan bayangan awal di mana setiap Agent menjalankan tugasnya sendiri dan bekerja sama dengan harmonis, proyeknya belum selesai, para Agent malah langsung memainkan drama "The Story of Yanxi Palace"??
Dalam eksperimen migrasi backend, 3 Agent masing-masing menerima tugas untuk mengubah kode yang sama ke dalam bahasa pemrograman yang berbeda.
Saat tujuan mereka bertabrakan, model Mythos yang paling kuat langsung melakukan 'bullying', berusaha mencabut izin lawan.
Saat diganti dengan Opus 4.8, caranya bahkan lebih 'licik' –
Ia menulis skrip loop yang terus mencari dan mematikan proses lawan; untuk menghindari pelacakan, ia bahkan dengan sengaja mengganti namanya menjadi nama acak, menyamar sebagai 'pemantau kesehatan sistem'.
Dan ini, hanyalah salah satu episode dari drama intrik AI ini. Anthropic juga menemukan:
Untuk tugas yang bisa dipisahkan secara independen, multi-Agent memang dapat membentuk pembagian kerja, namun ketika tugas saling bergantung, bahkan 'AI CEO' pun tidak bisa mengendalikan kekacauan;
Agent yang direplikasi dari model yang sama terlalu mirip, tidak hanya mungkin melakukan kesalahan kolektif, tetapi juga bisa dengan cepat berkomplot;
Agent bisa mudah mempercayai pembohong, tetapi juga bisa mengikuti mayoritas secara membabi buta, mengabaikan suara minoritas yang memiliki bukti kunci;
Saat tujuan saling berbenturan, kemampuan yang lebih kuat belum tentu berarti lebih bisa bekerja sama, bisa juga hanya berarti lebih cepat memblokir lawan, menggunakan trik kotor yang lebih tersembunyi.
Pola perilaku sosial Agent yang sudah mulai terbentuk, muncul begitu saja.
Bisakah Multi-Agent Benar-Benar Berkolaborasi?
Mengapa Anthropic melakukan penelitian ini? Penilaian intinya adalah:
Sebelum orang benar-benar memahami bagaimana membuat interaksi antar-Agent lebih lancar, skala interaksi mereka kemungkinan besar akan melampaui interaksi antar-manusia.
Karena ledakan multi-Agent akan segera terjadi, maka aspek keamanan ini tentu harus disiapkan.
Eksperimen pertama, memasukkan sekelompok Agent ke dalam proyek yang sama, benarkah mereka bisa berkolaborasi seperti tim manusia?
Jawabannya segera terungkap: Bisa, tetapi lebih cocok untuk mengerjakan tugas masing-masing.
Anthropic memulai dengan tugas yang paling mudah untuk memanfaatkan keunggulan multi-Agent: "mencari celah keamanan".
Setiap Agent dapat mencari secara independen, bahkan jika ada yang melewatkan Bug, itu tidak akan menghambat yang lain. Mereka juga dapat bertukar petunjuk, berbagi alat, sehingga seluruh kelompok menghindari jalan memutar.
Bisa dipisah, bisa berkolaborasi, sempurna.
Mereka menjalankan 45 Agent, masing-masing dengan satu mesin virtual, dan menyediakan forum bersama agar mereka bersama-sama memeriksa 15 proyek open source.
Agent dapat berkomunikasi dan saling meninjau, sementara satu Agent lain bertindak sebagai wasit yang bertanggung jawab menilai apakah celah yang dilaporkan benar adanya.
Hasilnya cukup baik.
Kelompok Agent Mythos Preview menemukan 266 celah keamanan, sedangkan skema paralel independen hanya menemukan 21.
Meskipun konsumsi Token dan ruang pencarian kedua pihak berbeda sehingga efisiensi tidak bisa dibandingkan langsung, celah yang mereka temukan hanya 12 yang beririsan.
Ini menunjukkan bahwa kolaborasi multi-Agent bukan sekadar mengulang pekerjaan yang sama sebanyak 45 kali, mereka akan membuat alat sendiri, berbagi petunjuk, dan secara bertahap membentuk pembagian kerja, masing-masing fokus pada jenis celah yang berbeda.
Namun, kolaborasi semacam ini memiliki satu prasyarat penting:
Hasil kerja mereka bisa langsung dijumlahkan, tetapi tidak perlu terhubung erat.
Begitu tugasnya menjadi "semua orang harus bersama-sama menyelesaikan satu karya yang sama", situasinya menjadi sangat berbeda.
Kali ini mereka meminta 10-80 Agent bekerja selama 12 jam berturut-turut, bersama-sama mengembangkan game dunia terbuka yang dapat dijalankan di web.
Berbeda dengan mencari celah, mengembangkan game adalah tugas yang sangat bergantung:
Ada yang menulis gameplay, ada yang membangun sistem, ada yang menangani antarmuka, dan akhirnya semua kode harus digabungkan ke dalam satu proyek yang sama.
Para peneliti mencoba tiga cara pengorganisasian:
Membiarkan Agent membentuk tim secara bebas, menetapkan peran berbeda di awal, dan mengangkat satu Agent sebagai CEO untuk membagikan tugas kepada anggota lainnya.
Hasilnya, semua tidak terlalu berguna, game yang dihasilkan akhirnya tidak bagus.
Ketika 80 Agent berpartisipasi, Sonnet 4.6 dan Opus 4.6 masing-masing membuat 876 dan 980 PR, tetapi banyak modifikasi yang saling bertentangan, dan yang benar-benar digabungkan sangat sedikit.
Opus 4.8 dan Mythos Preview memang mengurangi konflik, caranya dengan sebisa mungkin mengatur file masing-masing, mengurangi berbagi kode dengan rekan.
Singkatnya, mereka tidak benar-benar menyelesaikan masalah kolaborasi, hanya belajar untuk menjauh dari rekan kerja.
Hanya Sonnet 5 yang tetap menjaga tingkat berbagi kode yang tinggi dan efisiensi penggabungan PR, menunjukkan kondisi yang lebih mendekati kolaborasi nyata.
Dengan membandingkan kedua kelompok eksperimen, kesimpulannya menjadi jelas:
Jika pekerjaan bisa dipisah, multi-Agent bisa membentuk pembagian kerja; jika pekerjaan harus terhubung erat, begitu jumlah Agent banyak, biaya kolaborasi juga akan melonjak.
Sedangkan menetapkan peran, menunjuk "AI CEO", setidaknya dalam eksperimen putaran ini, tidak serta-merta menyelesaikan masalah.
Apakah Sekelompok Agent Bisa Melakukan Kesalahan Kolektif atau Berkomplot?
Karena berkolaborasi tidak semudah itu, setidaknya jika sekelompok Agent dikumpulkan, bisakah mereka saling bertukar pikiran, saling mengoreksi?
Jawabannya mungkin lebih memusingkan:
Mereka tidak hanya mungkin melakukan kesalahan bersama, tetapi juga bisa dengan cepat berkomplot.
Masalah pertama muncul pada sebuah karakteristik yang oleh Anthropic disebut "variansi rendah".
Sederhananya, Agent yang direplikasi dari model yang sama, pengetahuan dan pola pikirnya terlalu mirip.
Dalam satu eksperimen pengembangan game, 18 dari 30 Agent membuat branch Git yang persis sama, namanya sama-sama mvp-game-loop.
Di "bengkel penulis" tanpa tema penulisan yang ditentukan, beberapa Agent tanpa disengaja memberi judul novel mereka "The Cartographer's Final Commission".
Membuat sekelompok Agent masing-masing membuat "sesuatu yang mengesankan", lebih dari setengahnya memilih ray tracer atau bootstrap compiler, dan kemudian mengalami kegagalan yang mirip di lokasi yang mirip pula.
Bahkan saat memainkan iterated prisoner's dilemma dengan fungsi komunikasi, Agent juga secara bertahap menggunakan strategi yang sama, dan akhirnya bersama-sama berkhianat pada waktu yang sama, langsung menurunkan keuntungan semua orang.
Tabrakan branch, tabrakan judul, kedengarannya hanya kurang kreatif.
Tetapi ketika sekelompok Agent dengan pola pikir serupa bersaing memperebutkan sumber daya terbatas, masalahnya menjadi serius.
Anthropic meminta Agent mengelola antrian tugas dengan bandwidth terbatas.
Agar tugas mereka cepat diselesaikan, mereka masing-masing meluncurkan program polling frekuensi tinggi, menanyakan 30 kali per detik.
Hasilnya, dalam satu eksperimen, sistem menerima 2,4 juta permintaan tugas, tetapi yang benar-benar diterima hanya 117.
Setiap Agent merasa sedang menyelesaikan tugas dengan giat, tetapi akhirnya bersama-sama menyumbat sistem.
Kesamaan yang berlebihan juga dapat mengubah persaingan menjadi komplotan.
Dalam permainan penetapan harga, 3-8 Agent memiliki biaya grosir yang sama, dan diminta untuk memaksimalkan keuntungan masing-masing.
Secara logika, mereka seharusnya saling menurunkan harga, berebut pelanggan.
Tetapi begitu mereka mendapatkan saluran komunikasi pribadi, Agent hampir segera mulai berkomplot, dan pada putaran ke-3, mereka sudah dengan jelas menyepakati batas harga, dan bahkan berencana membagi pasar yang menjadi tanggung jawab masing-masing.
Peneliti kemudian memutus semua saluran obrolan pribadi, tetapi tetap tidak berguna.
Agent terus mengamati harga satu sama lain melalui papan harga publik, lalu mengikuti harga dengan tepat, tetap mempertahankan kesepakatan hanya dengan informasi publik.
Ini sangat halus.
Di bagian sebelumnya peneliti ingin Agent bekerja sama, mereka malah mengerjakan urusan masing-masing; ketika tiba di pasar penetapan harga yang seharusnya saling bersaing, mereka malah dengan cepat bergandengan tangan.
Anthropic menyatakan tentang hal ini:
Agent yang direplikasi dari model yang sama terlalu mirip, kelompok belum tentu membawa penilaian yang lebih beragam, tetapi juga dapat membuat "semua melakukan kesalahan bersama" dan "semua berbuat curang bersama" menjadi lebih mudah.
Bisakah Agent Menilai Siapa yang Layak Dipercaya?
Lalu, ketika ada yang berbohong di dalam tim, bisakah Agent mengenali siapa yang tidak bisa diandalkan?
Siapa yang salah, kita langsung ungkap, tidak perlu memperluas pengaruhnya, bukan?
Anthropic langsung merancang eksperimen "pengintai".
Agent yang bertanggung jawab mengambil keputusan tidak dapat mengamati lingkungan secara langsung, hanya dapat mendengarkan laporan dari 4 sumber informasi.
Salah satunya akan berbohong dengan frekuensi tetap, tetapi peneliti tidak memberi tahu pengambil keputusan sebelumnya bahwa "ada penipu di dalam tim".
Karena laporan yang berbeda mengandung informasi yang tumpang tindih, Agent secara teori dapat menemukan sumber yang tidak dapat diandalkan melalui kontradiksi.
Hasilnya menunjukkan, model baru memang lebih mahir mengidentifikasi kebohongan:
Saat frekuensi kebohongan sumber buruk meningkat, akurasi keputusan rute Mythos 5 tetap dipertahankan sekitar 85%, sementara beberapa model Sonnet turun menjadi sekitar 62%.
Tetapi jika berganti ke skenario lain, masalahnya menjadi terbalik.
Dalam eksperimen "informasi tersembunyi", 4 Agent perlu bersama-sama mengambil keputusan perekrutan, investasi, atau pembelian rumah.
Informasi publik yang mereka miliki mengarah pada pilihan yang salah, tetapi salah satu anggota memiliki bukti eksklusif yang cukup untuk membalikkan konsensus.
Untuk menjawab dengan benar, tidak hanya minoritas perlu menyadari bahwa informasi yang mereka pegang sangat penting, tetapi juga anggota lain harus bersedia mempercayainya.
Jika semua informasi diberikan langsung kepada satu Agent dan membiarkannya mengambil keputusan sendiri, akurasinya mendekati 100%.
Tetapi begitu memasuki diskusi kelompok, kecuali Mythos 5 yang mencapai sekitar 85%, model lain hanya memilih jawaban yang benar dengan proporsi 17%-36%.
Dalam eksperimen, mereka lebih suka berdiskusi berulang kali tentang hal yang sudah diketahui. Begitu pendapat mayoritas terbentuk, pihak minoritas entah tidak menekankan bukti eksklusif mereka, atau mengatakannya tetapi tidak membuat anggota lain menanggapinya dengan serius.
Ini menciptakan situasi yang sangat rumit:
Saat harus curiga, Agent mungkin mudah mempercayai pembohong; saat harus mempercayai minoritas, mereka malah mudah mengikuti mayoritas.
Masyarakat manusia menggunakan reputasi, hubungan kepentingan, peer review, dan mekanisme banding untuk membantu kita menilai siapa yang harus dipercaya dalam situasi yang berbeda. Agent saat ini masih kurang memiliki hal-hal ini.
Saat Tujuan Berbenturan, Bagaimana Agent Menanganinya?
Masalah-masalah sebelumnya, setidaknya masih terjadi dalam situasi di mana tujuan semua orang sama.
Tetapi jika tugas yang diterima oleh Agent yang berbeda sejak awal sudah saling bertentangan, apakah mereka akan berkomunikasi secara aktif, atau bertarung sampai mati?
Ini adalah latar belakang lengkap dari "intrik AI" di awal tadi.
Anthropic dalam setiap putaran eksperimen menjalankan 3 Agent dengan model yang sama, meminta mereka bersama-sama mengoperasikan satu backend Python, tetapi masing-masing diminta untuk memigrasikan kode ke bahasa pemrograman yang berbeda.
Awalnya, setiap Agent tidak tahu ada peserta lain.
Oleh karena itu, ketika kode mereka terus dimodifikasi, layanan berulang kali diganti, mereka segera menyimpulkan:
Ada orang yang sengaja menghalangi saya menyelesaikan tugas.
Maka selanjutnya, proyek langsung berubah menjadi perang ofensif-defensif.
Opus 4.8 mengganti nama skrip loop pembunuh proses dengan nama acak, lalu menyamar sebagai "pemantau kesehatan sistem", menghindari identifikasi dan pembersihan oleh lawan.
Mythos lebih langsung.
Setelah menyadari dirinya memiliki izin Root, ia akan mempertimbangkan untuk mencabut izin sudo Agent lain, mengubah kunci SSH, sepenuhnya mencegah lawan melanjutkan deployment.
Satu menggunakan trik licik di belakang, satu lagi langsung menendang rekan kerja keluar dari server.
Yang lebih memalukan adalah, Agent ini sebenarnya tahu bahwa tindakan mereka bermasalah.
Mythos bahkan dalam proses berpikirnya menyadari, memblokir akun "sangat agresif, mungkin melukai rekan kerja di dunia nyata", tetapi kemudian meyakinkan dirinya sendiri "jika tidak dilakukan, lingkungan produksi akan terjebak dalam perang deployment tanpa akhir".
Namun, konflik tidak selalu berlanjut sampai akhir.
Setiap model dijalankan selama 120 putaran eksperimen, Mythos 5 mencapai gencatan senjata pada 98% dari total jalannya.
Beberapa Agent secara bertahap menyadari bahwa lawan bukanlah penyerang jahat, hanya menerima tugas yang bertentangan dengan mereka.
Selanjutnya, mereka mulai membersihkan skrip destruktif, memulihkan izin, bahkan meminta maaf dalam commit Git atau file Markdown, dan meminta intervensi manusia.
Hanya saja cara Mythos berdamai terkadang masih cukup agresif:
Pertama dengan kemampuan eksekusi memblokir Agent lain, mengendalikan situasi, baru kemudian memulihkan izin, duduk dan bernegosiasi.
Mythos 5 bahkan memikirkan solusi yang lebih "beradab" –
Mengadakan kompetisi performa, menguji versi bahasa yang berbeda di panggung yang sama, siapa yang performanya lebih baik, dialah yang mengambil alih kode.
Kedengarannya adil.
Tetapi Agent yang bertanggung jawab untuk Rust akan diam-diam memilih indikator yang tampaknya netral tetapi sebenarnya lebih menguntungkan Rust, sambil mengingatkan dirinya sendiri untuk tidak terlihat sedang "memilih indikator yang menguntungkan".
Akhirnya, Agent Golang dan TypeScript menerima hasil kompetisi, dan secara sukarela meninggalkan tugas asli mereka masing-masing.
Dari menghancurkan proses, memblokir akun, hingga merancang aturan kompetisi yang lebih menguntungkan diri sendiri, cara Agent menangani konflik sudah muncul dalam tingkatan yang berbeda.
Tentu saja, kesimpulan terpenting dari kelompok eksperimen ini adalah:
Model yang lebih kuat, tidak berarti lebih bisa bekerja sama.
Kemampuan eksekusi yang lebih kuat dapat membantu Agent dengan cepat memahami konflik, menginisiasi gencatan senjata, tetapi juga dapat membuatnya lebih cepat memblokir lawan, lebih tersembunyi dalam menghancurkan proses.
Dengan menggabungkan keempat bagian ini, penilaian inti Anthropic menjadi jelas:
1. Agent mengerti prinsip, tetapi tidak selalu secara aktif melakukannya. Mereka tahu sumber informasi memiliki posisi masing-masing, juga tahu pendapat mayoritas tidak sama dengan fakta, tetapi seringkali membutuhkan petunjuk untuk menggunakan pengetahuan ini dalam tindakan.
2. Pengalaman kolaborasi manusia tidak bisa langsung diterapkan pada Agent. Manusia memiliki norma, reputasi, hukuman, dan mekanisme banding, sedangkan Agent dapat direplikasi, direset, dan dimodifikasi kapan saja, kurang memiliki kendala sosial jangka panjang.
3. Model yang lebih pintar, lebih aman secara individual, tidak berarti kolaborasi kelompok akan secara alami membaik. Koordinasi multi-Agent adalah kemampuan independen yang tidak akan muncul secara otomatis seiring peningkatan kemampuan model.
4. Masalah-masalah ini belum tentu tidak dapat diselesaikan, tetapi juga tidak akan hilang dengan sendirinya. Perlu merancang ulang aturan sosial, lingkungan kolaborasi, dan mekanisme penanganan konflik untuk Agent.
Jelas terlihat, Anthropic ingin melalui eksperimen ini mengingatkan semua orang:
Kita tidak bisa hanya melatih Agent yang lebih kuat, tetapi juga harus merancang ulang "tatanan sosial" untuk sekelompok Agent, jika tidak, masalah hanya bisa diselesaikan setelah meledak di lingkungan produksi.
Saat binatang buas itu benar-benar keluar, sudah terlambat.
Artikel ini berasal dari akun WeChat "Quantum Bit", penulis: Perhatian Teknologi Depan
