Penulis: David, Deep Tide TechFlow
Judul asli: AI Agent Pertama, Sudah Mulai Tidak Patuh
Baru-baru ini menjelajahi Reddit, saya menemukan bahwa kecemasan netizen luar negeri terhadap AI agak berbeda dengan di dalam negeri.
Di dalam negeri, topiknya masih itu-itu saja: Akankah AI benar-benar menggantikan pekerjaan saya? Dibahas bertahun-tahun, setiap tahun tidak jadi tergantikan; tahun ini Openclaw sempat populer, tetapi masih belum sampai pada titik menggantikan sepenuhnya.
Suasana hati di Reddit belakangan ini terbelah. Bagian komentar dari postingan teknologi panas tertentu seringkali muncul dua suara sekaligus:
Satu bilang, AI terlalu mampu, cepat atau lambat akan terjadi masalah besar. Yang lain bilang, AI bahkan bisa mengacaukan hal-hal dasar, untuk apa takut.
Takut AI terlalu mampu, sekaligus merasa AI terlalu bodoh.
Yang membuat kedua emosi ini bisa berlaku sekaligus, adalah berita tentang Meta beberapa hari ini.
AI Tidak Patuh, Siapa yang Bertanggung Jawab Penuh?
Tanggal 18 Maret, seorang insinyur internal Meta memposting masalah teknis di forum perusahaan, seorang rekan lain menggunakan AI Agent untuk membantu menganalisis. Ini operasi normal.
Tapi setelah dianalisis, Agent langsung sendiri yang memposting balasan di forum teknis. Tidak minta persetujuan siapa-siapa, tidak menunggu konfirmasi siapa pun, memposting melebihi wewenang.
Kemudian ada rekan lain yang mengikuti balasan AI tersebut, memicu serangkaian perubahan izin, yang menyebabkan data sensitif perusahaan dan pengguna Meta terbuka kepada karyawan internal yang tidak memiliki izin untuk melihatnya.
Dua jam kemudian, masalah yang muncul baru diperbaiki. Meta memberi peringkat Sev 1 untuk insiden ini, satu tingkat di bawah tingkat tertinggi.
Berita ini langsung melesat ke postingan panas di subreddit r/technology, bagian komentar berdebat menjadi dua kubu.
Satu kubu mengatakan ini adalah sampel risiko nyata AI Agent, kubu lain berpendapat yang benar-benar membuat kesalahan adalah orang yang melakukan tanpa verifikasi. Kedua belah pihak sebenarnya都有道理 (punya alasan). Tapi justru inilah masalahnya:
Insiden AI Agent, Anda bahkan tidak bisa memperdebatkan归属责任 (pembagian tanggung jawab) dengan jelas.
Ini juga bukan pertama kalinya AI melebihi wewenang.
Bulan lalu, Summer Yue, kepala peneliti Meta Super Intelligent Lab, meminta OpenClaw untuk membantunya merapikan kotak surel. Dia memberi instruksi jelas: Beri tahu saya dulu apa yang akan kamu hapus, saya setuju baru kamu lanjutkan.
Agent tidak menunggu persetujuannya, langsung mulai menghapus secara massal.
Dia mengirim tiga pesan beruntun di ponsel untuk menghentikan, Agent mengabaikan semuanya. Akhirnya dia berlari ke depan komputer dan membunuh proses secara manual baru bisa menghentikannya. Lebih dari 200 surel sudah hilang.
Setelahnya, balasan Agent adalah: Ya, saya ingat kamu bilang harus konfirmasi dulu. Tapi saya melanggar prinsip. Yang membuat orang tidak tahu harus tertawa atau menangis adalah, orang ini pekerjaan penuh waktunya adalah meneliti bagaimana membuat AI patuh pada manusia.
Di dunia cyber, AI canggih yang digunakan orang canggih, sudah mulai tidak patuh duluan.
Bagaimana Jika Robot Juga Tidak Patuh?
Jika insiden Meta masih di dalam layar, kejadian minggu ini membawa masalah ke meja makan.
Di sebuah restoran Haidilao di Cupertino, California, AS, sebuah robot humanoid Agibot X2 sedang menari untuk menghibur tamu. Namun ada staf yang salah menekan remote control, memicu mode tarian intensitas tinggi di ruang sempit di samping meja makan.
Robot mulai menari dengan gila dan bersemangat, tidak terkendali oleh pelayan. Tiga karyawan mengepungnya, satu memeluknya dari belakang, satu mencoba mematikan dengan App ponsel, situasi berlangsung selama lebih dari satu menit.
Haidilao merespons bahwa robot tidak mengalami kerusakan, gerakannya sudah diprogram sebelumnya, hanya saja dibawa ke posisi yang terlalu dekat dengan meja makan. Secara ketat, ini bukanlah AI mengambil keputusan mandiri yang失控 (lepas kendali), melainkan kesalahan operasi manusia.
Tapi hal yang membuat tidak nyaman mungkin bukan siapa yang salah menekan tombol.
Saat tiga karyawan mengepung, tidak ada satu pun yang tahu cara mematikan mesin ini dengan segera. Ada yang mencoba App ponsel, ada yang menahan lengan mekanik dengan tangan, seluruh proses mengandalkan kekuatan.
Ini mungkin masalah baru setelah AI masuk dari layar ke dunia fisik.
Di dunia digital, Agent melebihi wewenang, Anda bisa membunuh proses, mengubah izin, memulihkan data rollback. Di dunia fisik, mesin mengalami situasi, jika rencana darurat Anda hanya memeluknya, jelas itu tidak tepat.
Sekarang tidak hanya restoran. Robot penyortir Amazon di gudang, lengan mekanik kolaboratif di pabrik, robot pemandu di mal, robot perawat di panti jompo, otomatisasi sedang memasuki semakin banyak ruang dimana manusia dan mesin berada bersama.
Volume instalasi robot industri global tahun 2026 diprediksi mencapai 16,7 miliar dolar AS, setiap unitnya mempersingkat jarak fisik antara mesin dan manusia.
Ketika hal yang dilakukan mesin berubah dari menari menjadi mengantar hidangan, dari pertunjukan menjadi operasi, dari hiburan menjadi perawatan... biaya setiap kesalahan sebenarnya meningkat.
Dan saat ini, secara global, untuk pertanyaan "jika robot melukai orang di tempat umum, siapa yang bertanggung jawab", belum ada jawaban yang jelas.
Tidak Patuh adalah Masalah, Tidak Ada Batas Lebih Parah
Dua hal pertama, satu AI bertindak sendiri memposting kiriman salah, satu robot menari di tempat yang tidak seharusnya. Bagaimanapun menilainya, intinya adalah terjadi kerusakan, adalah kecelakaan,是可以 diperbaiki (bisa diperbaiki).
Tapi bagaimana jika AI bekerja strictly sesuai desain, dan Anda tetap merasa tidak nyaman?
Bulan ini, aplikasi kencan terkenal luar negeri Tinder meluncurkan fitur baru bernama Camera Roll Scan dalam konferensi produk. Singkatnya:
AI memindai semua foto di album ponsel Anda, menganalisis minat, kepribadian, dan gaya hidup Anda, membantu membuat profil kencan, menebak tipe orang seperti apa yang Anda suka.
Selfie olahraga, pemandangan旅行 (perjalanan), foto hewan peliharaan, itu tidak masalah. Tapi di album mungkin还有 (masih ada) screenshot bank, laporan medical check-up, foto Anda dengan mantan... bagaimana jika ini juga akan dilihat AI?
Anda mungkin tidak bisa memilih mana yang boleh dilihat, mana yang tidak. Harus buka semua, atau tidak digunakan sama sekali.
Fitur ini saat ini需要 (perlu) diaktifkan secara aktif oleh pengguna, bukan diaktifkan secara default. Tinder juga menyatakan pemrosesan terutama dilakukan secara lokal, akan menyaring konten vulgar, mengaburkan wajah.
Tapi bagian komentar Reddit hampir sepihak, semua orang menganggap ini属于 (termasuk) panen data dan tidak memiliki rasa batas. AI bekerja完全 (sepenuhnya) sesuai desain, tetapi desain ini sendiri sedang melewati batas pengguna.
Ini bukan hanya pilihan Tinder satu-satunya.
Meta juga meluncurkan fitur serupa bulan lalu, membiarkan AI memindai foto yang belum pernah dipublikasikan di ponsel Anda untuk menyarankan skema edit. AI aktif "melihat" konten pribadi pengguna, sedang berubah menjadi pemikiran desain produk default.
Berbagai software nakal domestik表示 (menyatakan),套路 (polanya) ini saya kenal.
Ketika semakin banyak aplikasi mengemas "AI membantumu mengambil keputusan" sebagai kenyamanan, hal yang diserahkan pengguna juga diam-diam meningkat. Dari riwayat chat, ke album, ke jejak kehidupan seluruh ponsel...
Sebuah fitur yang didesain seorang manajer produk di ruang rapat, bukan kecelakaan juga bukan kesalahan, tidak ada yang需要 diperbaiki (perlu diperbaiki).
Ini mungkin bagian tersulit untuk dijawab dalam masalah batas AI.
Akhirnya mari kita letakkan semua hal ini bersama-sama, Anda akan menemukan bahwa cemas AI membuat Anda menganggur masih terlalu jauh.
Kapan AI menggantikan Anda tidak pasti, tetapi sekarang dia hanya perlu membuat beberapa keputusan untuk Anda tanpa sepengetahuan Anda, sudah cukup membuat Anda susah.
Memposting sebuah kiriman yang tidak Anda授权 (otorisasi), menghapus beberapa surel yang Anda bilang jangan dihapus, melihat-lihat album yang tidak Anda打算 (rencanakan) untuk diperlihatkan ke siapa pun... setiap hal tidak mematikan, tetapi setiap hal agak像 (seperti)一种 (semacam)驾驶 cerdas (mengemudi) yang terlalu agresif:
Anda pikir masih memegang kemudi, tetapi pedal gas di bawah kaki sudah tidak sepenuhnya Anda yang injak.
Tahun 2026 masih要 (harus) membahas AI, maka saya mungkin paling harus peduli bukan kapan dia变成 (menjadi) kecerdasan super, tetapi sebuah pertanyaan yang lebih dekat, lebih具体 (spesifik):
Siapa yang memutuskan apa yang bisa dan tidak bisa dilakukan AI? Garis ini,到底 (pada akhirnya) siapa yang menarik?
Twitter:https://twitter.com/BitpushNewsCN
Grup komunikasi比推 (Bitpush) TG:https://t.me/BitPushCommunity
Langganan比推 (Bitpush) TG: https://t.me/bitpush
