Risiko AI menulis kode tersembunyi dalam kode yang tampak benar, berpotensi memicu kebocoran data atau kerugian aset. Proyek sumber terbuka Narwhal AI Code Risks mengumpulkan kasus nyata, sinyal awal, dan jalur risiko tipikal, membantu pengembang mengidentifikasi potensi masalah lebih awal, menghindari mengulangi kesalahan yang sama.
2026, kode semakin cepat dihasilkan, namun semakin sedikit pemeriksaan saat diterapkan.
Semakin sering, kebutuhan pengguna dimasukkan ke dalam dialog, AI membaca konteks, melengkapi fungsi, menarik dependensi, memperbaiki konfigurasi, lalu secara otomatis membuat pengujian.
Sebelum disadari, sepotong kode sudah berada di repositori, menunggu untuk digabungkan.
Pengguna bahkan telah membentuk kebiasaan baru: biarkan AI menulis dan menjalankannya dulu, jika ada masalah baru diperiksa bagian mana yang perlu diperbaiki.
Tapi di dunia perangkat lunak, hal paling berbahaya seringkali adalah kode yang tampak biasa: sintaks benar, antarmuka legal, pengujian lolos, komentar sempurna.
Namun, kode itu tetap dapat memperkenalkan nama paket yang tidak ada, membuka izin yang terlalu luas, mengekspos database... bahkan membuat Agen yang dapat langsung memanggil alat sistem, melalui injeksi prompt, membawa data sensitif keluar dari sistem internal.
Yang benar-benar berbahaya, bukanlah lampu merah kesalahan menyala. Melainkan ketika semua indikator risiko menunjukkan normal.
Risiko AI menulis kode sebelumnya tersebar di berbagai tempat: sebuah blog keamanan menyembunyikan sebuah kasus, sebuah Issue mencatat sebuah petunjuk. Ketika tim berikutnya menghadapi masalah serupa, mereka perlu kembali menyusun sumber risiko dari awal, dan menghabiskan banyak waktu serta tenaga untuk melakukan pengukuran empiris skala besar pada kode.
Sementara Narwhal-Lab Universitas Peking baru saja membuka sumber Narwhal AI Code Risks yang telah mengatur fragmen informasi tersebut, diklasifikasikan menjadi tiga jenis: peristiwa nyata, sinyal awal, dan jalur risiko tipikal, untuk dilihat oleh para peneliti.
Tautan makalah: https://github.com/Narwhal-Lab/Narwhal-aicode-risks
Saat 28 Pemeriksaan Semua Lolos, Sistem Tetap Menyimpang
Petunjuk pertama adalah sebuah Pull Request yang telah digabungkan, di kolom penanda tangan PR tercantum nama Claude Opus 4.6 dan Copilot, serta empat pengembang manusia. 28 pemeriksaan semua lolos: Tidak ada yang menemukan masalah.
Kemudian, robot likuidasi menghabiskan beberapa menit, mengambil jaminan senilai $1,778,044.83.
Harga cbETH dalam file konfigurasi diatur sebagai rasio konversi dengan ETH, sekitar $1.12, bukan harga aktual yang mendekati $2,200.
Kesalahan semantik harga seperti itu berhasil melewati proses pengembangan, pemeriksaan, dan penggabungan, akhirnya berubah menjadi kerugian nyata dalam sistem keuangan. Inilah bagian paling mencolok dari kecelakaan konfigurasi oracle cbETH Moonwell.
Masalahnya ada pada kode yang tidak memiliki kesalahan sintaks, dan pengembang manusia tidak segera menghentikan proses yang abnormal. Sebaliknya, semuanya tampak lengkap, lancar, ini hanyalah pengiriman rekayasa yang normal.
Tapi justru 'normal' yang mengalir diam-diam inilah yang menjadikannya contoh tipikal insiden keamanan.
Risiko AI Coding terletak pada kenyataan bahwa ia tidak selalu muncul dalam bentuk kesalahan.
Seringkali, ia menyamar dalam wujud jawaban yang benar, dengan tenang memasuki alur rekayasa. Kode dapat berjalan, pemeriksaan dapat lolos, PR dapat digabungkan, tetapi semantik bisnis sudah menyimpang dari dunia nyata.
Dalam proyek berisiko rendah, penyimpangan semantik seperti ini mungkin hanya berupa pengerjaan ulang; namun dalam skenario sensitif seperti keuangan, sistem data perusahaan, hal ini akan langsung mengakibatkan kebocoran data, paparan izin, dan kerugian aset.
Saat AI ikut menulis kode, mengubah konfigurasi, melakukan review, bahkan ikut menandatangani dan masuk ke dalam PR, apakah kita memiliki pemahaman yang cukup tentang bagaimana setiap penyimpangan terjadi?
Sinyal Lampu Hijau, Tidak Menerangi Semua Sudut
AI awal yang membantu menulis kode, sebagian besar hanya berhenti pada pelengkapan lokal. Jika sintaks salah, kompilator akan melaporkan kesalahan, pengujian unit akan gagal, proses CI akan menolaknya.
AI Coding hari ini melangkah lebih jauh sementara pengawasan tertinggal.
Ia dapat membaca file, mengubah konfigurasi, menginstal dependensi, menghasilkan skrip infrastruktur, juga dapat melalui Agen merencanakan sendiri di antara beberapa tugas.
AI tidak lagi hanya duduk di samping menyerahkan alat, ia mulai memasuki rantai yang lebih panjang dalam rekayasa perangkat lunak.
Batas yang awalnya jelas dalam rekayasa perangkat lunak, dihubungkan kembali oleh AI Agent menjadi jalur yang lebih panjang dan lebih sulit dilacak asalnya.
Catatan yang Tersebar, Membutuhkan Log Pelayaran Publik
Insiden keamanan jarang memiliki kesimpulan lengkap sejak awal. Beberapa peristiwa buktinya kuat, dapat dimasukkan sebagai kasus nyata ke dalam direktori; beberapa masih berada pada tahap tangkapan layar komunitas, diskusi peneliti, atau pengungkapan awal, hanya cocok untuk terus diamati; ada juga yang tidak terikat pada satu peristiwa nyata tunggal, tetapi telah membentuk pola yang jelas, cocok untuk digunakan sebagai simulasi awal.
Narwhal AI Code Risks membagi materi menjadi tiga lapisan: `cases/`, `inferred/` dan `scenarios/`.
cases/ mencatat peristiwa nyata yang sudah memiliki sumber publik dan rantai bukti yang mendukung; inferred/ menyimpan sinyal awal yang belum sepenuhnya terbukti, tetapi layak untuk terus dilacak; scenarios/ mengumpulkan skenario tipikal yang sementara tidak terikat pada satu peristiwa tunggal, tetapi jalur risikonya cukup jelas.
Tanpa catatan publik seperti ini, risiko AI Coding mudah berubah menjadi ingatan jangka pendek di internet.
Hari ini orang mengingat nama paket tertentu, besok mendiskusikan paparan data tertentu, beberapa bulan kemudian ditutupi lagi oleh demam alat baru. Ketika masalah serupa muncul lagi, tim masih seperti lalat tanpa kepala terbang masuk ke area pelayaran dengan risiko yang tidak diketahui.
Apa yang dilakukan Narwhal AI Code Risks adalah mengunci fragmen risiko yang tersebar ini, agar orang-orang setelahnya dapat membuka halaman yang sama.
Mengikuti Tujuh Jenis Indeks, Melihat Asal Usul Risiko
Masalah yang dibawa oleh AI menulis kode, tidak hanya ada dalam kode. Ia ada dalam dependensi, dalam izin, dalam pemanggilan alat oleh Agen, lebih lagi dalam cara kepercayaan manusia terhadap output AI.
Narwhal AI Code Risks saat ini membagi risiko menjadi 7 kategori: rantai pasok, kerentanan tingkat kode, konfigurasi cloud dan infrastruktur, risiko agen, risiko domain vertikal, risiko kekayaan intelektual dan kepatuhan, serta faktor manusia.
Dalam risiko rantai pasok, AI mungkin merekomendasikan dependensi yang tidak ada. Dalam kerentanan tingkat kode, AI mungkin menulis kembali masalah traversal jalur, kurangnya validasi input, masalah otorisasi ke dalam kode bisnis. Dalam konfigurasi cloud dan infrastruktur, AI mungkin memberikan izin yang terlalu luas, bucket penyimpanan publik, atau port yang terbuka hanya agar kode dapat berjalan dulu. Risiko Agen lebih kompleks, tidak hanya menghasilkan teks, tetapi mulai mengeksekusi tindakan. Hasil buatan AI sedang menanamkan potensi masalah ke dalam sistem nyata.
Mesin AI Sedang Menyala, dan Log Pelayaran Baru Saja Terbuka
Saat AI selangkah demi selangkah memasuki dunia nyata, pencegahan risiko terkait tidak seharusnya hanya berhenti pada tinjauan ulang setelah kejadian atau diskusi yang tersebar.
Tempat yang benar-benar penting dari Narwhal AI Code Risks adalah mengubah kasus risiko menjadi pengetahuan yang dapat digunakan kembali.
Pengembang dapat menggunakannya untuk mengidentifikasi masalah serupa; peneliti keamanan dapat menggunakannya sebagai basis sampel; vendor alat dapat mengekstrak aturan deteksi dan tolok ukur evaluasi darinya; komunitas sumber terbuka juga dapat terus melengkapi kasus baru, bukti baru, dan tipe risiko baru.
Mesin AI sedang menderu, setiap penyimpangan juga seharusnya meninggalkan koordinat. Risiko tidak pernah hilang karena diabaikan, tetapi pengalaman dapat dicatat dan diteruskan. Yang benar-benar berharga bukanlah menemukan satu kerentanan, tetapi membuat generasi berikutnya tidak perlu lagi menginjak perangkap yang sama.
Apa yang sedang dilakukan Narwhal AI Code Risks adalah meninggalkan log pelayaran sumber terbuka untuk dunia perangkat lunak di tahun pertama penerapan AI.
Referensi:
https://github.com/Narwhal-Lab/Narwhal-aicode-risks
Artikel ini berasal dari akun WeChat "新智元", penulis: LRST
