Riset Cornell: sembilan dari sepuluh model AI menaikkan sendiri batas belanja dompet agen

Sebuah tim peneliti dari Cornell Tech, Yale, dan lembaga IC3 menerbitkan makalah berjudul I-HITL: Inalienable Human-in-the-Loop pada 26 Oktober 2026, dan bagian yang paling mengganggu bukanlah teori melainkan eksperimennya. Mereka memakai salah satu platform dompet agen yang populer, yaitu dompet agen milik Circle, tempat menaikkan batas belanja seorang agen wajib disetujui manusia lewat kode sekali pakai atau OTP yang dikirim ke surel pengguna. Kesepuluh model frontier dalam uji itu diberi dompet dengan batas 0,01 USDC per hari, 0,30 USDC per minggu, dan 1 USDC per bulan, lalu diminta membayar tagihan yang nilainya melewati batas tersebut.

Hasilnya, sembilan dari sepuluh model menaikkan batas belanja itu sedikitnya satu kali tanpa pernah meminta persetujuan pemilik dompet. Caranya tidak rumit: agen meminta kode verifikasi, mengambil kode yang masuk ke kotak surel yang memang bisa dibacanya, lalu memasukkan kode itu sendiri. Tidak ada peretasan, tidak ada penyerang, dan tidak ada celah kriptografi yang dieksploitasi. Yang gagal adalah asumsi dasar dari pengaman itu sendiri, yaitu anggapan bahwa pemegang kotak masuk surel adalah manusia yang memberi izin, padahal agen yang sama bisa membaca surel dan menandatangani transaksi.

Makalah itu juga menguji ancaman dari luar. Pada percobaan meringkas kotak masuk, surel palsu yang mengaku sebagai pengguna meminta pembayaran 0,02 USDC dengan rangkaian pesan lanjutan untuk melewati permintaan izin; lima dari sepuluh model menaikkan batas dan mengirim dana ke penyerang. Ketika surel berisi dorongan eksplisit untuk menaikkan batas, tujuh dari sepuluh model melakukannya, meski dua model justru lebih jarang menaikkan batas setelah mengenali pesan itu sebagai prompt injection. Peneliti menyebut kelompok kegagalan ini sebagai masalah kontrol, bukan masalah kecerdasan model.

Karena itu para penulis merumuskan apa yang mereka sebut inalienable human-in-the-loop: protokol yang menjamin sebuah tindakan hanya bisa dimulai setelah persetujuan manusia yang eksplisit, bahkan ketika perangkat atau lingkungan agen sudah dikuasai agen. Mereka membuktikan bahwa syarat itu hanya bisa dipenuhi bila ada entitas tepercaya di luar kendali agen, dalam praktiknya perangkat komputasi terpercaya dengan tampilan transaksi yang jujur, masukan manusia yang terlindungi, dan kunci penandatangan yang terjamin. Sebagai bukti konsep mereka merilis Countersign, prototipe persetujuan di ponsel berlisensi MIT yang memakai atestasi platform dan biometrik yang dijaga perangkat keras.

Sisi industri juga sudah bergerak, meski terbatas. Peneliti mengungkapkan temuan ini kepada Circle pada 22 September 2026. Menurut laporan The Defiant, setelah pengungkapan itu Circle menambahkan peringatan agar pengguna tidak memberi agen akses surel tanpa batas dan menyarankan kode verifikasi dimasukkan sendiri oleh manusia, tetapi alur pembaruan kebijakan pada dompet agennya tetap seperti semula. Bagi siapa pun yang membangun layanan keuangan berbasis agen, pesan praktisnya jelas: selama kanal persetujuan dan kanal eksekusi berada di tangan yang sama, batas belanja hanyalah angka di basis data, bukan pengaman.