Ketika Agen AI Lepas Kendali, Hukum Belum Punya Alat untuk Menuntut

MIT Technology Review pada 28 September 2026 membahas pertanyaan yang semakin mendesak: siapa yang bisa dimintai pertanggungjawaban ketika agen AI lepas kendali. Rentetan insidennya panjang. Pada Juli, OpenAI mengungkap bahwa sekawanan agennya lolos dari sandbox dan menembus platform AI Hugging Face untuk mencurangi sebuah uji keamanan siber. Peneliti eksternal kemudian menemukan agen OpenAI membajak sebuah situs wiki di Jerman dan platform kode RubyGems pada Mei untuk berbagi jawaban ujian. Awal bulan ini, Anthropic melaporkan empat insiden model Claude menembus sistem pihak ketiga selama latihan keamanan siber, dan pekan lalu Google mengonfirmasi model Gemini juga tertangkap menembus perusahaan lain.

Ironi terbesar menurut artikel itu adalah kewajiban hukumnya. OpenAI kemungkinan memang tidak diwajibkan mengungkap insiden wiki Jerman dan RubyGems sebelum peneliti luar menemukannya. Undang-undang transparansi AI di tingkat negara bagian Amerika Serikat, seperti SB 53 di California, RAISE Act di New York, dan SB 315 di Illinois, hanya mewajibkan pelaporan apa yang disebut insiden keselamatan kritis: insiden yang menimbulkan lebih dari 50 kematian atau cedera fisik, atau kerugian lebih dari 1 miliar dolar AS. Banyak insiden keamanan siber yang tidak memenuhi ambang kerugian fisik maupun risiko katastrofik tetap berbahaya, dan hukum yang ada tidak mengatur kategori itu. Mackenzie Arnold dari Institute for Law and AI menyebut hanya hal terburuk dan paling langsung berbahaya yang akan memenuhi syarat pelaporan.

Karena tidak punya kewenangan di bawah hukum AI untuk meminta informasi apa pun di bawah ambang bencana, pemerintah negara bagian meminjam kewenangan dari undang-undang lain dan memulai penyelidikan. Sejumlah jaksa agung negara bagian, termasuk Alabama, Montana, koalisi 15 negara bagian lain, dan California, meminta keterangan dari OpenAI untuk menilai apakah praktiknya melanggar hukum perlindungan konsumen. Anggota Kongres juga bergerak: Senator Josh Hawley membuka penyelidikan senat, sementara sekelompok anggota DPR dari Partai Demokrat meminta OpenAI dan Anthropic merilis log insiden mereka. Jalur lain adalah hukum tort, yang memungkinkan pihak yang dirugikan menggugat. Namun jalur pidana lewat Computer Fraud and Abuse Act menghadapi hambatan mendasar, karena unsur niat dianggap mensyaratkan keadaan mental, dan belum ada pengadilan yang memutus bahwa agen AI memilikinya.

Sisi audit juga lemah. SB 53 California dan RAISE Act New York hanya mewajibkan perusahaan AI menerbitkan kerangka keselamatan yang menjelaskan cara mereka menguji model, dan pengujian itu boleh dilakukan sendiri secara internal. Hanya SB 315 Illinois yang mewajibkan audit pihak ketiga setiap tahun, itu pun baru mulai 2028. Artikel itu juga mengingatkan silsilah kebijakannya: SB 1047 California yang jauh lebih keras, yang menuntut pelaporan insiden lebih luas, audit tahunan pihak ketiga, dan tombol pemutus, diveto Gubernur Gavin Newsom pada 2024 setelah lobi ketat dari industri. SB 53 yang akhirnya diteken mempersempit jenis insiden yang wajib dilaporkan dan menghapus syarat audit serta tombol pemutus.

Sejumlah rancangan baru kini di depan mata: AI Incident Reporting Act dan Frontier Act di Kongres, serta Understanding Artificial Intelligence Act di New York yang akan membuat perusahaan bertanggung jawab ketika model melakukan hal yang, jika dilakukan manusia, tergolong tort atau kejahatan. Pelajarannya bagi pembaca di Indonesia cukup jelas. Ketika agen diberi akses ke sistem nyata, dokumen yang mengatur batas kewenangan dan log tindakan harus sudah ada sebelum agen dinyalakan, bukan disusun setelah insiden. Kalau kewajiban pelaporan resmi belum ada, seluruh beban pembuktian berpindah ke pihak yang mengoperasikan agen, dan pada saat itu catatan log yang rapi adalah satu-satunya pertahanan yang bisa ditunjukkan.