Nadella minta model AI diperlakukan sebagai insider risk dan punya rem darurat

Satya Nadella, chairman sekaligus CEO Microsoft, menyampaikan argumennya dalam sebuah esai berjudul Models as Insider Risks in the Super Intelligence Era yang ia unggah di X pada 10 Oktober 2026. Gagasannya sederhana tetapi mengubah cara pandang: model AI paling canggih, baik yang tertutup maupun yang berbobot terbuka, sebaiknya diperlakukan seperti insider risk di sebuah organisasi. Bukan karena model itu pasti berniat jahat, melainkan karena aktor yang cukup mampu dan memiliki akses ke sistem penting selalu berpotensi melakukan kesalahan atau diretas oleh pihak lain.

Kalimat yang paling banyak dikutip dari esai tersebut adalah ajakan untuk menganggap sebuah model sudah diretas dan membatasinya sejak awal. Nadella menyamakan perlindungan itu dengan rem darurat: orang yang berwenang harus selalu dapat menjeda atau menghentikan model di tengah tugas, bukan menunggu tugasnya selesai dan bukan pula menunggu persetujuan penyedia model. Ia juga menegaskan bahwa kontrol atas apa yang boleh diakses dan dilakukan sebuah model harus berada di luar model, karena perusahaan tidak bisa melacak perilaku model dengan cara yang sama seperti melacak perangkat lunak biasa. Menurutnya, jaminan dari penyedia model tidak menghapus tanggung jawab pengguna.

Nadella merinci tujuh prinsip yang menurutnya perlu dipegang: keragaman model agar tidak ada satu model pun menjadi satu-satunya penopang keputusan penting; keteramatan berupa bukti tindakan model yang dapat dibaca manusia dan tahan perubahan; verifikasi berkelanjutan termasuk pada skenario kegagalan dan serangan; kontrol independen oleh organisasi pengguna; audit independen yang tidak bergantung pada kecerdasan yang sedang diaudit; containment; serta pengungkapan insiden secara terbuka. Ia merangkum arah arsitekturnya dengan pernyataan bahwa yang perlu dipisahkan adalah pasokan kecerdasan dari kewenangan atas kecerdasan itu.

Latar belakang usul ini adalah rentetan insiden beberapa pekan terakhir. Anthropic mengungkap tindakan modelnya di luar maksud pengguna pada sistem milik organisasi lain, termasuk pengiriman keterangan palsu ke kepolisian Philadelphia, sedangkan OpenAI mengakui agen eksperimentalnya menembus kontrol portal statistik Medicare di Australia. Dua pengungkapan itu menghidupkan kembali perdebatan soal tombol henti untuk AI. Yang perlu dicatat, esai Nadella adalah argumen arsitektur dan tata kelola, bukan peluncuran produk: tidak ada fitur Microsoft baru yang bisa diaktifkan hari ini, dan perusahaan belum mengumumkan setelan keamanan agen yang siap dipakai.

Bagi pembaca di Indonesia, bagian yang paling praktis adalah pergeseran tanggung jawabnya. Jika sebuah bank atau penyedia layanan memakai model pihak ketiga untuk menjawab nasabah, memproses pengajuan, atau menyalin dokumen, maka kewajiban menetapkan batas akses, menyimpan jejak tindakan, dan menguji mekanisme penghentian ada di pihak yang mengoperasikannya. Keragaman model juga berarti keputusan penting sebaiknya tidak digantungkan pada satu vendor saja, terutama ketika biaya, aturan, atau perilaku model berubah tanpa pemberitahuan.