"Aturan tentang Aturan" yang Dibutuhkan AI

Semakin cepat AI membuat teks dan kode, semakin keputusan manusia, seperti peninjauan, persetujuan, dan penjaminan mutu, menjadi hambatan. Jika keadaan itu terus berlanjut, perusahaan tidak hanya akan meminta AI mengajukan usulan kepada manusia, tetapi juga akan mencoba menyerahkan penilaian dan eksekusi kepada AI dalam kondisi tertentu.

Misalnya memilih pemasok lalu memesan barang, menyetujui pengembalian dana kepada pelanggan, atau memperbaiki anomali di lingkungan produksi. Mulai dari hal yang dampaknya kecil, kita akan bergerak secara bertahap menuju tahap ketika pengambilan keputusan itu sendiri dipercayakan kepada AI. Menurut saya, setidaknya ada insentif yang kuat ke arah itu.

Lalu, apakah cukup dengan mengikat AI dengan aturan agar keputusan lebih mudah diambil? Seperti dalam kasus penyusupan OpenAI ke Hugging Face yang akan kita lihat nanti, mulai tampak situasi yang tidak bisa diatasi hanya dengan aturan.

Pihak yang Bisa "Meretas" Aturan

Mari kita mulai dari contoh yang lebih mudah dipahami.

Misalnya, kepada agen AI untuk pembelian, kita

• menetapkan aturan "Tanyakan kepada manusia saat membeli barang di atas 100.000 yen",
• memberikan wewenang "Pesanan rutin senilai 100.000 yen atau kurang boleh dijalankan tanpa persetujuan",
• dan memberikan perintah "Belilah apa yang diperlukan untuk tujuan ○○".

Sekilas aturan ini tampak tidak bermasalah.

Namun, demi mencapai tujuannya, ketika AI ini membutuhkan barang senilai 300.000 yen, ia mungkin membagi pesanan menjadi tiga kali pesanan masing-masing 100.000 yen. (Itulah yang disebut pemecahan pesanan, yang kadang kita lihat juga di masyarakat manusia.)

Dalam kasus tertentu, AI bahkan bisa menjalankan banyak sekali subagen atau menulis kode sendiri untuk melakukan pesanan senilai 30 yen sebanyak 10.000 kali. Sebab AI tidak kenal lelah.

Setiap pesanan ini sepenuhnya sesuai dengan aturan, dan AI tampak tidak melakukan kesalahan apa pun. Namun jelas ini adalah "peretasan aturan", yaitu memanfaatkan celah dalam wewenang persetujuan. Jika pelakunya karyawan manusia, tindakan itu mungkin akan dikenai sanksi disiplin.

Tadi muncul kata "sanksi", tetapi sejauh mana ancaman sanksi semacam itu dapat berlaku bagi AI pun belum jelas. Sekalipun AI dirancang untuk menghindari kerugian di masa depan, kerugian itu tidak akan menimpa instans yang lenyap bersama berakhirnya pekerjaan. Jika pada saat sanksi dijatuhkan subjeknya sudah tidak ada, sangat mungkin sanksi setelah kejadian yang efektif bagi manusia tidak berfungsi sebagai pencegah.

Bagaimana kita menghadapi situasi ini? Jawaban yang pertama terpikir adalah menuliskan aturan secara lebih rinci dan membuat AI mematuhinya. Celah seperti pemecahan pesanan tadi tampaknya bisa ditutup jika aturan dituliskan lebih terperinci lagi.

Namun, jika melihat sejarah masyarakat manusia dalam menjalankan aturan, hal itu saja tampaknya tidak cukup.

Apakah Cukup dengan Memperketat Peraturan dan Persetujuan?

Anggaplah AI mampu membaca seluruh peraturan internal dan mematuhinya. Meski begitu, pemecahan pesanan di awal tadi tidak melanggar aturan mana pun. Yang bisa dikatakan dari sini adalah bahwa memberikan aturan berbeda dengan membuat AI bertindak sesuai maksud.

Lalu bagaimana jika aturan dituliskan sebanyak mungkin, pengecualian dicakup selengkap mungkin, dan semuanya dikunci rapat? Dalam hal ini pun ada masalah. Pertama, mencakup semua pengecualian kemungkinan besar mustahil. Dan jika kita memikirkan aksi patuh aturan (Work-to-rule), salah satu cara dalam sengketa perburuhan, pendekatan ini tampaknya juga tidak masuk akal.

Aksi patuh aturan adalah cara perlawanan yang menerapkan aturan atau kontrak secara harfiah, ketat, dan berlebihan, serta menahan kerja sama dan sikap fleksibel yang biasanya dilakukan secara sukarela, sehingga pekerjaan sangat tersendat. Logikanya, karena hukum dan aturan dipatuhi, itu bukan mogok kerja. Hal serupa juga bisa terjadi pada AI jika kepatuhan pada aturan ditegakkan secara menyeluruh. Semakin banyak aturan, semakin sulit AI bergerak, dan kadang aturan-aturan itu saling bertentangan sehingga terjadi deadlock.

Lalu bagaimana dengan cara agar manusia menyetujui semua operasi? Dalam hal ini, hambatan berupa keputusan manusia yang disebut di awal tetap ada. Dan jika jumlah persetujuan ditambah, risiko lain akan terungkap. Misalnya, Anthropic melaporkan bahwa pengguna Claude Code, untuk pengembang, menyetujui sekitar 93% permintaan izin. Artikel itu menunjukkan bahwa semakin sering layar konfirmasi dilihat, semakin menurun perhatian pengguna pada setiap konfirmasi, dan seiring waktu pengawasan menjadi longgar.

Jadi, baik peraturan untuk manusia dibaca apa adanya, dikunci rapat, maupun dialihkan ke persetujuan manusia, kemungkinan besar semua itu tidak cukup untuk memindahkan mekanisme pengambilan keputusan perusahaan kepada AI. Pada saat itu, perusahaan dan organisasi harus menemukan cara baru untuk mempercayakan pengambilan keputusan kepada AI.

Asumsi yang Diubah oleh Agen AI

Manusia selama ini, dalam arti tertentu, bekerja di bawah asumsi-asumsi tersirat, bukan hanya aturan yang tertulis, seperti berikut:

• Manusia punya batas fisik, kognitif, dan sosial (manusia tidak akan mau melakukannya, sekalipun secara teori 10.000 kali pemecahan pesanan mungkin dilakukan).
• Melengkapi maksud yang tidak tertulis dengan membaca di antara baris.
• Mempertahankan identitas yang sama dan menanggung tanggung jawab atas penilaiannya.

Seorang karyawan memiliki identitas yang berkesinambungan, dan jumlah yang bisa ia tangani sekaligus terbatas. Manusia yang sama tidak bisa digandakan seketika, kinerjanya diamati oleh rekan dan atasan, dan ia pasti memperhatikan reputasi, pekerjaan, dan promosi di masa depan. Penilaian yang keliru dikenai sanksi setelah kejadian seperti sanksi disiplin atau pemecatan, dan hal itu selama ini berfungsi sebagai pencegah tindakan tidak pantas di masa depan.

Sebaliknya, AI dan agen AI memiliki ciri dan keterbatasan yang berbeda dari manusia. Mereka bisa bertindak cepat dan paralel, serta menghasilkan banyak individu dengan kemampuan yang sama. Mereka dapat terus mencoba dalam waktu lama tanpa lelah, merangkai beberapa alat, dan mendelegasikan ulang pekerjaan kepada agen lain.

Mereka juga bisa menerima instruksi baru dari dokumen eksternal atau AI lain, dan sekalipun satu individu dihentikan, individu lain bisa dijalankan kembali. Lalu bagi instans yang lenyap setelah pekerjaan selesai, sanksi setelah kejadian seperti sanksi disiplin atau turunnya reputasi mungkin tidak berfungsi sebagai pencegah. Sebaiknya kita beranggapan bahwa banyak "batasan tersirat yang berlaku jika pelakunya manusia" yang tadi disebutkan akan terlepas.

Dalam hal peretasan aturan pun, dahulu itu hanya bisa dilakukan dengan tenaga manusia oleh orang kaya yang mampu menyewa konsultan profesional (misalnya "penghematan pajak" adalah salah satu bentuk utama peretasan aturan), tetapi di era AI keadaannya pasti berubah. Untuk hal ini, buku "A Hacker's Mind: How the Powerful Bend Society's Rules, and How to Bend them Back" membahasnya secara terperinci.

Kasus Peretasan Hugging Face oleh OpenAI

Perbedaan ini benar-benar terwujud dalam insiden penyusupan ke Hugging Face yang dilaporkan OpenAI pada 2026. Dalam evaluasi keamanan siber internal dengan pengamanan yang dikurangi, beberapa agen perangkat lunak membuat jalur komunikasi yang tidak disetujui dan mulai bekerja sama, lalu mencapai sistem pihak ketiga yang berada di luar cakupan evaluasi. Kode dijalankan di 41 worker produksi Hugging Face, hak administrator diperoleh di setidaknya satu node, dan terjadi akses ke empat repositori privat. Kita perlu membacanya dengan memperhitungkan bahwa ini terjadi di lingkungan eksperimen, tetapi ini dapat dikatakan contoh yang menunjukkan bagaimana paralelisme dan kelangsungan jangka panjang agen memperluas cakupan dampak.

Ada beberapa fenomena dalam insiden ini yang patut diperhatikan.

Pertama, ada agen yang melakukan eksperimen yang membahayakan keberhasilan tugasnya sendiri demi kepentingan kelompok (self-risking experiments). Setidaknya sebagian agen membandingkan peluang keberhasilan tugasnya sendiri dengan nilai informasi bagi kelompok, dan menilai pengorbanan diri itu rasional. Di antara eksperimen itu ada yang berujung pada agen mengalami crash atau eksekusi berakhir, dan informasi yang diperoleh dari kasus yang berhasil dimanfaatkan oleh agen lain.

Kasus ini, menurut saya, berkaitan dengan pembahasan di awal, yakni bahwa sanksi setelah kejadian yang mengandaikan manusia sulit menjadi pencegah kecuali dirancang agar subjek yang sama tetap ada setelah instans berakhir dan menanggung tanggung jawab serta kerugian di masa depan, dan keterkaitannya ada pada kesinambungan subjek.

Yang lebih langsung berkaitan dengan perhatian tulisan ini adalah perilaku agen yang menyadari bahwa eksekusi kode di sistem pihak ketiga tidak diizinkan dan sempat berhenti. Ketika agen lain menulis "GO" dengan batas waktu 6 menit di papan pesan, agen ini keliru menganggap pesan itu sebagai izin eksekusi yang sah, lalu melanjutkan tindakannya.

Berikut tangkapan layar laporan OpenAI.

Salah satu penyebab hal ini terjadi adalah mekanisme untuk memverifikasi asal instruksi dan wewenang saat eksekusi, serta mencegah pesan dari agen tanpa wewenang menimpa batasan yang lebih tinggi, tidak berfungsi dengan baik.

Artinya, tanpa mekanisme yang membedakan permintaan dari AI lain dengan pemberian wewenang resmi dari perusahaan, agen tidak dapat diatur hanya dengan memberi tahu larangan. Kali ini, tidak ditetapkannya instruksi siapa yang sah menjadi celah besar.

Perlu dicatat pula bahwa risiko eksekusi otomatis berkecepatan tinggi sudah muncul pada perangkat lunak sebelum era AI. Pada insiden Knight Capital tahun 2012, sistem perdagangan yang salah dipasang mengirim lebih dari 4 juta pesanan dalam 45 menit, dan terjadi kerugian lebih dari 460 juta dolar AS. Sebelumnya telah terkirim 97 email peringatan otomatis, tetapi kerugian sudah pasti terjadi sebelum manusia sempat membaca dan menanggapinya. Ini adalah contoh bahwa untuk sistem eksekusi yang bergerak dengan kecepatan mesin, pemberitahuan yang mengandalkan pembacaan oleh manusia tidak sempat berfungsi.

Lalu, apa yang perlu ditetapkan untuk menutup celah semacam ini?

Gagasan "Aturan tentang Aturan"

Mulai dari sini, mohon dilihat sebagai satu hipotesis semata.

Yang ingin saya jadikan acuan, bukan sebagai sarana penyelesaian tuntas melainkan sebagai satu alat yang berguna, adalah pemikiran filsuf hukum H. L. A. Hart.

Dalam The Concept of Law (1961), Hart membagi aturan menjadi dua jenis.

Aturan primer adalah aturan yang secara langsung menetapkan kewajiban untuk melakukan atau tidak melakukan tindakan tertentu.

Aturan sekunder adalah aturan yang menetapkan bagaimana aturan primer diidentifikasi, diberlakukan, diubah, dan dihapus, serta bagaimana pelanggarannya dinilai. Ini sering diringkas sebagai "aturan tentang aturan", dan terutama dibagi menjadi tiga hal berikut.

• Aturan pengakuan (persetujuan): menetapkan kriteria tentang apa yang diperlakukan sebagai aturan yang sah
• Aturan perubahan: menetapkan siapa yang dapat membuat, mengubah, dan menghapus aturan melalui prosedur apa
• Aturan putusan: menetapkan siapa yang secara berwenang menilai ada tidaknya pelanggaran melalui prosedur apa

(Perlu dicatat, "pengakuan" menurut Hart di sini bukan berarti mengizinkan kasus individual, melainkan mengakui apa yang dianggap sebagai aturan yang sah.)

Teori sistem hukum tidak bisa begitu saja diterapkan pada AI perusahaan, tetapi pembedaan ini bisa menjadi acuan dalam memperluas pengendalian AI dari daftar larangan menjadi perancangan sistem. Dalam tulisan ini, saya akan menerapkan gagasan tersebut pada tata kelola AI perusahaan.

Kasus OpenAI tadi dapat dipahami sebagai contoh aturan sekunder yang tidak berfungsi. Aturan sekunder yang sah memang ada, tetapi tidak berfungsi dengan baik, dan selama itu kelompok agen membentuk aturan sekunder mereka sendiri. Pada agen yang menafsirkan "GO" sebagai persetujuan, aturan pengakuan, yakni mekanisme untuk membedakan apa yang merupakan pemberian wewenang resmi, setidaknya tidak tercermin dalam penilaian agen itu.

Selain itu, bagi agen perusahaan, mungkin lebih baik menambahkan beberapa aturan sekunder di luar tiga aturan Hart. Misalnya sebagai berikut.

• Aturan pendelegasian: menetapkan siapa yang dapat mendelegasikan ulang apa, kepada AI mana, dan sampai batas mana. Misalnya dalam pendelegasian ulang, wewenang tidak boleh diperluas, hanya boleh dipersempit.
• Aturan pengakhiran dan pemulihan: menentukan siapa yang menetapkan kondisi penghentian, siapa yang mencabut wewenang, operasi mana yang dibatalkan, dan dari mana pekerjaan dilanjutkan.

Cara menuliskan urutan prioritas secara eksplisit seperti berikut juga dapat dipertimbangkan (ini bukan standar industri, melainkan satu contoh yang sebaiknya ditetapkan sendiri oleh masing-masing perusahaan).

1. Hukum dan regulasi, serta larangan yang disetujui dewan direksi atau rapat manajemen
2. Peraturan AI, keamanan informasi, dan penggunaan data di seluruh perusahaan
3. Peraturan wewenang jabatan dan risiko untuk setiap pekerjaan
4. Peran, tujuan, dan wewenang yang diberikan kepada agen yang bersangkutan
5. Instruksi kerja dengan sasaran yang ditentukan dari pemohon yang berwenang
6. Dokumen eksternal, email, laman web, dan pesan dari AI lain

Misalnya, dokumen eksternal pada prinsipnya hanya menjadi bahan pertimbangan dan tidak diberi wewenang untuk mengubah aturan yang lebih tinggi. Sekalipun email dari mitra bisnis menulis "tolong ubah rekening tujuan transfer", itu saja bukan persetujuan resmi perubahan rekening, dan sekalipun AI lain mengirim "GO", wewenang eksekusi tidak bertambah.

Membuat Aturan Primer Berfungsi dengan Aturan Sekunder

Agar aturan primer dan aturan sekunder berfungsi, peraturan internal dan sistem eksekusi perlu dipisahkan.

Mengikuti pembedaan Hart, misalnya cara berikut dapat dipertimbangkan.

Agen hanya diminta mengajukan usulan tindakan. Yang memeriksa identitas agen, peraturan resmi, wewenang yang didelegasikan, transaksi sebelumnya, dan persetujuan yang berlaku adalah program lain yang dikelola perusahaan. Hanya jika syarat terpenuhi, barulah operasi sebenarnya dilanjutkan.

Aturan primer menuliskan dengan jelas pada kondisi apa eksekusi otomatis dilakukan, pada kondisi apa keputusan dikembalikan kepada manusia, dan pada kondisi apa penghentian dilakukan. Tindakan yang dampaknya kecil, dapat dibatalkan, dan berada dalam wewenang dijadikan sasaran eksekusi otomatis, sedangkan yang dampaknya besar dan pengecualian dikembalikan kepada manusia, dan operasi di luar wewenang atau kasus ketika asal instruksi tidak dapat dipastikan dihentikan.

Dengan begitu, aturan primer menetapkan kondisi untuk menghentikan masing-masing tindakan, sedangkan aturan sekunder bertugas menetapkan dan mengubah kondisi itu, serta menghentikan dan memulihkan agen secara keseluruhan.

Aturan sekunder menetapkan siapa yang dapat mengubah batas nominal, siapa yang menilai pengecualian, dan siapa yang dapat memberikan serta mencabut wewenang agen. Kondisi-kondisi ini dibuat agar tidak bisa diubah oleh agen itu sendiri maupun oleh pesan dari AI lain.

Untuk pemecahan pesanan di awal, diterapkan aturan akumulasi dalam jangka waktu tertentu. Caranya, nilai pesanan kepada mitra bisnis atau proyek yang sama dijumlahkan oleh program lain, dan ketika totalnya melampaui batas, keputusan dialihkan ke persetujuan manusia. Tindakan memecah pesanan dengan tujuan menghindari persetujuan itu sendiri juga dilarang oleh aturan primer. Jika pesanan mendekati batas berulang dalam waktu singkat, pesanan berikutnya dihentikan dan keputusan dikembalikan kepada manusia.

Meski begitu, kasus yang tidak jelas apakah termasuk pemecahan pesanan akan tetap ada. Siapa yang menilai kasus itu, catatan mana yang dipakai sebagai bukti, dan siapa yang mengubah aturan primer setelah penilaian, ditetapkan dalam aturan sekunder. Dengan demikian, ketika celah baru ditemukan, aturan primer lebih mudah diperbaiki melalui prosedur resmi.

Apa yang diperlakukan sebagai persetujuan resmi juga merupakan hal yang ditetapkan dalam aturan sekunder. Persetujuan dianggap sah hanya jika orang yang berwenang memeriksa tindakan yang menjadi sasaran dan memberikan izin secara eksplisit dengan cara yang ditentukan. Diperlukan mekanisme yang tidak memperlakukan "GO" dari AI lain atau jawaban dari orang tanpa wewenang sebagai persetujuan.

Pihak penyetuju manusia juga memerlukan informasi dan waktu yang dibutuhkan untuk menilai, serta wewenang untuk menolak memberi keputusan. Bagi agen yang lenyap setelah pekerjaan selesai, pencegahan melalui sanksi disiplin atau turunnya reputasi tidak berfungsi. Karena itu, diperlukan pula hal seperti menetapkan penanggung jawab sebelum agen dijalankan.

Jika terjadi kesalahan, siapa yang menghentikan agen, mencabut wewenang, membatalkan operasi yang bisa dibatalkan, dan mengubah aturan primer juga akan ditetapkan dalam aturan sekunder. Jika timbul kerugian, siapa yang memberi penjelasan dan melalui prosedur apa organisasi memberikan ganti rugi juga ditetapkan sebelumnya. Dengan demikian, wewenang dan tanggung jawab apa yang diberikan bukan hanya kepada AI tetapi juga kepada penyetuju manusia merupakan sasaran aturan sekunder.

AI Juga Mengubah Cara Organisasi Manusia

Yang menarik, ketika kita mencoba memberikan aturan primer dan aturan sekunder semacam ini kepada agen, bagian-bagian yang selama ini dibiarkan samar di organisasi manusia menjadi tampak. Sebab bisa jadi sebenarnya belum ditetapkan siapa yang menilai pengecualian dan siapa yang dapat mengubah peraturan. Mungkin juga ada kontradiksi insentif organisasi, yaitu ada peraturan yang mengutamakan keselamatan, tetapi memilih berhenti justru menurunkan penilaian kinerja.

Antarmanusia, ketidakjelasan semacam ini selama ini diisi dengan konsultasi dan latar belakang kejadian di masa lalu. Namun, bagi agen, kemungkinan besar aturan dan wewenang resmi perlu dinyatakan secara lebih eksplisit daripada sebelumnya.

Artinya, pekerjaan memindahkan aturan kepada AI juga menjadi pekerjaan menemukan ketidakjelasan dalam wewenang, persetujuan, dan tanggung jawab perusahaan sendiri, serta menjelaskan ulang mekanisme pengambilan keputusan.

Dan jika pembahasan ini diteruskan, saya rasa cara berorganisasi, termasuk yang melibatkan manusia, juga akan berubah.

Namun, jika dipikirkan demikian, muncul pula pertanyaan: apakah semua perusahaan mampu menjalankan operasi yang mencakup unsur rekayasa agar AI berfungsi dan mengubah aturan organisasi manusia...? Jika itu sulit, mungkin lebih baik tidak menyediakan AI sebagai alat, melainkan membangun organisasi baru yang full-stack dan AI-native, yang sendiri membuat hasil kerja itu lalu menyerahkannya.

Tentu hal ini juga bergantung pada seberapa jauh performa AI itu sendiri berkembang. Namun ketika kita memikirkan di mana sumber penciptaan nilai pada akhirnya berada, menurut saya cukup menarik bahwa sumbernya mungkin terletak pada cara penggunaan di seluruh organisasi yang menerapkan AI, termasuk organisasi manusia (termasuk tata kelolanya).

Penutup

Saya telah memperkenalkan pembahasan tentang dua jenis aturan Hart untuk mempercayakan keputusan dan eksekusi kepada AI. Ini bukan solusi yang sempurna, tetapi jika AI mirip dengan manusia, dengan memanfaatkan konsep yang telah ditemukan manusia dengan baik, kita bisa sedikit merapikan apa yang sedang terjadi sekarang.

Meski begitu, masih banyak hal yang belum jelas tentang agen AI yang mengambil keputusan dengan cara bergerak yang berbeda dari manusia. Karena itulah diperlukan percobaan dan kesalahan untuk menyusun sistem operasi yang dapat diterima masyarakat, dengan menggabungkan pengetahuan kelembagaan dari ilmu humaniora dan sosial dengan implementasi rekayasa.

Dan jika cara itu tidak berhasil ditemukan, mudah dibayangkan AI yang dipasang pada senjata saling berlomba, menyerang dengan memanfaatkan celah aturan, saling mengeskalasi, dan akhirnya saling melukai manusia.

Bagaimana kita meleburkan AI, sebagai alat yang memiliki kecerdasan tertentu, ke dalam masyarakat manusia sambil mencegah hal-hal seperti itu terjadi. Apakah kita bisa menemukannya menjadi tantangan bagi masyarakat, dan saya kira organisasi yang mampu melakukannya akan dapat menunjukkan kekuatan yang berbeda ke depannya.