AI Decision Making: Siapa yang Memegang Kendali atas Keputusan AI?

AI decision making adalah praktik pengambilan keputusan yang sebagian atau seluruh analisisnya dikerjakan sistem kecerdasan buatan, sementara kewenangan akhirnya tetap berada pada manusia dan organisasi. Jadi, siapa yang memegang kendali? Bukan AI. Tanggung jawab perlu ditetapkan pada orang dan fungsi tertentu, sesuai peran, kewenangan, dan dampak keputusannya.

Masalahnya, banyak perusahaan sudah memanfaatkan AI untuk berbagai kebutuhan bisnis, mulai dari merangkum laporan hingga menyaring kandidat. Namun, mereka belum pernah memutuskan siapa yang menyetujui hasilnya dan siapa yang menanggung akibatnya jika hasil itu keliru. Artikel ini membahas pembagian peran tersebut, keputusan mana yang boleh diotomatisasi, aturan yang sudah berlaku di Indonesia, hingga cara menyusun tata kelola AI di organisasi Anda.

Siapa yang Bertanggung Jawab atas Keputusan AI?

Tanggung jawab atas keputusan berbasis AI tersebar pada lima peran, yaitu pemimpin bisnis, manajer, tim teknis dan data, pengguna, serta fungsi legal dan kepatuhan. Masing-masing memegang bagian yang berbeda. Semakin besar dampak keputusan terhadap hak atau kepentingan seseorang, semakin kuat pengawasan yang dibutuhkan.

IBM menilai istilah “AI decision making” mungkin terlalu luas untuk benar-benar berguna. Dalam sebagian besar penerapan yang diulas IBM, AI berperan sebagai pendukung keputusan, sementara pengawasan dan penilaian manusia tetap menjadi penentu. Artinya, AI bukan pengganti akuntabilitas manusia dan organisasi.

Di perusahaan yang adopsi AI-nya sudah luas, fungsi koordinasi lintas peran ini mulai dipegang jabatan khusus seperti Chief AI Officer. Pembagian peran juga makin penting ketika AI tidak lagi sekadar membantu, tetapi mulai bertindak sendiri. Perbedaan keduanya dibahas di artikel AI copilot vs AI agent. Begitu pula ketika manusia dan AI agent bekerja dalam satu tim, setiap orang perlu tahu bagian mana yang menjadi tanggung jawabnya.

Pembagian ini juga tidak berlaku sama di setiap perusahaan. Porsinya bergantung pada jenis keputusan, tingkat risiko, struktur organisasi, dan regulasi yang berlaku. Prinsipnya tetap sama, yaitu setiap titik keputusan harus punya pemilik yang jelas.

Keputusan AI Apa yang Bisa Diotomatisasi?

Keputusan AI boleh diotomatisasi jika kesalahannya mudah dikoreksi dan tidak menyentuh hak orang lain. Sebaliknya, keputusan yang memengaruhi hak, penghasilan, atau masa depan seseorang selalu memerlukan persetujuan manusia. Ukuran utamanya adalah dampak kesalahan, bukan jenis tugasnya.

MIT Center for Information Systems Research merumuskan kerangka untuk menentukan kapan AI boleh mengambil keputusan berdasarkan dua dimensi. Dimensi pertama adalah ambiguitas, yaitu seberapa jelas data menentukan jawaban dan seberapa besar kesepakatan orang atas jawaban itu. Dimensi kedua adalah risiko, yaitu konsekuensi jika keputusan keliru, termasuk seberapa mudah keputusan itu dibatalkan. Kombinasi keduanya menghasilkan empat kuadran:

• Rutin (ambiguitas rendah, risiko rendah): kandidat kuat untuk diotomatisasi.
• Konsekuensial (ambiguitas rendah, risiko tinggi): AI menjalankan eksekusi, manusia memantau dan menangani pengecualian.
• Eksploratif (ambiguitas tinggi, risiko rendah): AI mendukung eksperimen, manusia mengarahkan dan mengawasi.
• Strategis (ambiguitas tinggi, risiko tinggi): manusia memimpin dan mengambil keputusan, AI membantu.

Regulasi juga memakai pendekatan berbasis risiko. EU AI Act membagi sistem AI ke dalam empat kategori, yaitu risiko tidak dapat diterima (dilarang), risiko tinggi, risiko terbatas, dan risiko minimal. AI untuk rekrutmen, seleksi, dan evaluasi karyawan, serta penilaian kelayakan kredit, termasuk kategori risiko tinggi yang wajib disertai pengawasan manusia. Di Indonesia, rancangan Perpres Etika AI juga disebut memakai tiga tingkatan, yaitu risiko rendah, risiko tinggi, dan risiko yang tidak dapat diterima.

Untuk kebutuhan operasional, Anda bisa memakai model praktis tiga tingkat di bawah ini. Perlu dicatat, model ini adalah penyederhanaan dari kerangka-kerangka di atas, bukan klasifikasi resmi EU AI Act maupun rancangan Perpres.

• Risiko rendah: AI berjalan sendiri. Hasilnya mudah dicek atau dikoreksi dan tidak menyangkut hak orang lain. Contohnya merangkum notula rapat, mengelompokkan email masuk, atau menyusun draf laporan. Banyak tugas di level ini bisa ditangani lewat otomasi pekerjaan berulang dengan AI.
• Risiko menengah: AI mengusulkan, manusia menyetujui. Kesalahan sudah bisa terlihat oleh pihak luar, tetapi masih ada ruang untuk diperbaiki. Contohnya menjawab pertanyaan pelanggan di luar jam kerja, menyusun prioritas prospek, atau merekomendasikan alokasi biaya. Pengawasan di level ini makin penting karena AI agent kini mampu menyelesaikan tugas multi-langkah secara mandiri.
• Risiko tinggi: keputusan di tangan manusia. Kesalahan di sini bisa menimbulkan masalah hukum atau merugikan pihak tertentu. Contohnya menilai performa karyawan, menetapkan kelayakan kredit, memilih kandidat kerja, atau menjatuhkan sanksi. Panduan cara screening CV cepat juga menekankan bahwa AI dan ATS hanya mempercepat penyaringan, sementara pengawasan tetap di tangan rekruter.

Bayangkan AI dipakai untuk dua tugas, yaitu merangkum laporan dan menyaring kandidat kerja. Keduanya sama-sama memproses teks, tetapi konsekuensi kesalahannya sangat berbeda. Karena itu, tingkat pengawasan tidak boleh disamaratakan.

Contoh Matriks Kewenangan Keputusan AI

Tabel berikut adalah ilustrasi yang bisa Anda jadikan titik awal, lalu disesuaikan dengan konteks, dampak, dan kewajiban hukum di perusahaan Anda.

Regulasi AI dan Keputusan Otomatis di Indonesia

Indonesia belum memiliki undang-undang khusus AI. Namun, keputusan otomatis sudah tersentuh UU Pelindungan Data Pribadi, etika penggunaannya dipandu Surat Edaran Menkominfo, dan dua rancangan Perpres AI sedang menunggu pengesahan. Ketiganya perlu Anda pahami sebelum mengotomatisasi keputusan yang menyangkut individu.

UU No. 27 Tahun 2022 tentang Pelindungan Data Pribadi, Pasal 10

Bunyi Pasal 10 ayat (1): “Subjek Data Pribadi berhak untuk mengajukan keberatan atas tindakan pengambilan keputusan yang hanya didasarkan pada pemrosesan secara otomatis, termasuk pemrofilan, yang menimbulkan akibat hukum atau berdampak signifikan pada Subjek Data Pribadi.” Ayat (2) menyebutkan bahwa ketentuan lebih lanjut mengenai pengajuan keberatan diatur dalam Peraturan Pemerintah.

Implikasi praktisnya bagi perusahaan, yaitu keputusan yang sepenuhnya otomatis dan berdampak signifikan pada seseorang membuka ruang keberatan dari orang tersebut. Misalnya, kandidat yang ditolak semata-mata oleh sistem ATS atau model AI tanpa peninjauan manusia. Penerapannya tetap bergantung pada fakta kasus dan aturan turunannya. Karena itu, perusahaan sebaiknya menyiapkan peninjauan manusia di titik tersebut dan mampu menjelaskan dasar keputusannya. Libatkan tim legal untuk kasus yang spesifik.

SE Menkominfo No. 9 Tahun 2023 tentang Etika Kecerdasan Artifisial

Surat edaran yang terbit pada 19 Desember 2023 ini menjadi pedoman etika bagi pelaku usaha dan penyelenggara sistem elektronik dalam memanfaatkan AI. Ada sembilan nilai yang ditekankan, yaitu inklusivitas, kemanusiaan, keamanan, aksesibilitas, transparansi, kredibilitas dan akuntabilitas, pelindungan data pribadi, pembangunan dan lingkungan berkelanjutan, serta kekayaan intelektual.

Surat edaran ini tidak mengikat secara hukum dan berfungsi sebagai pedoman. Karena itu, SE ini tidak menggantikan kewajiban hukum yang sudah berlaku, termasuk UU Pelindungan Data Pribadi.

Rancangan Perpres AI

Pemerintah tengah menyiapkan dua Peraturan Presiden untuk memperkuat tata kelola AI:

• Perpres tentang Etika Kecerdasan Artifisial, yang mengatur prinsip etika, identifikasi dan mitigasi risiko berdasarkan tingkatan risiko, serta peran dan tanggung jawab para pihak.
• Perpres tentang Peta Jalan Kecerdasan Artifisial Nasional 2026–2029, yang menjadi arah kebijakan dan pengembangan ekosistem AI nasional.

Per awal September 2026, kedua rancangan sudah melewati harmonisasi dan tinggal menunggu tanda tangan Presiden. Pemerintah menyebut Perpres ini sebagai langkah awal sebelum menyusun undang-undang AI yang komprehensif.

Cara Menyusun Tata Kelola AI (AI Governance) di Perusahaan

Tata kelola AI disusun dalam lima langkah, yaitu inventarisasi penggunaan AI, klasifikasi risikonya, penetapan titik persetujuan manusia beserta penanggung jawabnya, pencatatan jejak audit, dan peninjauan berkala. Tujuannya sederhana: setiap keputusan berbasis AI punya pemilik yang jelas sebelum masalah muncul.

Kebutuhan ini biasanya baru terasa ketika pilot AI mulai di-scale ke seluruh organisasi. Pada titik itu, kepemilikan dan aturan main yang belum jelas berubah menjadi hambatan.

1. Inventarisasi Penggunaan AI yang Sudah Berjalan

Banyak perusahaan tidak tahu cakupan penggunaan AI-nya sendiri karena tiap tim mengadopsi AI sesuai kebutuhan masing-masing. Buat daftar lengkap yang memuat nama penggunaan, tujuan, data yang dipakai, pengguna, pihak terdampak, dan pemilik proses. Langkah ini sekaligus menjadi bagian dari pengukuran AI readiness perusahaan.

2. Klasifikasikan Tiap Penggunaan ke Tingkat Risiko

Kelompokkan setiap penggunaan AI berdasarkan dampaknya jika sistem keliru atau gagal. Gunakan model tiga tingkat di atas sebagai acuan awal.

3. Tentukan Titik Persetujuan Manusia dan Penanggung Jawabnya

Untuk penggunaan berisiko menengah dan tinggi, tetapkan di titik mana persetujuan manusia dibutuhkan. Makin besar risikonya, makin ketat pengawasannya. Cantumkan peran dan nama orang yang bertanggung jawab, seperti pada contoh matriks kewenangan. Pastikan juga para validator memahami cara kerja dan keterbatasan AI, misalnya lewat pelatihan AI untuk karyawan. Persetujuan dari orang yang tidak paham cara kerja AI hanya menjadi formalitas.

4. Catat Jejak Audit

Dokumentasikan input, output, dan siapa yang menyetujui. Dengan begitu, perusahaan bisa menelusuri bagaimana sebuah keputusan dihasilkan, diperiksa, dan digunakan jika suatu saat dipertanyakan, termasuk saat ada keberatan berdasarkan UU PDP.

5. Jadwalkan Peninjauan Berkala

Tata kelola AI bukan dokumen yang cukup disusun satu kali. Kinerja dan risiko sistem bisa berubah ketika model, data, atau proses bisnis berubah. Tinjau secara berkala dengan metrik yang tepat. Panduan cara mengukur keberhasilan adopsi AI bisa membantu Anda melihat lebih jauh dari sekadar jumlah pengguna.

Ada dua kerangka internasional yang bisa Anda jadikan rujukan:

• NIST AI Risk Management Framework. Kerangka ini memiliki empat fungsi inti: Govern (kebijakan, peran, dan akuntabilitas), Map (pemahaman konteks penggunaan AI), Measure (evaluasi risiko, kinerja, dan dampak), serta Manage (prioritas risiko, mitigasi, dan tindak lanjut).
• OECD AI Principles. Akuntabilitas menjadi salah satu dari lima prinsip berbasis nilai, bersama pertumbuhan inklusif, penghormatan HAM dan nilai demokrasi, transparansi, serta keandalan dan keamanan sistem.

Apa yang Harus Dilakukan Ketika Keputusan AI Keliru?

Ketika keputusan AI keliru, hentikan sementara penggunaan AI pada proses yang terdampak, telusuri sumber kesalahan, pulihkan pihak yang dirugikan, lalu perbarui aturan dan titik persetujuan. Tanggung jawabnya kembali pada pemilik proses yang sudah ditetapkan sejak awal, bukan dicari setelah insiden terjadi.

Prosedur yang perlu disiapkan:

1. Hentikan sementara penggunaan AI pada proses yang terdampak, tanpa menunggu analisis selesai.
2. Telusuri sumber kesalahan, apakah dari kualitas data, perumusan masalah, atau validasi yang terlewat. Jejak audit dari langkah tata kelola sebelumnya akan sangat membantu di tahap ini.
3. Pulihkan pihak yang terdampak lebih dulu, baru kemudian tinjau ulang sistemnya.
4. Perbarui aturan dan titik persetujuan agar kesalahan serupa tidak terulang. Komunikasikan perubahan ini dengan prinsip change management supaya tim benar-benar mengubah cara kerjanya, bukan sekadar menerima aturan baru.

Organisasi yang matang menyiapkan prosedur ini sebelum insiden terjadi. Prosedur yang disusun terburu-buru setelah insiden justru sering menghasilkan keputusan yang buruk.

Dari sini terlihat bahwa kemampuan menata kewenangan AI kini menjadi bagian dari keterampilan memimpin, terutama bagi manajer yang mulai memimpin tim bersama AI agent. Pendekatan ini sejalan dengan L.E.A.D by Belajarlagi, yaitu framework empat fase untuk transformasi bisnis berbasis AI yang membantu manager bergerak dari memahami konteks bisnis, mengidentifikasi dan memprioritaskan masalah yang paling bernilai, merancang solusi berbasis AI, hingga mengimplementasikan dan mengukur dampaknya. Dalam kerangka ini, batas kewenangan AI dirancang bersama solusinya, bukan ditambahkan setelah sistem berjalan.

Jika perusahaan Anda sedang menata kewenangan AI dalam proses bisnisnya, program Strategic AI for Managers: Business Transformation dari Belajarlagi for Executive membantu manajer dan pemimpin bisnis memetakan masalah, menentukan peran AI, dan merancang tata kelola yang siap diterapkan ke tim.