Transformasi AI di industri keuangan bukan lagi sebatas penggunaan teknologi untuk meningkatkan produktivitas. Ketika AI mulai menjalankan pekerjaan yang sebelumnya dilakukan manusia, kemampuan SDM untuk mengawasi, mengevaluasi, dan mengendalikan teknologi menjadi semakin penting.

Pada 14 April 2026, CIMB Niaga bersama Google Cloud dan Artefact mengumumkan peluncuran Enterprise AI Agents untuk mendukung layanan perbankan di Indonesia. Dua penerapan yang diperkenalkan adalah Relationship Manager AI Agent, yang membantu pegawai memberikan rekomendasi finansial sesuai kebutuhan nasabah, serta Contact Center AI Agent, yang membantu petugas layanan pelanggan mengakses informasi produk dan prosedur secara lebih cepat.

Pengumuman tersebut menjadi bukti bahwa AI Agent bukan lagi sekadar konsep masa depan dalam industri perbankan Indonesia. Namun, perkembangan ini juga memunculkan pertanyaan penting: ketika AI semakin banyak membantu pekerjaan profesional perbankan, apakah SDM yang menggunakannya sudah memiliki kompetensi untuk memeriksa, mempertanyakan, dan mengawasi tindakannya?

Dari AI yang Memberikan Rekomendasi ke AI yang Dapat Bertindak

Selama ini, AI banyak digunakan untuk analisis transaksi, deteksi penipuan, penilaian risiko kredit, dan pelayanan nasabah. Dalam penerapan yang bersifat pendukung keputusan, AI memberikan hasil analisis atau rekomendasi untuk dipertimbangkan manusia.

Agentic AI memiliki kemampuan lebih luas. Sistem dapat merencanakan serangkaian pekerjaan, mengakses aplikasi, menggunakan perangkat lunak, serta menjalankan tindakan sesuai kewenangan yang diberikan. Misalnya, AI dapat membantu analis kredit menilai kemampuan membayar nasabah. Sementara itu, AI Agent yang terhubung dengan sistem operasional berpotensi memeriksa dokumen, memperbarui status pengajuan, dan mengirimkan pemberitahuan secara otomatis.

Tidak semua AI Agent memiliki kewenangan sebesar itu. Implementasi CIMB Niaga yang diumumkan kepada publik berfokus pada dukungan bagi pegawai, bukan bukti bahwa AI telah diberi kewenangan mengambil keputusan kredit atau memindahkan dana secara mandiri. Namun, semakin luas kewenangan yang diberikan kepada AI Agent, semakin besar kebutuhan terhadap pengawasan manusia yang kompeten.

Ketika Kesalahan AI Berubah Menjadi Risiko Bisnis

Bayangkan sebuah bank menggunakan AI Agent untuk memproses pengajuan kredit. Akibat kesalahan parameter atau kualitas data, sistem keliru menolak ribuan nasabah yang sebenarnya memenuhi persyaratan.

Dalam skenario lain, AI Agent yang terhubung dengan sistem deteksi penipuan salah mengidentifikasi transaksi normal sebagai aktivitas mencurigakan. Jika diberi kewenangan melakukan pemblokiran, rekening nasabah dapat terganggu tanpa alasan yang tepat.

Risiko lain muncul ketika AI Agent memiliki akses berlebihan terhadap database pelanggan. Instruksi berbahaya yang disisipkan melalui dokumen atau sistem eksternal berpotensi memicu pengungkapan informasi sensitif kepada pihak tidak berwenang.

Ketiga contoh tersebut merupakan skenario risiko, bukan insiden yang dilaporkan terjadi pada bank tertentu. Dampaknya dapat meluas menjadi kerugian finansial, gangguan operasional, pelanggaran perlindungan data pribadi, persoalan kepatuhan, dan hilangnya kepercayaan nasabah.

Dalam industri keuangan, kesalahan teknologi tidak selalu berhenti sebagai masalah teknis. Kesalahan yang terjadi secara berulang dan dalam skala besar berpotensi berkembang menjadi risiko bisnis dan reputasi yang serius.

Siapa yang Harus Mengawasi AI Agent?

Salah satu kesalahpahaman dalam transformasi digital adalah menganggap pengawasan AI sepenuhnya menjadi tanggung jawab departemen teknologi informasi. Padahal, risiko AI berkaitan langsung dengan pekerjaan, kewenangan, dan keputusan berbagai fungsi organisasi.

• Staf operasional dan pemilik proses bisnis: Perlu memahami bagaimana AI digunakan dalam pekerjaannya. Petugas kredit, misalnya, harus mampu mengenali rekomendasi yang tidak masuk akal, memeriksa data yang digunakan, serta mengetahui kapan keputusan perlu dieskalasikan.
• Manajemen risiko dan compliance: Perlu memastikan penggunaan AI sesuai kebijakan internal, ketentuan regulator, perlindungan konsumen, dan batas toleransi risiko perusahaan.
• Tim IT dan cybersecurity: Bertanggung jawab atas pengamanan infrastruktur, pengendalian akses, pemantauan aktivitas AI Agent, serta kesiapan menghentikan tindakan yang tidak sah.
• Audit internal: Harus mampu menguji efektivitas pengendalian dan tata kelola AI secara independen.
• Direksi: Bertanggung jawab memastikan organisasi memiliki kebijakan, kompetensi, sumber daya, dan pengawasan risiko yang memadai, sesuai pembagian tanggung jawab dalam tata kelola perusahaan.

Artinya, kompetensi AI governance bukan hanya kebutuhan tenaga ahli teknologi. Kompetensi tersebut harus dibangun secara proporsional di seluruh fungsi yang menggunakan atau mengawasi AI.

Ketika Manusia Hanya Menyetujui Keputusan Mesin

Pengawasan manusia sering disebut human-in-the-loop. Namun, melibatkan manusia dalam proses persetujuan tidak otomatis menjamin pengawasan berjalan efektif.

Bayangkan seorang pegawai bank harus memeriksa ratusan rekomendasi AI setiap hari. Karena tekanan pekerjaan, keterbatasan waktu, atau kurangnya pemahaman, pegawai tersebut mungkin hanya menekan tombol persetujuan tanpa melakukan pemeriksaan memadai.

Kondisi tersebut berpotensi menimbulkan automation bias, yaitu kecenderungan manusia terlalu mempercayai keluaran sistem otomatis. Risiko berikutnya adalah deskilling, ketika keterampilan profesional perlahan melemah akibat ketergantungan terhadap teknologi. Seorang analis kredit yang terbiasa mengikuti rekomendasi AI tanpa melakukan pemeriksaan independen mungkin semakin kehilangan kemampuan untuk mengambil keputusan ketika sistem mengalami gangguan.

Karena itu, manusia yang mengawasi AI membutuhkan empat hal: kompetensi, informasi yang memadai, kewenangan untuk melakukan intervensi, dan waktu yang cukup untuk mengambil keputusan. Tanpa keempatnya, pengawasan manusia berisiko menjadi formalitas administratif.

Regulator Mulai Memperkuat Perhatian

Pada 29 April 2025, Otoritas Jasa Keuangan (OJK) meluncurkan Tata Kelola Kecerdasan Artifisial Perbankan Indonesia sebagai panduan bagi bank untuk mengembangkan dan menerapkan AI secara bertanggung jawab. Panduan tersebut melengkapi berbagai kebijakan transformasi digital, keamanan siber, dan resiliensi digital perbankan.

Perkembangan berikutnya terlihat di Singapura. Pada 7 Oktober 2026, Monetary Authority of Singapore (MAS) menerbitkan Guidelines on Artificial Intelligence Risk Management for Financial Institutions, yang mulai berlaku pada 7 Oktober 2027. Pedoman tersebut menetapkan ekspektasi pengawasan dan pengelolaan risiko AI bagi lembaga keuangan, dengan mempertimbangkan karakteristik risiko dan penggunaan teknologi masing-masing institusi.

Sementara itu, Infocomm Media Development Authority (IMDA) Singapura melalui Model AI Governance Framework for Agentic AI menekankan pembatasan kewenangan AI Agent, akuntabilitas manusia, pengendalian teknis, dan pelatihan pengguna. Perkembangan ini memberikan sinyal bahwa transformasi AI di industri keuangan harus berjalan bersama peningkatan kapasitas pengawasan dan kompetensi manusia.

Kompetensi SDM Harus Melampaui Prompt Engineering

Banyak program pelatihan AI masih menitikberatkan penggunaan aplikasi, penulisan prompt, pembuatan konten, dan otomatisasi pekerjaan. Keterampilan tersebut bermanfaat, tetapi belum cukup untuk organisasi yang mengelola dana dan data sensitif nasabah.

Karyawan perlu memahami keterbatasan AI, mampu mengenali kesalahan hasil analisis, serta mengetahui kapan tindakan otomatis harus dihentikan atau dieskalasikan. Manajer harus memiliki kemampuan mengevaluasi risiko, menentukan batas kewenangan AI, dan memastikan pengawasan berjalan efektif. Sementara itu, fungsi risiko, compliance, cybersecurity, dan audit memerlukan kompetensi lebih mendalam mengenai pengujian sistem, pengendalian akses, audit trail, keamanan, dan akuntabilitas.

Kebutuhan serupa juga muncul di industri asuransi, multifinance, fintech, telekomunikasi, energi, dan layanan publik. Namun, kedalaman kompetensinya perlu disesuaikan dengan karakteristik risiko setiap sektor.

Sertifikasi Harus Mengukur Kemampuan Nyata

Perubahan tersebut menjadi tantangan sekaligus peluang bagi pengembangan kompetensi profesi di Indonesia. Sertifikasi AI governance seharusnya tidak hanya mengukur pengetahuan tentang definisi AI, standar internasional, atau penggunaan aplikasi. Penilaian perlu menguji kemampuan menghadapi skenario nyata.

Misalnya, peserta diminta mengidentifikasi kesalahan rekomendasi kredit, menemukan risiko akses data berlebihan, menentukan mekanisme eskalasi, atau mengevaluasi apakah pengawasan manusia terhadap AI Agent sudah memadai. Standar seperti ISO/IEC 42001 tentang sistem manajemen AI, ISO/IEC 23894 mengenai manajemen risiko AI, serta ISO/IEC 38507 mengenai tata kelola penggunaan AI dapat menjadi referensi dalam pengembangan kompetensi.

Bagi APDATIKNAS, kebutuhan ini membuka ruang untuk mendorong pelatihan dan sertifikasi berbasis kemampuan praktis yang relevan dengan tanggung jawab profesional. Tentu, sertifikasi individu tidak menggantikan tata kelola organisasi