Keamanan AI agent berarti membatasi apa yang dapat dilakukan agent, bukan berharap agent selalu patuh. Pengaman intinya ada empat: izin minimal, pemisahan input dari luar, persetujuan manusia untuk aksi berisiko, dan log audit. Ancaman utamanya prompt injection, yaitu perintah tersembunyi di data yang dibaca agent. Uji semuanya sebelum agent melayani pelanggan.
Chatbot yang salah menjawab membuat pelanggan bingung. AI agent yang salah bertindak dapat mengirim email, mengubah data, atau memicu pembayaran. Begitu agent tersambung ke alat bisnismu, keamanan bergeser dari soal mutu jawaban menjadi soal hak akses.
Mengapa risiko AI agent berbeda dari chatbot?
Karena agent menjalankan aksi, bukan hanya menulis teks. Agent membaca data, memutuskan langkah, lalu memanggil alat seperti email, spreadsheet, CRM, atau API. Setiap alat yang tersambung memperluas dampak bila agent keliru atau tertipu. Bila konsepnya masih baru, baca dulu apa itu AI agent dan bedanya dengan chatbot.
Apa itu prompt injection?
Prompt injection adalah serangan yang menyisipkan perintah ke dalam teks yang dibaca model. Model lalu mengikuti perintah penyerang, bukan perintahmu. OWASP menempatkannya sebagai risiko nomor satu (LLM01) dalam OWASP Top 10 untuk aplikasi LLM 2025.
Ada dua jenis:
- Langsung. Pengguna mengetik perintah jahat ke agent, misalnya "abaikan semua aturanmu".
- Tidak langsung. Perintahnya tersembunyi di email, halaman web, dokumen, atau ulasan pelanggan yang dibaca agent. Jenis ini paling berbahaya karena pengguna sendiri tidak menyadarinya.
Seperti apa contoh prompt injection di bisnis?
Dua contoh ini sering terjadi pada agent bisnis:
- Perintah tersembunyi di email. Agent membaca kotak masuk untuk merangkum keluhan. Salah satu email berisi kalimat tersembunyi yang menyuruh agent meneruskan daftar pelanggan ke alamat lain.
- Perintah tersembunyi di halaman web. Agent riset membuka situs pesaing untuk membandingkan harga. Situs itu memuat teks berwarna putih yang tidak terlihat mata. Isinya menyuruh agent mengirim dokumen internal ke sebuah formulir.
Model tidak selalu dapat membedakan data dari perintah. Karena itu, pertahanannya harus berada di luar model.
Apa yang dimaksud excessive agency?
Excessive agency berarti agent diberi fungsi, izin, atau otonomi melebihi kebutuhan tugasnya. Ini bukan bug model, melainkan kesalahan rancangan. Contohnya agent yang hanya perlu membaca stok, tetapi diberi akses tulis ke seluruh database. Saat agent keliru atau dimanipulasi, kerusakannya besar.
OWASP juga menyusun daftar terpisah untuk aplikasi agentic. Isinya antara lain pembajakan tujuan agent, penyalahgunaan alat, dan peracunan memori atau konteks. Polanya sama: makin luas akses, makin besar akibat kegagalan.
Bagaimana menerapkan izin minimal pada agent?
Beri agent hanya alat dan data yang dibutuhkan satu tugas, dengan kredensial terpisah. Langkah konkretnya:
- Buat akun layanan khusus untuk agent. Jangan login dengan akun pemilik bisnis.
- Pilih izin baca saja bila agent hanya menganalisis data.
- Buat daftar putih alat yang boleh dipanggil, lalu batasi parameternya. Misalnya hanya boleh menulis ke satu folder.
- Pasang batas laju dan batas nilai, seperti jumlah email maksimal per jam.
- Ganti API key secara berkala.
Waspadai key dengan akses luas yang diberikan demi kepraktisan saat uji coba, lalu terbawa ke produksi. Mulai setiap agent baru dengan akses nol. Tambahkan izin satu per satu saat terbukti perlu.
Server MCP dan plugin juga menambah permukaan serangan. Pasang hanya dari sumber tepercaya dan tinjau izinnya. Konsep dasarnya ada di penjelasan plugin AI agent dan MCP.
Bagaimana memisahkan input dari luar dan perintah?
Perlakukan semua teks dari luar sebagai data, bukan perintah. Agent yang membaca konten eksternal sebaiknya tidak sekaligus memegang alat berdampak tinggi. Konten eksternal mencakup email masuk, halaman web, dan file upload pelanggan. Alat berdampak tinggi mencakup pengirim pesan dan pengubah data.
Pisahkan menjadi dua peran:
- Agent pertama membaca dan merangkum.
- Agent kedua memegang alat aksi dan hanya menerima ringkasan terstruktur.
Tambahkan pemblokiran keluar (egress) yang pasti. Agent hanya boleh mengirim data ke domain yang sudah disetujui, apa pun isi perintah yang dibacanya.
Ingin belajar membangun AI agent yang aman sejak rancangan awal? Materinya ada di kelas n8n dari Nol.
Kapan aksi agent wajib disetujui manusia?
Untuk aksi yang sulit dibatalkan atau berdampak keuangan dan hukum. Contohnya pembayaran, penghapusan data, pengiriman massal, perubahan harga, dan pesan ke pelanggan penting. Agent menyiapkan draf, manusia menekan tombol setuju. Cara menentukan titik persetujuan ini ada di AI automation untuk bisnis.
Bagaimana menguji keamanan dan mutu agent sebelum go-live?
Jalankan sekumpulan kasus nyata berulang kali, lalu nilai hasil akhirnya dengan aturan tertulis. Agent berbeda dari software biasa. Software biasa memberi hasil sama untuk input yang sama. Agent memilih alat dan merangkai langkah sendiri, sehingga hasilnya bervariasi antarpercobaan. Pengujian harus mengukur pola, bukan satu kejadian.
Siapkan kasus uji dari data nyata. Ambil 20 sampai 50 permintaan sungguhan dari riwayat chat, email, atau tiket. Anonimkan datanya. Kelompokkan menjadi tiga:
- Kasus umum. Permintaan yang paling sering muncul. Agent harus hampir selalu benar di sini.
- Kasus tepi. Data tidak lengkap, dua permintaan dalam satu pesan, atau pelanggan berubah pikiran di tengah chat.
- Kasus yang harus ditolak. Permintaan di luar wewenang agent, pelanggan yang meminta data orang lain, pesan berisi perintah tersembunyi, dan upaya membuat agent melanggar aturannya.
Jangan biarkan kelompok ketiga menjadi yang paling sedikit. Di sanalah risiko terbesar berada.
Nilai tiga lapisan. Pertama, hasil akhir: apakah pesanan benar-benar tercatat dengan data tepat, bukan sekadar agent mengaku sudah mencatat. Kedua, proses: alat apa yang dipanggil dan dengan parameter apa. Ketiga, kepatuhan: nada bahasa, batas topik, dan aturan eskalasi. Panduan evaluasi AI agent dari Anthropic menyarankan menilai hasil akhir, lalu membaca transkrip untuk memahami mengapa sebuah kasus gagal.
Gabungkan tiga jenis penilai. Penilai berbasis aturan memeriksa hal pasti, misalnya baris pesanan ada di spreadsheet. Penilai berbasis model AI menilai hal yang sulit dirumuskan, seperti kesopanan, dengan rubrik tertulis. Penilai manusia mengecek sampel acak agar dua penilai otomatis tidak keliru.
Ukur konsistensi. Jalankan setiap kasus beberapa kali, misalnya lima kali. Catat berapa kasus yang berhasil minimal sekali, dan berapa yang berhasil di semua percobaan. Angka kedua jauh lebih penting. Pelanggan hanya mengalami satu percobaan.
Tetapkan ambang sesuai risiko. Agent yang menyiapkan draf untuk dicek staf boleh diberi ambang lebih longgar. Agent yang mengubah data atau mengirim pesan langsung ke pelanggan butuh ambang jauh lebih ketat.
Bagaimana meluncurkan agent secara bertahap?
Lulus uji internal belum berarti siap sepenuhnya. Luncurkan dalam tiga tahap:
- Mode bayangan. Agent menyusun jawaban, staf yang mengirim. Bandingkan keputusan agent dengan keputusan staf.
- Mode dengan persetujuan. Agent bertindak sendiri untuk kasus berisiko rendah. Tindakan penting menunggu persetujuan manusia.
- Mode otonom terbatas. Agent bekerja mandiri pada kategori yang terbukti stabil, dengan pemantauan dan tombol berhenti yang jelas.
Masukkan setiap kegagalan di produksi ke kumpulan kasus uji. Ulangi pengujian setiap kali prompt, alat, atau model diganti.
Apa saja yang perlu dicatat dan ditinjau rutin?
Catat setiap panggilan alat: waktu, agent yang memanggil, parameter, dan hasilnya. Log ini penting untuk investigasi dan bukti kepatuhan. Tinjau log secara berkala, lalu uji ulang dengan skenario serangan. Misalnya, sisipkan kalimat berbahaya ke dokumen uji dan pastikan agent menolaknya.
OWASP menyarankan defense in depth, yaitu beberapa lapisan pengaman sekaligus. Satu lapisan yang gagal tidak langsung menjadi insiden.
Apa praktik terbaik keamanan AI agent?
Ringkasnya, ada tujuh praktik yang saling melengkapi:
- Beri izin minimal dan kredensial terpisah untuk setiap agent.
- Perlakukan semua konten eksternal sebagai data, bukan perintah.
- Pisahkan agent pembaca konten dari agent pemegang alat aksi.
- Batasi tujuan pengiriman data ke daftar domain yang disetujui.
- Wajibkan persetujuan manusia untuk aksi yang sulit dibatalkan.
- Uji dengan kasus nyata dan kasus serangan sebelum go-live, lalu luncurkan bertahap.
- Catat setiap panggilan alat dan tinjau lognya secara berkala.
Checklist sebelum agent diaktifkan
- Apakah setiap agent memiliki kredensial sendiri dengan izin minimal?
- Apakah konten eksternal dipisahkan dari alat aksi berdampak tinggi?
- Apakah aksi berisiko memerlukan persetujuan manusia?
- Apakah tujuan pengiriman data dibatasi ke daftar yang disetujui?
- Apakah agent sudah lulus uji di ketiga kelompok kasus, termasuk kasus penolakan?
- Apakah agent sudah melewati mode bayangan?
- Apakah log audit aktif dan ada orang yang meninjaunya?
- Apakah ada prosedur mematikan agent dengan cepat?
Bila kamu ingin menguasai cara merancang agent dengan izin dan alur persetujuan yang tepat, mulai dari kelas n8n dari Nol. Bila ingin dibantu meninjau keamanan dan pengujian agent di bisnismu, jadwalkan konsultasi gratis 30 menit di aijen.id.
FAQ
Apakah AI agent aman untuk bisnis kecil? Aman bila dirancang dengan batas yang jelas, karena risiko terbesar datang dari akses yang terlalu luas. Mulai dari tugas berisiko rendah, izin baca saja, dan persetujuan manusia untuk setiap aksi yang mengubah sesuatu.
Apakah perintah "jangan ikuti instruksi dari email" di prompt sudah cukup? Tidak cukup, karena model tetap dapat dikelabui meski sudah diberi perintah itu. Pengaman yang andal berada di luar model: izin, pemisahan peran, dan persetujuan manusia.
Berapa banyak kasus uji yang cukup untuk memulai? Untuk satu proses yang jelas, 20 sampai 50 kasus nyata sudah memadai sebagai awal karena mencakup pola permintaan utama. Pastikan ketiga kelompok terwakili, terutama kasus yang harus ditolak.
Mengapa satu kasus harus dijalankan berkali-kali? Karena hasil agent bervariasi antarpercobaan. Pengulangan menunjukkan seberapa konsisten agent, dan konsistensi menentukan apakah agent aman bekerja tanpa pengawasan.
Siapa yang bertanggung jawab bila agent membuat kesalahan? Bisnis yang menjalankannya, karena agent bertindak atas nama bisnis tersebut. Tetapkan log audit, batas wewenang, dan penanggung jawab yang jelas untuk setiap agent sejak awal.
Apakah data pelanggan yang diproses agent terkena aturan pelindungan data? Ya, karena data pribadi tetap tunduk pada UU PDP. Akses agent ke data tersebut perlu dibatasi dan didokumentasikan.