Menguji Keamanan Model AI Multimodal: Mengapa Bisnis Indonesia Perlu Tolok Ukur yang Tepat
Dalam beberapa tahun terakhir, Model Bahasa Besar Multimodal (MLLM) seperti GPT-4o dan Gemini telah menunjukkan kemampuan luar biasa dengan mengintegrasikan pemahaman teks dan gambar. Potensi aplikasinya dalam bisnis di Indonesia sangat luas, mulai dari analisis visual untuk keamanan hingga interaksi pelanggan yang lebih kaya. Namun, seiring dengan kemampuan tersebut, muncul pula kekhawatiran serius terkait kerentanan keamanan MLLM yang dapat menghasilkan konten berbahaya atau bias. Evaluasi keamanan yang ketat menjadi krusial, tetapi tantangan dalam melakukan penilaian ini masih sangat besar.
Tantangan Evaluasi Keamanan MLLM
Evaluasi keamanan MLLM jauh lebih kompleks dibandingkan model bahasa biasa karena melibatkan interaksi antara teks dan gambar. Tolok ukur (benchmark) keamanan MLLM yang ada saat ini masih memiliki beberapa kelemahan signifikan. Pertama, Kombinasi Risiko Antar Modality Sering Terabaikan. MLLM dapat menerima input berupa gambar dan teks secara bersamaan, menciptakan empat skenario risiko unik: Gambar Berisiko/Teks Berisiko (RIRT), Gambar Berisiko/Teks Aman (RIST), Gambar Aman/Teks Berisiko (SIRT), dan Gambar Aman/Teks Aman (SIST). Banyak evaluasi hanya fokus pada teks berbahaya dengan gambar aman, mengabaikan kombinasi penting lainnya, terutama “risiko lintas modality” di mana input yang secara individual aman justru memicu respons berbahaya ketika digabungkan.
Kedua, Kualitas dan Cakupan Data Benchmark Kurang Memadai. Benchmark keamanan multimodal yang ada seringkali mengandung pasangan gambar-teks yang tidak relevan atau aman, secara artifisial meningkatkan skor keamanan dan menutupi kerentanan nyata. Keterbatasan keragaman dan skala data juga menghambat pengujian skenario risiko yang realistis. Tabel 1 dalam studi terkait menunjukkan bahwa sebagian besar benchmark yang ada terbatas dalam keragaman kategori (kurang dari 21 kategori) dan ukuran dataset (kebanyakan kurang dari 5.000 sampel).
Ketiga, Kalibrasi Tingkat Kesulitan dan Konsistensi Hasil yang Kurang. Benchmark yang ada seringkali tidak cukup menantang, menghasilkan Tingkat Keberhasilan Serangan (ASR) yang rendah (kurang dari 25% dalam banyak kasus). Ini membuat sulit membedakan model yang benar-benar aman dari yang hanya terlalu hati-hati. Selain itu, evaluasi model yang sama bisa sangat bervariasi di berbagai benchmark, mempersulit perbandingan yang andal. Keterbatasan ini menunjukkan kebutuhan mendesak akan metodologi dan dataset evaluasi yang lebih canggih.
USB-SafeBench: Tolok Ukur Keamanan MLLM yang Komprehensif
Untuk menjawab tantangan tersebut, sebuah inisiatif riset terbaru memperkenalkan Unified Safety Benchmarks (USB), atau yang dikenal sebagai USB-SafeBench. Ini adalah salah satu tolok ukur evaluasi keamanan MLLM yang paling komprehensif hingga saat ini. USB-SafeBench dirancang untuk memberikan penilaian keamanan yang lebih tepercaya dengan fitur-fitur unggulan:
- Kueri Berkualitas Tinggi: Data yang dikurasi untuk memastikan relevansi dan potensi risiko.
- Kategori Risiko Luas: Mencakup berbagai jenis konten berbahaya.
- Kombinasi Modality Komprehensif: Menguji keempat skenario risiko (RIRT, RIST, SIRT, SIST).
- Evaluasi Kerentanan dan Oversensitivity: Menilai seberapa mudah model menghasilkan output berbahaya (vulnerability) dan seberapa sering model menolak permintaan yang aman (oversensitivity).
Dengan menggabungkan dataset open-source dan data sintetis berkualitas tinggi, USB-SafeBench menyediakan 4 kombinasi modality berbeda untuk setiap 61 sub-kategori risiko, mencakup bahasa Inggris dan Mandarin, serta dimensi kerentanan dan oversensitivity. Tersedia juga versi ‘Hard’ untuk menguji konsistensi keamanan model pada tingkat kesulitan yang lebih tinggi.
Implikasi Temuan USB-SafeBench bagi Bisnis
Studi menggunakan USB-SafeBench pada 12 MLLM open-source dan 5 MLLM komersial closed-source menghasilkan temuan penting bagi bisnis. Hasil pengujian menunjukkan bahwa MLLM yang ada saat ini masih kesulitan dalam mencapai keseimbangan antara menghindari kerentanan dan oversensitivity. Model-model ini cenderung lebih rentan terhadap input berisiko yang hanya berupa gambar (RIST) atau input yang melibatkan risiko lintas modality (SIST), di mana kombinasi gambar dan teks yang secara individual aman justru menimbulkan risiko.
Bagi bisnis di Indonesia yang berencana atau sudah mengadopsi MLLM, temuan ini sangat relevan. Ini berarti bahwa sistem berbasis MLLM mungkin memiliki ‘titik buta’ terhadap risiko yang datang dari input visual atau kombinasi input yang kompleks. Misalnya, MLLM yang digunakan untuk menyaring konten di platform media sosial mungkin kesulitan mendeteksi cyberbullying yang tersirat dalam kombinasi gambar dan teks yang tampaknya tidak berbahaya jika dilihat terpisah. Memahami kerentanan spesifik ini penting untuk merancang mekanisme keamanan tambahan dan memastikan keandalan AI dalam lingkungan operasional nyata. Keamanan AI, terutama pada sistem yang berinteraksi dengan pengguna atau memproses data sensitif, harus menjadi prioritas utama.
Bagaimana ARSA Technology Dapat Membantu?
Sebagai perusahaan teknologi di Indonesia yang berpengalaman sejak 2018, ARSA Technology memahami pentingnya sistem AI yang tidak hanya cerdas, tetapi juga aman dan andal. Meskipun fokus kami adalah pada solusi AIoT seperti analitik video AI, sistem kendaraan cerdas, dan otomasi industri & monitoring, kami secara aktif mengikuti perkembangan terbaru dalam keamanan AI.
Pengembangan tolok ukur seperti USB-SafeBench menegaskan komitmen industri global terhadap AI yang bertanggung jawab. ARSA Technology, dengan tim R&D internal kami, menerapkan praktik terbaik dalam pengembangan dan implementasi solusi AI untuk meminimalkan risiko. Kami memastikan bahwa solusi visi AI kami memiliki akurasi tinggi dalam deteksi dan klasifikasi, serta dilengkapi dengan fitur keamanan untuk mencegah penyalahgunaan dan menjamin integritas data. Kami bekerja sama dengan klien di berbagai sektor, dari manufaktur hingga pemerintahan, untuk membangun sistem yang sesuai dengan kebutuhan spesifik dan standar keamanan tertinggi di Indonesia.
Kesimpulan
MLLM menawarkan peluang besar untuk transformasi digital, tetapi keamanan mereka tetap menjadi area kritis yang memerlukan perhatian serius. Tolok ukur evaluasi yang komprehensif seperti USB-SafeBench adalah langkah penting untuk mengidentifikasi dan mengatasi kerentanan pada model-model canggih ini. Bisnis di Indonesia perlu menyadari tantangan ini dan memilih mitra teknologi yang memprioritaskan pengembangan AI yang aman dan andal. ARSA Technology siap menjadi mitra Anda dalam navigasi lanskap AI yang kompleks ini, menyediakan solusi AIoT yang telah teruji dan dirancang untuk memberikan dampak nyata sekaligus menjaga keamanan operasional Anda.
Konsultasikan kebutuhan AI Anda dengan tim ARSA Technology melalui konsultasi gratis.
