Mengapa AI Melihat yang Menonjol, Bukan yang Informatif: Pelajaran Penting dari Penjelasan Model Machine Learning

Mengungkap Rahasia di Balik Penjelasan AI: Salience vs. Informativeness

      Dalam dunia kecerdasan buatan (AI) yang terus berkembang, "Explainable AI" (XAI) atau AI yang dapat dijelaskan, menjanjikan wawasan mendalam tentang bagaimana model machine learning membuat keputusan. Tujuan utama XAI adalah membantu kita memahami, memverifikasi, dan memperbaiki sistem AI, terutama untuk mengidentifikasi kesalahan seperti "shortcut learning" – ketika model belajar hubungan yang dangkal daripada inti masalahnya. Asumsi yang mendasari bidang ini adalah bahwa fitur input yang ditandai penting oleh metode XAI haruslah mengandung informasi relevan tentang variabel target. Namun, sebuah studi terbaru menantang asumsi ini, menunjukkan bahwa bukan informativitas tugas, melainkan "salience fitur" yang menjadi pendorong utama atribusi kepentingan dalam praktik.

      Penelitian oleh Benedict Clark, Marta Oliveira, Rick Wilming, dan Stefan Haufe, berjudul "Feature salience – not task-informativeness – drives machine learning model explanations" (tersedia di arxiv.org/abs/2602.09238), mengungkapkan temuan mengejutkan ini. Mereka menemukan bahwa metode atribusi kepentingan seringkali lebih fokus pada struktur gambar yang menonjol secara visual (salience) daripada asosiasi statistik yang benar-benar dipelajari oleh model. Temuan ini memiliki implikasi besar bagi evaluasi dan penerapan XAI di berbagai industri.

Bagaimana AI "Menjelaskan" Keputusannya? Memahami Metode Atribusi Fitur

      Machine Learning semakin banyak digunakan untuk memecahkan masalah kompleks, namun model yang terlatih seringkali menunjukkan perilaku yang tidak diinginkan setelah diterapkan. Misalnya, model mungkin terlalu bergantung pada atribut yang dilindungi atau hubungan bias antara input dan output. Ini sering disebut sebagai shortcut learning, di mana model mengambil "jalan pintas" dengan mengandalkan hubungan yang kebetulan ada dalam data pelatihan, seperti tabung dada atau penanda radiografi portabel dalam citra medis, daripada biomarker penyakit yang sebenarnya. Ketergantungan pada bias ini dapat menyebabkan kinerja yang buruk ketika asosiasi tersebut berubah atau menghilang dalam data pengujian, terutama dalam situasi dunia nyata.

      Mendiagnosis dan mengoreksi mode kegagalan semacam itu adalah salah satu tujuan utama XAI. Metode atribusi fitur adalah alat XAI yang menetapkan skor kepentingan pada dimensi input individu. Seringkali diasumsikan bahwa skor-skor ini mengungkapkan "apa yang telah dipelajari model," yang kemudian dapat digunakan untuk memberi informasi pada eksperimen tindak lanjut ilmiah atau untuk mendiagnosis dan mungkin meningkatkan model, data pelatihan, atau input pengujian. Sebagai contoh, metode Layer-wise Relevance Propagation (LRP) telah digunakan untuk menyoroti watermark fotografer dalam tugas klasifikasi kuda vs. mobil. Karena watermark tersebut tidak merata distribusinya di seluruh kelas, ia bertindak sebagai confounder (faktor pengganggu); para peneliti mengaitkan penemuan ini dengan kemampuan metode untuk mengidentifikasi ketergantungan model pada artefak tersebut. Alur kerja serupa digunakan dalam pencitraan medis untuk memverifikasi apakah model melacak patologi daripada artefak yang mengganggu.

Eksperimen Revolusioner: Air Terjun Digital dan Pelajaran Tak Terduga

      Untuk menguji hipotesis bahwa salience fitur dapat memengaruhi atribusi kepentingan, para peneliti melakukan studi terkontrol menggunakan gambar anjing dan kucing yang dimodifikasi. Mereka menyiapkan tiga varian dataset gambar biner:

• Dataset tanpa watermark (baseline): Gambar anjing dan kucing standar.

Dataset terkonfundasi: Watermark transparan ditempatkan secara statis di bagian atas 80% gambar anjing dan hanya 20% gambar kucing. Dalam skenario ini, watermark bertindak sebagai confounder* karena secara statistik terkait dengan kelas. Model cerdas mungkin akan menggunakan watermark untuk membedakan antara anjing dan kucing, bukan fitur visual anjing atau kucing yang sebenarnya. Dataset seimbang: Watermark yang sama ditempatkan pada 50% dari semua gambar, terlepas dari apakah itu anjing atau kucing. Di sini, watermark bertindak sebagai noise yang tidak informatif atau bahkan suppressor*. Meskipun tidak informatif untuk klasifikasi, model yang optimal mungkin masih menggunakan watermark untuk "membersihkan"nya dari bagian gambar yang informatif, sehingga meningkatkan kinerja.

      Model deep learning, khususnya Convolutional Neural Network (CNN), dilatih pada setiap varian dataset. Lima metode atribusi popular kemudian digunakan untuk mengevaluasi bagaimana model "menjelaskan" keputusannya pada gambar-gambar dengan dan tanpa watermark. ARSA Technology, sebagai penyedia solusi AI, sangat memahami pentingnya data pelatihan yang berkualitas dan variasi skenario untuk mengembangkan model yang tangguh, baik untuk solusi AI Box maupun AI Video Analytics.

Penemuan Mengejutkan: Salience Mengalahkan Informativeness

      Hasil eksperimen ini sangat signifikan. Para peneliti menemukan bahwa kelima metode atribusi menunjukkan "kepentingan relatif yang secara substansial meningkat" pada area yang di-watermark, terlepas dari apakah watermark tersebut informatif secara statistik untuk tugas klasifikasi atau tidak. Dengan kata lain, watermark yang menonjol secara visual akan selalu ditandai sebagai "penting" oleh XAI, bahkan jika model tidak benar-benar menggunakannya untuk membuat keputusan yang relevan. Ini berarti bahwa salience fitur – seberapa menonjol atau menarik perhatian suatu fitur visual – adalah pendorong utama atribusi kepentingan.

      Penelitian ini juga menunjukkan bahwa apakah watermark itu bergantung pada kelas atau tidak (informatif atau tidak informatif) hanya memiliki efek marjinal pada atribusi kepentingan. Ini sangat kontras dengan dampak jelas pada kinerja model dan kemampuan generalisasi. Lebih lanjut, metode XAI menunjukkan perilaku yang mirip dengan filter deteksi tepi independen dari model, dan memberikan kepentingan yang jauh lebih sedikit pada watermark ketika intensitas gambar terang dikodekan oleh nilai fitur yang lebih kecil, bukan yang lebih besar. Ini menunjukkan bahwa atribusi kepentingan paling kuat didorong oleh salience struktur gambar pada waktu pengujian, bukan oleh asosiasi statistik yang dipelajari oleh model machine learning.

Implikasi Praktis dan Arah Baru untuk Pengembangan AI

      Penemuan ini memiliki implikasi mendalam untuk bidang XAI dan penerapan AI di berbagai industri. Jika XAI cenderung menyoroti fitur yang hanya menonjol secara visual daripada yang benar-benar informatif, maka:

• Evaluasi Ulang Aplikasi XAI: Studi-studi sebelumnya yang menunjukkan keberhasilan aplikasi XAI perlu dievaluasi ulang. Mungkin ada "keterkaitan palsu" (spurious concurrency) antara salience fitur dan informativitas yang disalahartikan sebagai bukti pemahaman model yang akurat.

Risiko Shortcut Learning yang Tidak Terdeteksi: XAI mungkin gagal mendeteksi shortcut learning yang sebenarnya jika fitur shortcut tersebut tidak memiliki salience visual yang tinggi, atau jika shortcut* yang digunakan model sangat menonjol tetapi tidak informatif.

• Pengembangan Model AI yang Lebih Robust: Peneliti dan praktisi perlu mengembangkan metode XAI yang lebih canggih yang dapat membedakan antara fitur yang menonjol secara visual dan fitur yang secara kausal penting bagi keputusan model. Ini akan mendorong terciptanya model AI yang lebih andal dan dapat digeneralisasi.
• Verifikasi Manual yang Tetap Penting: Meskipun XAI menjanjikan otomatisasi penjelasan, studi ini menekankan bahwa verifikasi manusia, terutama dalam konteks kritis seperti medis atau keselamatan, tetap tak tergantikan untuk memastikan model belajar hal yang benar. Solusi seperti AI BOX - Basic Safety Guard yang mendeteksi penggunaan Alat Pelindung Diri (APD) harus didukung dengan pengujian ketat untuk memastikan model mengidentifikasi APD yang sebenarnya, bukan hanya warna atau bentuk menonjol.

      Temuan ini bukan berarti XAI tidak berguna, melainkan sebagai panggilan untuk penelitian dan pengembangan yang lebih cermat. Kita perlu memahami batasan metode atribusi yang ada dan mencari cara untuk mengembangkannya agar benar-benar mencerminkan pembelajaran model yang mendalam, bukan hanya respons terhadap input yang menonjol. Ini adalah langkah krusial menuju AI yang tidak hanya cerdas, tetapi juga jujur dan tepercaya.

      ARSA Technology berkomitmen untuk mengembangkan solusi AI dan IoT yang transparan dan dapat diandalkan, didukung oleh penelitian mendalam. Kami memahami bahwa keakuratan tidak hanya terletak pada hasil, tetapi juga pada pemahaman mengapa hasil itu tercapai.

      Untuk mendiskusikan bagaimana teknologi AI dan IoT dapat mendukung transformasi digital bisnis Anda dengan solusi yang akurat dan dapat dijelaskan, jangan ragu untuk menghubungi tim ARSA.

Sumber:

      Clark, B., Oliveira, M., Wilming, R., & Haufe, S. (2026). Feature salience – not task-informativeness – drives machine learning model explanations. arXiv preprint arXiv:2602.09238.