Implementasi teknologi Artificial Intelligence (AI) di dunia nyata seringkali tidak semulus teori di atas kertas. Proyek Computer Vision, khususnya, dapat menghadapi berbagai tantangan tak terduga yang membuat model AI berperilaku di luar ekspektasi. Salah satu contoh nyata adalah proyek pengembangan model untuk mendeteksi kerusakan fisik pada laptop dari sebuah foto.
Awalnya, idenya terdengar sederhana: gunakan model AI multimodal yang mampu memproses gambar dan teks (Large Language Model – LLM) untuk menganalisis foto laptop dan melaporkan kerusakan seperti layar retak, tombol hilang, atau engsel patah. Pendekatan awal menggunakan satu prompt besar yang meminta model untuk menganalisis gambar secara keseluruhan. Namun, data dari dunia nyata jarang sekali “sempurna”.
Tantangan Awal: Ketika AI “Berhalusinasi”
Pendekatan awal yang menggunakan satu prompt besar pada model LLM multimodal ternyata menghadapi beberapa masalah signifikan. Pertama, model sering mengalami “halusinasi” (hallucinations), yaitu melaporkan kerusakan yang sebenarnya tidak ada pada gambar atau salah mengidentifikasi jenis kerusakan.
Kedua, model kesulitan membedakan gambar yang relevan (foto laptop) dengan gambar “sampah” (junk images) yang tidak relevan, seperti foto meja, dinding, atau bahkan orang. Gambar-gambar ini tetap diproses dan menghasilkan laporan kerusakan yang tidak masuk akal. Ketiga, kombinasi masalah ini membuat akurasi model menjadi tidak konsisten dan tidak dapat diandalkan untuk penggunaan operasional bisnis. Jelas bahwa pendekatan ini perlu diperbaiki melalui iterasi.
Eksperimen yang Tidak Sempurna
Menyadari masalah akurasi, tim mulai bereksperimen. Salah satu faktor yang diperhatikan adalah kualitas gambar yang diunggah pengguna, yang sangat bervariasi dari jelas hingga buram. Riset menunjukkan bahwa resolusi gambar sangat memengaruhi kinerja model Deep Learning. Tim mencoba melatih model dengan campuran gambar berkualitas tinggi dan rendah untuk membuatnya lebih tangguh terhadap variasi kualitas gambar di dunia nyata. Ini membantu meningkatkan konsistensi, tetapi masalah halusinasi dan penanganan gambar “sampah” masih belum teratasi sepenuhnya.
Eksperimen lain terinspirasi oleh teknik menggabungkan image captioning dengan LLM berbasis teks. Idenya adalah menghasilkan beberapa caption dari gambar, lalu menggunakan model lain (multimodal embedding model seperti SigLIP) untuk menilai seberapa baik setiap caption menggambarkan gambar tersebut. Caption terbaik kemudian digunakan oleh LLM untuk menghasilkan caption baru yang lebih akurat, mengulang proses ini hingga caption tidak lagi membaik. Meskipun secara teori menarik, pendekatan ini justru menambah kompleksitas tanpa memberikan peningkatan signifikan. Caption yang dihasilkan terkadang masih mengandung halusinasi, dan beberapa masalah kerusakan terlewatkan sepenuhnya.
Pendekatan Agentic: Memecah Masalah Jadi Lebih Kecil
Titik balik terjadi ketika tim mempertimbangkan penggunaan framework agentic. Meskipun framework ini biasanya digunakan untuk mengorkestrasi alur kerja otomatis (misalnya, agen yang mengatur jadwal atau merespons email), tim bertanya-tanya apakah memecah tugas interpretasi gambar menjadi agen-agen yang lebih kecil dan terspesialisasi dapat membantu.
Mereka membangun framework agentic dengan struktur: satu agen Orchestrator yang mengidentifikasi komponen laptop yang terlihat (layar, keyboard, sasis, port), dan beberapa agen Komponen khusus yang memeriksa setiap komponen untuk jenis kerusakan tertentu (misalnya, agen untuk layar retak, agen untuk tombol hilang). Agen terpisah juga ditugaskan sebagai agen Deteksi Sampah untuk memastikan gambar yang diproses memang foto laptop. Pendekatan modular dan berbasis tugas ini menghasilkan hasil yang jauh lebih presisi dan mudah dijelaskan. Halusinasi menurun drastis, gambar “sampah” berhasil ditandai, dan tugas setiap agen yang fokus mempermudah kontrol kualitas. Namun, pendekatan ini tidak sempurna. Ada dua keterbatasan utama: Latensi meningkat karena menjalankan banyak agen secara berurutan, dan ada celah cakupan (coverage gaps) karena agen hanya mendeteksi masalah yang secara eksplisit diprogram untuk dicari.
Solusi Hybrid: Menggabungkan Kekuatan AI
Untuk menjembatani keterbatasan tersebut, tim menciptakan sistem hybrid. Framework agentic dijalankan terlebih dahulu untuk menangani deteksi kerusakan spesifik yang diketahui dan menandai gambar “sampah”. Jumlah agen dibatasi untuk mengurangi latensi. Setelah itu, prompt LLM monolithic memindai gambar lagi untuk mendeteksi potensi masalah lain yang mungkin terlewat oleh agen. Terakhir, model di-fine-tune menggunakan kumpulan gambar yang dikurasi khusus untuk kasus penggunaan prioritas tinggi, seperti skenario kerusakan yang sering dilaporkan, untuk lebih meningkatkan akurasi dan keandalan.
Kombinasi ini memberikan presisi dan kemudahan penjelasan dari setup agentic, cakupan luas dari prompt LLM monolithic, serta peningkatan kepercayaan diri dari fine-tuning yang ditargetkan. Pengalaman ini menggarisbawahi bahwa solusi AI dunia nyata seringkali membutuhkan perpaduan strategi yang cerdas.
Pelajaran Penting dari Proyek Dunia Nyata
Dari proyek ini, beberapa pelajaran penting dapat diambil bagi bisnis di Indonesia yang ingin mengimplementasikan AI, khususnya analitik video AI atau Computer Vision:
- Framework Agentic Lebih Serbaguna: Penggunaan framework agentic tidak hanya untuk otomatisasi alur kerja, tetapi juga dapat meningkatkan kinerja model secara signifikan ketika diterapkan untuk memecah tugas interpretasi data visual menjadi bagian-bagian yang terstruktur.
- Pendekatan Hybrid Lebih Unggul: Mengandalkan satu metode saja jarang optimal. Kombinasi deteksi berbasis agen yang presisi dengan cakupan luas dari LLM, ditambah fine-tuning, memberikan hasil yang jauh lebih andal.
- Model Visual Rentan Halusinasi: Bahkan setup AI paling canggih pun bisa “melihat” sesuatu yang tidak ada. Desain sistem yang cermat diperlukan untuk meminimalkan kesalahan ini.
- Variasi Kualitas Gambar Sangat Berpengaruh: Melatih dan menguji model dengan data yang mencerminkan kondisi dunia nyata (berbagai kualitas gambar) sangat penting untuk ketahanan model.
- Deteksi Data “Sampah” Itu Krusial: Mekanisme khusus untuk menandai atau memfilter gambar yang tidak relevan adalah langkah sederhana namun berdampak besar pada keandalan sistem secara keseluruhan.
Pengalaman ini menunjukkan bahwa membangun solusi AI yang andal untuk masalah dunia nyata, seperti deteksi visual, membutuhkan lebih dari sekadar prompt atau model tunggal. Diperlukan pemahaman mendalam tentang tantangan data, eksperimentasi dengan berbagai arsitektur, dan kemampuan untuk menggabungkan kekuatan berbagai teknik AI.
Bagaimana ARSA Technology Dapat Membantu?
ARSA Technology, sebagai perusahaan teknologi AI dan IoT terkemuka di Indonesia yang berpengalaman sejak 2018, memahami kompleksitas implementasi AI di dunia nyata. Solusi analitik video AI kami dirancang untuk mengatasi tantangan yang dibahas di atas.
Kami tidak hanya menyediakan model AI, tetapi juga platform yang modular dan dapat dikonfigurasi untuk berbagai kebutuhan spesifik industri Anda. Mulai dari deteksi APD di pabrik, analisis perilaku pelanggan di ritel, hingga monitoring lalu lintas, solusi kami dibangun dengan mempertimbangkan akurasi tinggi, kemampuan beradaptasi dengan infrastruktur CCTV yang sudah ada, dan dashboard real-time untuk analisis data yang mendalam. Kami juga menawarkan produk AI Box yang memungkinkan pemrosesan di edge, mengurangi latensi dan meningkatkan privasi data.
Kesimpulan
Proyek Computer Vision di dunia nyata penuh dengan tantangan, mulai dari data yang tidak sempurna hingga kecenderungan AI untuk berhalusinasi. Mengatasi masalah ini membutuhkan pendekatan yang lebih canggih daripada sekadar prompt sederhana. Solusi hybrid yang menggabungkan kekuatan berbagai teknik AI, seperti framework agentic dan LLM, terbukti jauh lebih efektif. ARSA Technology siap menjadi mitra Anda dalam navigasi kompleksitas ini, menyediakan solusi AI dan IoT yang terbukti andal dan memberikan dampak nyata bagi bisnis Anda di Indonesia.
Konsultasikan kebutuhan AI Anda dengan tim ARSA Technology melalui halaman kontak kami.
