SURGE: Terobosan dalam Melatih Jaringan Saraf Biner untuk Efisiensi AI Maksimal

SURGE: Terobosan dalam Melatih Jaringan Saraf Biner untuk Efisiensi AI Maksimal

      Jaringan saraf tiruan mendalam (DNN) telah mencapai kesuksesan luar biasa di berbagai bidang, mulai dari pengenalan gambar hingga pemrosesan bahasa alami. Namun, seiring dengan semakin kompleksnya model AI—dengan miliaran parameter—kebutuhan komputasi dan memori pun meningkat drastis. Hal ini menimbulkan tantangan signifikan untuk penerapan AI pada perangkat dengan sumber daya terbatas, seperti perangkat edge computing di industri manufaktur atau kota cerdas. Di sinilah solusi AI Box dapat menjadi penting.

      Untuk mengatasi hambatan ini, teknik kompresi model seperti kuantisasi telah dikembangkan. Kuantisasi ekstrem, yang dikenal sebagai binarisasi, merepresentasikan bobot dan aktivasi jaringan saraf hanya dengan nilai 1-bit (misalnya, -1 atau 1). Ini secara teoritis dapat mengurangi kebutuhan memori hingga 32 kali dan mempercepat komputasi hingga 58 kali dibandingkan dengan jaringan presisi penuh. Efisiensi luar biasa ini menjadikan Jaringan Saraf Biner (BNN) sangat cocok untuk perangkat edge yang terbatas sumber dayanya. Namun, di balik potensi efisiensi ini, terdapat tantangan besar dalam melatih BNN agar mencapai akurasi setara dengan jaringan presisi penuh. Sebuah makalah akademis baru berjudul "SURGE: Surrogate Gradient Adaptation in Binary Neural Networks" (Huang et al., 2026) memperkenalkan pendekatan baru yang inovatif untuk mengatasi tantangan ini.

Mengapa Jaringan Saraf Biner (BNN) Penting?

      BNN mewakili bentuk kuantisasi paling ekstrem di mana bobot dan aktivasi direpresentasikan hanya dengan satu bit. Artinya, setiap nilai dalam jaringan hanya bisa berupa dua opsi, seperti -1 atau 1, alih-alih rentang nilai kontinu yang jauh lebih besar pada jaringan presisi penuh. Keuntungan utamanya adalah pengurangan drastis dalam persyaratan memori dan daya komputasi. Bayangkan sebuah kamera pengawas cerdas atau sensor industri yang harus beroperasi secara mandiri di lokasi terpencil. Perangkat ini memiliki CPU dan RAM yang sangat terbatas. BNN memungkinkan model AI canggih untuk dijalankan langsung pada perangkat tersebut, melakukan tugas-tugas seperti deteksi objek atau pemantauan perilaku tanpa perlu mengirim data ke cloud yang mahal dan lambat.

      Kemampuan untuk menjalankan AI secara efisien di edge ini membuka peluang baru untuk analisis video AI secara real-time, sistem parkir cerdas, atau pemantauan kesehatan mandiri. Potensi BNN dalam mengurangi biaya operasional, meningkatkan keamanan data, dan mempercepat pengambilan keputusan di lapangan sangat besar, menjadikan penelitian di bidang ini krusial untuk masa depan AI yang lebih terdistribusi dan efisien.

Tantangan dalam Melatih BNN yang Akurat

      Meskipun menjanjikan, BNN menghadapi masalah mendasar selama proses pelatihan. Pelatihan jaringan saraf melibatkan penyesuaian bobot melalui mekanisme yang disebut backpropagation, yang mengandalkan "gradien" untuk menunjukkan arah penyesuaian. Fungsi binarisasi (misalnya, fungsi sign yang mengubah nilai positif menjadi 1 dan nilai negatif menjadi -1) adalah non-diferensial, yang berarti gradiennya tidak dapat dihitung secara langsung di sebagian besar titik, atau gradiennya nol di mana-mana kecuali pada titik nol. Hal ini menyebabkan masalah "gradien yang hilang" (vanishing gradients) atau "ketidaksesuaian gradien" (gradient mismatch).

      Untuk mengatasi ini, metode umum seperti Straight-Through Estimator (STE) digunakan. STE mengaproksimasi gradien fungsi binarisasi dengan gradien fungsi identitas. Meskipun STE memungkinkan pelatihan BNN, ia memiliki keterbatasan. Pertama, aproksimasi STE sering kali kurang akurat, menghasilkan "estimasi gradien yang bias" dan ketidakstabilan optimasi. Kedua, STE secara tradisional menggunakan "pemotongan gradien" (gradient clipping) dengan rentang tetap (misalnya, hanya mempertahankan gradien untuk input antara -1 dan 1). Ini berarti informasi gradien yang berharga di luar rentang ini diabaikan, yang dapat merugikan akurasi model, terutama untuk kuantisasi aktivasi. Keterbatasan ini menghambat BNN untuk mencapai akurasi setara dengan jaringan presisi penuh, meninggalkan celah kinerja yang signifikan.

SURGE: Solusi Inovatif untuk Gradien yang Lebih Baik

      Untuk mengatasi masalah mendalam dalam pelatihan BNN, para peneliti memperkenalkan SURrogate GradiEnt Adaptation (SURGE). SURGE adalah kerangka kerja kompensasi gradien yang dapat dipelajari, yang dirancang untuk mengurangi ketidaksesuaian gradien dan informasi yang hilang selama pelatihan. Inti dari SURGE adalah dua komponen utama: Dual-Path Gradient Compensator (DPGC) dan Adaptive Gradient Scaler (AGS).

      DPGC dirancang untuk membangun cabang paralel berpresisi penuh (disebut cabang auxiliary) untuk setiap lapisan biner (cabang main). Selama forward pass (penghitungan output jaringan), cabang auxiliary tidak mengubah output asli. Namun, selama backpropagation (penghitungan gradien), DPGC memisahkan aliran gradien menjadi dua bagian. Cabang auxiliary yang berpresisi penuh dapat memberikan gradien yang kurang bias, yang secara efektif mengkompensasi kesalahan aproksimasi STE dengan mempelajari istilah orde yang lebih tinggi. Ini secara signifikan memulihkan informasi gradien yang sebelumnya hilang karena pemotongan gradien.

      Selain itu, gradien besar dari jalur auxiliary berpotensi mengganggu konvergensi cabang main. Untuk menjaga stabilitas pelatihan dan memastikan kompensasi yang efektif, SURGE mengintegrasikan Adaptive Gradient Scaler (AGS). AGS secara dinamis menyeimbangkan kontribusi gradien antar-cabang melalui penskalaan berbasis norma, memastikan bahwa kedua jalur bekerja secara harmonis. Dengan DPGC dan AGS, SURGE memungkinkan BNN untuk dilatih dengan gradien yang jauh lebih akurat dan stabil, secara signifikan mengurangi kesenjangan kinerja dengan jaringan presisi penuh.

Melihat SURGE dalam Aksi: Peningkatan yang Terukur

      Pengembangan SURGE bukan hanya teori; efektivitasnya telah dibuktikan melalui berbagai eksperimen komparatif yang ketat. Para peneliti menguji SURGE pada beberapa benchmark industri, termasuk dua benchmark klasifikasi gambar, satu benchmark deteksi objek, dan satu rangkaian benchmark pemahaman bahasa alami. Ini mencakup spektrum luas aplikasi AI yang relevan bagi banyak perusahaan.

      Hasil eksperimen menunjukkan bahwa SURGE secara konsisten mengungguli metode-metode state-of-the-art lainnya dalam pelatihan BNN. Peningkatan kinerja ini secara langsung diterjemahkan menjadi BNN yang lebih akurat, yang mampu menjalankan tugas-tugas kompleks dengan presisi tinggi meskipun menggunakan sumber daya yang minimal. Misalnya, dalam klasifikasi gambar, BNN yang dilatih dengan SURGE dapat mengidentifikasi objek dengan lebih sedikit kesalahan, yang vital untuk aplikasi seperti sistem pengawasan atau inspeksi kualitas otomatis. Untuk deteksi objek, peningkatan akurasi berarti kemampuan yang lebih baik dalam menemukan dan mengklasifikasikan objek di lingkungan real-time, sangat berguna dalam sistem sistem parkir cerdas atau pemantauan lalu lintas. Demikian pula, dalam pemahaman bahasa, BNN yang ditingkatkan oleh SURGE dapat memproses dan menafsirkan teks dengan lebih baik, meskipun dalam kondisi komputasi yang sangat terbatas.

Implikasi Praktis dan Masa Depan AI Efisien

      Penerapan SURGE memiliki implikasi praktis yang luas dan signifikan, terutama bagi perusahaan yang ingin memanfaatkan AI di lingkungan yang menantang. Dengan BNN yang lebih akurat dan efisien, organisasi dapat:

Mengurangi Biaya Operasional: Menjalankan model AI yang kompleks pada perangkat edge mengurangi kebutuhan akan infrastruktur cloud* yang mahal dan konsumsi daya. Meningkatkan Keamanan Data: Pemrosesan data di perangkat (on-device processing) berarti lebih sedikit data sensitif yang perlu dikirim ke cloud*, sehingga mengurangi risiko privasi dan keamanan. Mempercepat Pengambilan Keputusan: Analisis real-time di edge* memungkinkan respons yang lebih cepat terhadap peristiwa, dari deteksi anomali di pabrik hingga pengenalan wajah untuk kontrol akses.

• Mendorong Inovasi di Perangkat Terbatas: Teknologi ini membuka pintu bagi aplikasi AI baru di perangkat IoT dan sensor yang sebelumnya tidak mungkin, seperti diagnostik mandiri atau pengawasan cerdas di lokasi terpencil.

      Inovasi seperti SURGE sangat penting untuk masa depan AI. Dengan kemampuan untuk mengoptimalkan BNN secara signifikan, teknologi ini akan mempercepat adopsi AI di berbagai industri, mengubah cara bisnis beroperasi, dan menciptakan nilai baru melalui implementasi AI yang praktis dan menguntungkan. Bagi perusahaan yang mencari solusi AI kustom yang efisien dan akurat, teknologi di balik SURGE menunjukkan arah yang menjanjikan untuk penerapan AI yang cerdas dan hemat biaya.

      Sumber: Huang, H., Liu, B., Yang, L., Li, Y., Yang, Y., Liu, X., Chen, C., Fu, Z., & Zhang, B. (2026). SURGE: Surrogate Gradient Adaptation in Binary Neural Networks. Proceedings of the 43rd International Conference on Machine Learning, Seoul, South Korea. PMLR 306, 2026. https://arxiv.org/abs/2605.10989

      Ingin mengeksplorasi bagaimana solusi AI dan IoT yang canggih dapat mentransformasi operasi bisnis Anda? Tim ahli ARSA Technology siap membantu. Dapatkan konsultasi gratis untuk menemukan solusi yang tepat untuk kebutuhan spesifik perusahaan Anda.