Mengoptimalkan Jaringan Saraf Spiking (SNN) untuk Perangkat Sensor: Inovasi dengan Sharpness-Aware Surrogate Training

Pendahuluan: Tantangan AI di Perangkat Sensor

      Dalam era di mana perangkat cerdas semakin merambah setiap aspek kehidupan, visi di perangkat sensor (on-sensor vision) telah menjadi bidang yang sangat menjanjikan. Konsep ini bertujuan untuk mengintegrasikan kemampuan penginderaan (sensing) dan komputasi dalam satu chip, memungkinkan perangkat beroperasi secara real-time dengan konsumsi daya yang sangat rendah, seringkali dalam rentang sub-watt. Sensor berbasis peristiwa (event-based sensors), seperti dynamic vision sensors (DVS), adalah komponen kunci dalam paradigma ini. Mereka menghasilkan aliran data yang jarang secara temporal dan asinkron, yang secara alami selaras dengan cara kerja Jaringan Saraf Spiking (SNN).

      Jaringan saraf spiking (SNN) meniru cara otak biologis memproses informasi melalui "lonjakan" (spike) biner. Model komputasi ini sangat cocok untuk array pemrosesan paralel masif berdaya rendah—baik itu neuromorfik, berbasis Programmable Logic Array (PPA), atau analog—yang menjadi ciri khas paradigma komputasi di perangkat sensor. Namun, pengembangan SNN yang efektif menghadapi tantangan signifikan. Tantangan utama adalah memastikan model yang dilatih dengan teknik "surrogate gradient" dapat berkinerja optimal ketika diterapkan pada perangkat keras yang menggunakan "hard threshold" biner, sebuah kesenjangan yang dikenal sebagai surrogate-to-hard transfer gap.

Mengenal SNN dan Masalah "Transfer Gap"

      Jaringan Saraf Spiking (SNN) berbeda dari Jaringan Saraf Tiruan (ANN) tradisional karena neuronnya berkomunikasi melalui spike diskrit, bukan nilai kontinu. Ini membuat SNN sangat hemat energi dan ideal untuk aplikasi edge computing di mana daya adalah batasan utama. Untuk melatih SNN menggunakan metode berbasis gradien, para peneliti sering menggunakan "surrogate gradient," yaitu fungsi turunan yang mulus untuk menggantikan fungsi spike yang tidak dapat diturunkan. Ini memungkinkan proses backpropagation untuk mengoptimalkan parameter jaringan.

      Namun, metode ini menciptakan dilema. Selama pelatihan, SNN menggunakan perkiraan spike yang mulus, sementara saat deployment pada perangkat keras yang sebenarnya, fungsi spike ini digantikan oleh "hard threshold" biner yang tegas, di mana neuron hanya akan menghasilkan output 0 atau 1. Ketika banyak potensi membran neuron berada di dekat ambang batas, model surrogate yang mulus dapat mengeluarkan aktivasi bergradasi, sementara perangkat keras di sensor harus mengambil keputusan tegas 0 atau 1. Ketidakcocokan ini terakumulasi seiring waktu dan di seluruh lapisan jaringan, yang pada akhirnya menurunkan akurasi saat inferensi (penerapan model). Kesenjangan transfer ini menjadi hambatan utama bagi implementasi SNN yang akurat dan dapat diandalkan pada perangkat sensor.

Solusi Inovatif: Pelatihan Surrogate Sadar Ketajaman (SAST)

      Untuk mengatasi masalah kritis "transfer gap" ini, sebuah pendekatan baru yang disebut Sharpness-Aware Surrogate Training (SAST) telah dikembangkan. SAST mengaplikasikan teknik Sharpness-Aware Minimization (SAM) ke SNN dengan surrogate-forward, di mana dinamika jaringan sudah menggunakan perkiraan spike yang mulus. Ini memastikan bahwa tujuan pelatihan (training objective) menjadi benar-benar mulus, sehingga backpropagation through time dapat menghitung gradien yang tepat, dan analisis berlaku langsung pada model yang sedang dioptimalkan. SAST diposisikan sebagai salah satu strategi untuk mengurangi kesenjangan ini, bukan satu-satunya mekanisme. Teknik ini secara fundamental bertujuan untuk melatih SNN agar lebih tangguh terhadap perubahan antara fungsi spike yang mulus saat pelatihan dan fungsi hard threshold biner saat deployment.

      Proses pelatihan SAST melibatkan dua langkah utama di setiap iterasi: pertama, menghitung kerugian surrogate dan gradien pada minibatch data; kedua, membentuk perturbasi (gangguan) untuk gradien tersebut. Kemudian, semua state SNN direset, gradien dihitung kembali pada minibatch yang berbeda dengan perturbasi tersebut, dan optimizer memperbarui bobot jaringan. Reset state ini penting untuk mencegah temporal state yang kedaluwarsa memengaruhi perturbasi. Pendekatan ini secara efektif mencari "minimum datar" dalam lanskap kerugian, yang dikenal dapat meningkatkan generalisasi model dan ketahanan terhadap perubahan kecil. Konsep ini serupa dengan praktik yang diterapkan oleh ARSA Technology yang telah berpengalaman sejak 2018 dalam mengembangkan solusi AI yang tangguh dan siap produksi.

Implikasi Teknis dan Keunggulan SAST

      Penerapan SAST telah menunjukkan hasil yang menjanjikan, tidak hanya dalam meningkatkan akurasi tetapi juga dalam efisiensi komputasi. SAST berfokus pada peningkatan kemampuan deployability SNN di perangkat sensor, terutama saat inferensi hard-spike dengan bobot terkuantisasi (quantized weights) dan batasan potensi membran fixed-point.

      Secara teori, SAST menyediakan jaminan stabilitas state, batasan input-Lipschitz, dan kehalusan (smoothness), bersama dengan hasil konvergensi nonconvex yang sesuai. Ini berarti model yang dilatih dengan SAST cenderung lebih stabil terhadap gangguan input (misalnya, event drops atau noise) dan memiliki kinerja yang lebih dapat diprediksi. Secara praktis, ini berarti peningkatan akurasi yang signifikan:

Pada benchmark N-MNIST, akurasi hard-spike* meningkat drastis dari 65,7% menjadi 94,7%. Pada benchmark DVS Gesture, akurasi hard-spike* meningkat dari 31,8% menjadi 63,3%.

      Ini menunjukkan bahwa SAST mampu mengurangi surrogate-to-hard transfer gap hingga 92% untuk N-MNIST dan 69% untuk DVS Gesture, mengubah SNN dari model eksperimental menjadi solusi siap produksi dengan akurasi tinggi.

SAST dalam Simulasi Hardware-Aware

      Untuk menguji kelayakan SAST dalam skenario dunia nyata, simulasi hardware-aware dilakukan dengan mempertimbangkan batasan perangkat keras yang ketat. Simulasi ini mencakup kuantisasi bobot (INT8/INT4), potensi membran fixed-point, dan faktor leak diskrit, serta menggunakan SynOps sebagai proksi untuk konsumsi energi. Hasil simulasi ini semakin memperkuat argumen untuk penggunaan SAST:

• **N-MNIST:**

Dengan kuantisasi INT8, akurasi hard-spike* melonjak dari 47,6% menjadi 96,9%.

• Dengan kuantisasi INT4 (presisi lebih rendah), akurasi meningkat dari 43,2% menjadi 81,0%.
• Jumlah SynOps berkurang dari 1734k menjadi 1315k, menunjukkan efisiensi energi yang lebih baik.
• **DVS Gesture:**
• Dengan kuantisasi INT8, akurasi meningkat dari 25,3% menjadi 47,6%.
• Dengan kuantisasi INT4, akurasi meningkat dari 26,0% menjadi 43,8%.
• Jumlah SynOps berkurang secara substansial dari 86221k menjadi 4323k, yang berarti penghematan energi yang luar biasa.

      Peningkatan akurasi yang signifikan ini, bahkan di bawah batasan hardware-aware yang ketat, menggarisbawahi potensi SAST sebagai komponen penting dalam pengembangan SNN untuk aplikasi di perangkat sensor. Ini menunjukkan bahwa SAST tidak hanya memperbaiki transfer gap tetapi juga memungkinkan SNN beroperasi dengan efisien pada hardware dengan sumber daya terbatas. Contoh solusi Edge AI yang terintegrasi dengan perangkat keras seperti ARSA AI Box Series dapat memanfaatkan kemajuan ini untuk deployment yang cepat dan andal.

Potensi Aplikasi Nyata di Berbagai Industri

      Inovasi seperti SAST memiliki potensi transformatif di berbagai sektor industri yang membutuhkan komputasi AI berdaya rendah dan real-time di edge.

Manufaktur dan Otomasi Industri: SNN yang dioptimalkan dengan SAST dapat digunakan untuk sistem inspeksi visual yang cepat dan efisien pada lini produksi, deteksi anomali peralatan, atau pemantauan kepatuhan keselamatan (misalnya, penggunaan Alat Pelindung Diri) tanpa memerlukan transfer data besar ke cloud*. Solusi AI Video Analytics dapat diterapkan untuk kasus-kasus tersebut.

• Smart Cities dan Lalu Lintas: Sensor berbasis peristiwa yang didukung SNN dapat memantau arus lalu lintas, mendeteksi insiden, atau menghitung jumlah kendaraan dengan konsumsi daya minimal, memungkinkan manajemen kota yang lebih cerdas dan responsif.

Perawatan Kesehatan: Perangkat medis portabel atau monitor pasien dapat menggunakan SNN untuk analisis data sensor real-time* dengan umur baterai yang lebih panjang, memungkinkan pemantauan kesehatan proaktif.

• Keamanan dan Pengawasan: Sistem keamanan dapat menggunakan kamera berbasis peristiwa dengan SNN untuk mendeteksi intrusi atau aktivitas mencurigakan dengan cepat, hanya memproses "peristiwa" penting dan menghemat daya serta bandwidth.

Retail dan Perdagangan: Analisis perilaku pelanggan, pemantauan stok, atau deteksi pencurian dapat dilakukan di lokasi dengan perangkat edge AI* yang hemat biaya dan efisien.

      Peningkatan akurasi dan efisiensi yang ditawarkan oleh SAST akan mempercepat adopsi SNN di aplikasi-aplikasi kritikal ini, memberikan ROI yang lebih cepat dan mengurangi risiko operasional.

Kesimpulan dan Langkah Selanjutnya

      Penelitian mengenai Sharpness-Aware Surrogate Training (SAST) yang dibahas dalam paper "Sharpness-Aware Surrogate Training for On-Sensor Spiking Neural Networks" oleh Maximilian Nicholson dari University of Bath (Sumber: https://arxiv.org/abs/2604.09696) menandai langkah maju yang signifikan dalam mengoptimalkan Jaringan Saraf Spiking untuk deployment di perangkat sensor. Dengan mengatasi "surrogate-to-hard transfer gap" dan menunjukkan peningkatan akurasi serta efisiensi energi yang substansial bahkan di bawah batasan perangkat keras yang ketat, SAST membuktikan dirinya sebagai komponen yang menjanjikan dalam toolbox yang lebih luas untuk inferensi spiking di perangkat sensor.

      Kemampuan untuk mengembangkan solusi AI yang tangguh, hemat daya, dan akurat di edge sangat penting bagi perusahaan yang ingin tetap kompetitif dan inovatif. Memahami nuansa teknologi AI seperti SAST memungkinkan organisasi untuk membuat keputusan yang terinformasi dalam memilih dan menerapkan solusi AI yang paling sesuai dengan kebutuhan operasional mereka.

      Apakah Anda tertarik untuk menjelajahi bagaimana teknologi AI dan IoT yang canggih ini dapat meningkatkan efisiensi dan kapabilitas bisnis Anda? Tim kami di ARSA Technology siap membantu Anda merancang dan menerapkan solusi AI yang tepat. Jangan ragu untuk contact ARSA untuk konsultasi gratis.