LATMiX: Mengoptimalkan Model Bahasa Besar (LLM) di Perangkat Berdaya Rendah dengan Transformasi Afine yang Dapat Dipelajari

      LLM, atau Model Bahasa Besar, telah menjadi tulang punggung revolusi AI saat ini, memberdayakan berbagai aplikasi mulai dari pemahaman bahasa alami hingga pembuatan kode dan sistem multimodal yang kompleks. Kemampuan LLM yang terus berkembang seiring dengan peningkatan skala dan kompleksitasnya memang luar biasa, namun hal ini datang dengan biaya komputasi dan memori yang sangat besar. Tantangan utama terletak pada bagaimana menerapkan model-model canggih ini secara efisien, terutama di lingkungan dengan sumber daya terbatas.

Memahami Kuantisasi Model Bahasa Besar (LLM)

      Salah satu teknik penting untuk mengatasi tantangan ini adalah kuantisasi pasca-pelatihan (PTQ). Bayangkan PTQ sebagai proses kompresi cerdas: ini mengurangi biaya inferensi, jejak memori, dan konsumsi energi LLM, sambil tetap menjaga akurasi model, tanpa perlu melatih ulang model yang mahal. Ini sangat penting untuk penggunaan LLM secara luas. Pada dasarnya, kuantisasi mengubah representasi data dari presisi tinggi (misalnya, angka 32-bit) menjadi presisi rendah (misalnya, 4-bit atau 8-bit). Ini seperti mengubah palet warna lukisan yang sangat detail menjadi palet dengan lebih sedikit warna, dengan tujuan agar detail penting tetap terlihat.

      Namun, metode PTQ yang ada sering kali menghadapi masalah di pengaturan yang sangat terbatas, seperti yang membutuhkan lebar bit rendah (kuantisasi 4-bit), di mana akurasi dapat menurun secara signifikan. Faktor kunci penyebab degradasi ini adalah adanya activation outliers — nilai-nilai ekstrem dalam data internal LLM (aktivasi) yang mendominasi kesalahan kuantisasi dan mencegah representasi presisi rendah yang efektif. Ibarat beberapa titik yang sangat terang dalam sebuah gambar, membuat sulit untuk mengompres seluruh gambar secara efektif dengan palet warna yang terbatas.

Tantangan Kuantisasi Mikroskala (MX) Modern

      Untuk mengatasi outliers dan meningkatkan robusta kuantisasi, para peneliti telah mengeksplorasi penggunaan transformasi inversi. Ini adalah operasi matematis yang menyusun ulang data untuk mendistribusikan "energi" secara lebih merata di seluruh dimensi, mirip dengan menyebarkan titik-titik terang dalam gambar agar tidak mendominasi. Transformasi berbasis rotasi atau Hadamard adalah contoh umum.

      Bersamaan dengan itu, muncul format data baru seperti format mikroskala (MX), yang diperkenalkan oleh Open Compute Project. Format MX dirancang untuk mengakomodasi karakteristik numerik model besar dengan lebih baik dan didukung oleh pemain industri terkemuka seperti Microsoft, AMD, Arm, Intel, Meta, dan NVIDIA. Ide utamanya adalah mempartisi tensor (struktur data yang digunakan LLM) menjadi blok-blok kecil, di mana setiap blok diberi faktor penskalaan sendiri. Ini memungkinkan kontrol yang lebih halus atas kesalahan kuantisasi.

      Meskipun demikian, menggabungkan kuantisasi MX dengan transformasi global berbasis rotasi atau Hadamard secara langsung sering kali menyebabkan degradasi kinerja yang parah. Ini karena transformasi global tidak selaras dengan sifat penskalaan block-wise dari MX. Sebagai solusi, penelitian sebelumnya menyarankan penerapan transformasi secara independen dalam setiap blok MX menggunakan matriks rotasi blok-diagonal. Namun, pendekatan ini membatasi transformasi untuk beroperasi hanya pada subruang kecil yang terisolasi, mencegah redistribusi massa aktivasi antar-blok. Akibatnya, outliers yang dominan tidak dapat disebarkan secara efektif di seluruh tensor, membatasi penekanan outlier dan menyebabkan akurasi kuantisasi yang suboptimal dalam rezim bit rendah.

LATMiX: Transformasi Afine yang Dapat Dipelajari untuk Kuantisasi Mikroskala

      Di sinilah LATMiX hadir sebagai inovasi signifikan. LATMiX, atau Learnable Affine Transformations for Microscaling Quantization, mengambil perspektif pelengkap untuk mengatasi kesenjangan ini. Para peneliti pertama-tama melakukan analisis teoretis dan numerik yang menunjukkan bahwa kesalahan kuantisasi bergantung pada distribusi fitur dan struktur blok MX. Ini berarti solusi perlu mempertimbangkan keduanya, bukan hanya salah satu.

      LATMiX mengusulkan metode yang menggeneralisasi pengurangan outlier ke transformasi afine inversi yang dapat dipelajari. Tidak seperti transformasi tetap (rotasi atau Hadamard), transformasi afine dapat dipelajari secara otomatis menggunakan alat deep learning standar. Yang terpenting, LATMiX tidak memaksakan asumsi independensi antar-blok. Ini memungkinkan transformasi untuk menyebarkan massa aktivasi secara lebih efektif di seluruh tensor, termasuk di antara blok-blok MX.

      Transformasi ini dioptimalkan menggunakan fungsi kerugian distilasi dan regularisasi yang mempertahankan volume. Fungsi kerugian distilasi mendorong prediksi model terkuantisasi agar sesuai dengan model presisi penuh, sementara regularisasi memastikan bahwa transformasi tetap dapat dibalik selama optimasi. Solusi ini memungkinkan keluarga transformasi yang jauh lebih kaya, menghasilkan mitigasi outlier yang lebih baik dan akurasi kuantisasi yang lebih tinggi.

Keunggulan dan Dampak Nyata LATMiX

      Salah satu keuntungan terbesar dari LATMiX adalah implementasinya yang cerdas. Transformasi afine yang dipelajari dapat "dilipat" ke dalam lapisan linear yang ada di LLM. Ini berarti mereka tidak menimbulkan biaya inferensi tambahan ketika model memiliki bias, dan hanya biaya overhead yang dapat diabaikan ketika bias tidak ada. Ini adalah aspek krusial untuk penerapan di dunia nyata, di mana setiap milidetik dan watt penting.

      LATMiX telah menunjukkan peningkatan konsisten dalam akurasi rata-rata untuk kuantisasi low-bit MX pada berbagai benchmark zero-shot dan berbagai ukuran model. Ini berarti model LLM yang dioptimalkan dengan LATMiX dapat mempertahankan kinerja tinggi bahkan saat berjalan pada perangkat dengan sumber daya komputasi yang sangat terbatas.

Aplikasi Industri dan Masa Depan

      Implikasi dari LATMiX sangat luas, terutama untuk industri yang ingin memanfaatkan kekuatan LLM pada perangkat edge atau di lingkungan dengan batasan sumber daya. Bayangkan LLM yang berjalan secara lokal pada perangkat seluler, sensor IoT, atau sistem kontrol industri tanpa perlu koneksi cloud yang konstan dan mahal. Ini membuka pintu bagi:

• Perangkat IoT Cerdas: Memungkinkan perangkat edge untuk melakukan pemrosesan bahasa yang kompleks secara lokal, meningkatkan privasi dan mengurangi latensi. Solusi seperti yang diusulkan LATMiX menjadi sangat relevan bagi penyedia solusi AI khusus seperti ARSA Technology, yang berfokus pada AI dan IoT di berbagai industri.

Keamanan & Pengawasan: Implementasi analitik perilaku real-time* atau pemrosesan suara pada kamera pintar, dengan memanfaatkan LLM yang dioptimalkan. Dengan perangkat AI Box dari ARSA Technology, model LLM yang dioptimalkan dapat digunakan untuk analitik video yang canggih di lokasi.

• Manufaktur dan Otomasi: LLM dapat digunakan untuk analisis data sensor, pemeliharaan prediktif, atau kontrol kualitas, berjalan langsung di lantai pabrik.

Aplikasi Kesehatan: Memberdayakan sistem diagnostik atau asisten medis di perangkat yang ringkas, dengan peningkatan akurasi dari analitik edge*. ARSA Technology juga menawarkan Self-Check Health Kiosk yang menunjukkan bagaimana solusi AI/IoT dapat diterapkan untuk efisiensi di sektor kesehatan.

      Pendekatan ARSA Technology dalam berbagai industri, yang mengedepankan solusi AI dan IoT siap produksi yang dirancang untuk akurasi, skalabilitas, privasi, dan keandalan operasional, sangat selaras dengan filosofi di balik inovasi seperti LATMiX. Kemampuan untuk menyebarkan AI yang kompleks secara efisien di lokasi, tanpa ketergantungan cloud yang membatasi, adalah pendorong utama transformasi digital.

Kesimpulan

      LATMiX mewakili langkah maju yang signifikan dalam mengoptimalkan LLM untuk skenario penerapan yang menuntut. Dengan menggabungkan pemahaman teoretis tentang kesalahan kuantisasi MX dengan kerangka kerja untuk mempelajari transformasi afine yang fleksibel, LATMiX memungkinkan LLM untuk beroperasi secara efisien dengan presisi tinggi bahkan pada lebar bit rendah. Inovasi ini tidak hanya mengurangi biaya komputasi dan memori, tetapi juga membuka peluang baru untuk penerapan AI canggih di perangkat edge dan di lingkungan dengan sumber daya terbatas. Kemampuan untuk mencapai kinerja ini tanpa biaya inferensi tambahan merupakan keuntungan besar, yang mendorong demokratisasi akses ke teknologi LLM yang kuat.

      Sumber: Gordon, O., Dikstein, L., Netzer, A., Achituve, I., & Habi, H. V. (2026). LATMiX: Learnable Affine Transformations for Microscaling Quantization of LLMs. arXiv preprint arXiv:2602.17681. Tersedia di: https://arxiv.org/abs/2602.17681

      ARSA Technology berkomitmen untuk menghadirkan solusi AI & IoT yang mentransformasi tantangan industri menjadi keunggulan kompetitif. Jelajahi lebih lanjut solusi kami dan hubungi tim ARSA untuk konsultasi gratis guna membahas kebutuhan teknologi Anda.