LWGR: Merevolusi Rekomendasi Generatif dengan Personalisasi Pengetahuan Dunia LLM

      Sistem rekomendasi telah menjadi tulang punggung pengalaman digital modern, mulai dari platform e-commerce hingga layanan streaming. Dalam beberapa tahun terakhir, munculnya rekomendasi generatif (GR) berbasis Large Language Model (LLM) telah membawa perubahan signifikan, mengurangi ketergantungan pada tabel embedding item berskala besar dan menunjukkan kinerja yang kompetitif dengan langsung menghasilkan token item diskrit. Namun, kemampuan pemodelan semantiknya seringkali terbatas pada interaksi historis pengguna, sehingga sulit untuk secara eksplisit memanfaatkan pengetahuan eksternal yang lebih kaya untuk penambangan asosiasi semantik yang kompleks. Di sinilah "pengetahuan dunia" yang tertanam dalam LLM menjadi sangat berharga.

Keterbatasan Pendekatan yang Ada dalam Pemanfaatan Pengetahuan Dunia LLM

      Kemajuan terbaru dalam rekomendasi generatif (GR) berbasis Large Language Model (LLM) menunjukkan bahwa memanfaatkan pengetahuan dunia LLM dapat secara substansial meningkatkan kinerja. Pengetahuan dunia LLM ini mencakup informasi faktual, penalaran akal sehat, dan konsep abstrak yang diperoleh dari data teks yang masif. Namun, metode yang ada saat ini mengandalkan instruksi yang tetap dan dirancang secara manual untuk menghasilkan pengetahuan semantik, lalu langsung memasukkannya ke dalam GR. Pendekatan ini memiliki dua keterbatasan utama.

      Pertama, instruksi yang tetap tidak dapat menangkap heterogenitas multidimensional dari minat pengguna. Setiap pengguna memiliki preferensi yang unik dan berkembang, dan instruksi tunggal tidak mampu memicu pengetahuan dunia LLM yang benar-benar relevan dengan nuansa minat tersebut. Kedua, fusi pengetahuan yang tidak terkontrol dapat berkonflik dengan sinyal perilaku yang sudah ada dan justru merusak rekomendasi. Konflik ini dapat mengakibatkan rekomendasi yang kurang akurat atau bahkan tidak relevan, yang pada akhirnya merugikan pengalaman pengguna dan metrik bisnis.

Memperkenalkan LWGR: Solusi untuk Rekomendasi yang Dipersonalisasi dan Terkendali

      Untuk mengatasi keterbatasan tersebut, sebuah kerangka kerja inovatif bernama LWGR (Lagrangian-Constrained Personalized World Knowledge for Generative Recommendation) telah diperkenalkan. LWGR bertujuan untuk mentransfer pengetahuan dunia yang dipersonalisasi dari LLM ke sistem rekomendasi generatif dengan menggunakan batasan Lagrangian. Kerangka kerja ini meningkatkan kinerja GR dari dua sisi penting: ekstraksi pengetahuan dan fusi pengetahuan.

      Dengan LWGR, sistem dapat membangun instruksi lunak yang dipersonalisasi untuk pengguna, memungkinkan ekstraksi pengetahuan dunia LLM yang sangat relevan dengan perilaku individual. Batasan Lagrangian yang diterapkan selama fusi pengetahuan memastikan bahwa informasi yang dimasukkan benar-benar bermanfaat dan tidak mengganggu sinyal perilaku yang sudah ada. Ini berarti bahwa alih-alih memasukkan semua pengetahuan yang diekstraksi secara membabi buta, LWGR secara selektif mengintegrasikan hanya pengetahuan yang terbukti meningkatkan kualitas rekomendasi secara stabil.

Ekstraksi Pengetahuan yang Dipersonalisasi dengan Instruksi Lunak

      Membangun pengetahuan dunia yang dipersonalisasi merupakan tantangan tersendiri. Solusi awal untuk mendesain instruksi semantik yang dipersonalisasi secara manual untuk setiap pengguna adalah tidak praktis dan tidak dapat dipertahankan dalam skala besar. LWGR mengatasi ini dengan pendekatan yang terinspirasi dari "soft prompts," di mana instruksi dipelajari sebagai vektor berkelanjutan yang secara ketat terhubung dengan konteks pengguna. Daripada menetapkan vektor instruksi yang dapat dipelajari langsung untuk setiap pengguna, yang tidak akan skalabel dan hanya dapat merepresentasikan minat pengguna dalam ruang linear, LWGR mengambil langkah lebih maju.

      LWGR menerapkan Optimized Product Quantization (OPQ) pada vektor konteks pengguna, membaginya menjadi beberapa subspace. Dari setiap subspace ini, kombinasi codeword yang dipilih dari codebook paralel digunakan sebagai instruksi lunak yang dipersonalisasi. Konsep codebook ini bisa dibayangkan seperti perpustakaan frasa yang cerdas, di mana sistem secara otomatis memilih "kata kunci" atau "konsep" terbaik untuk membangun prompt yang disesuaikan untuk setiap pengguna berdasarkan riwayat dan preferensi mereka. Codeword yang dipilih ini kemudian digabungkan menjadi instruksi lunak yang dipersonalisasi, disambungkan dengan data tugas, dan dimasukkan ke LLM untuk mendapatkan pengetahuan dunia yang relevan dengan pengguna tersebut. Untuk memungkinkan pelatihan end-to-end di seluruh ruang codebook, LWGR juga mengadopsi mekanisme gradient straight-through berdasarkan Index Backpropagation Quantization (IBQ), memastikan proses pembelajaran yang mulus dan efisien.

Fusi Pengetahuan Terkendala untuk Performa yang Stabil

      Setelah pengetahuan dunia yang dipersonalisasi diperoleh, langkah selanjutnya adalah mengintegrasikannya ke dalam proses rekomendasi generatif. LWGR mengintegrasikan pengetahuan ini di awal decoding GR melalui mekanisme cross-attention untuk secara global memandu generasi autoregressive. Ini berarti bahwa pengetahuan yang dipersonalisasi akan mempengaruhi cara sistem merekomendasikan item dari awal hingga akhir, memastikan konsistensi dan relevansi.

      Untuk menjamin peningkatan yang stabil, LWGR merumuskan fusi pengetahuan sebagai masalah optimasi dengan degradasi kinerja yang secara eksplisit dibatasi. Masalah ini dipecahkan melalui metode primal-dual Lagrangian, yang secara selektif memasukkan pengetahuan yang bermanfaat saja. Batasan Lagrangian berfungsi sebagai penjaga gerbang, memastikan bahwa setiap pengetahuan yang diintegrasikan tidak hanya relevan tetapi juga secara positif berkontribusi pada rekomendasi, mencegah potensi konflik dengan sinyal perilaku yang sudah ada. Pendekatan terkendali ini memastikan bahwa sistem rekomendasi tidak hanya menjadi lebih cerdas, tetapi juga lebih stabil dan dapat diandalkan, memberikan hasil yang konsisten bagi pengguna dan metrik bisnis.

Implementasi Praktis dan Dampak Bisnis LWGR

      LWGR tidak hanya sekadar konsep teoretis. Kerangka kerja ini dirancang dengan mempertimbangkan implementasi praktis dan telah menunjukkan hasil yang menjanjikan di dunia nyata. Untuk mengakomodasi skala LLM yang berbeda, LWGR menyediakan dua strategi pelatihan yang berbeda. Selain itu, skema penerapan LWGR menggabungkan precomputation nearline dengan online serving yang ringan. Precomputation nearline berarti sebagian besar pekerjaan pemrosesan dan personalisasi dilakukan di muka, siap digunakan, sementara online serving yang ringan memungkinkan sistem memberikan rekomendasi yang cepat dan responsif secara real-time kepada pengguna.

      Eksperimen yang dilakukan pada beberapa dataset publik dan satu dataset industri menunjukkan bahwa LWGR mengungguli delapan baseline canggih hingga 11,23%. Yang lebih penting, penerapan LWGR pada platform periklanan berskala besar berhasil meningkatkan pendapatan sebesar 1,35%, membuktikan efektivitas dan kepraktisannya di lingkungan produksi yang menuntut. Ini adalah indikasi kuat bahwa personalisasi yang didorong oleh pengetahuan dunia LLM, ketika dikelola dengan hati-hati melalui batasan optimasi, dapat memberikan nilai bisnis yang signifikan.

      Sebagai penyedia solusi AI & IoT yang berpengalaman, ARSA Technology memahami pentingnya sistem yang canggih ini. Solusi kami, seperti AI Video Analytics dan ARSA AI API, memanfaatkan pemrosesan data yang presisi dan sadar konteks, mirip dengan prinsip-prinsip yang mendasari kerangka kerja AI seperti LWGR. Pendekatan ini memastikan bahwa enterprise dapat mengubah data pasif menjadi intelijen operasional yang nyata, meningkatkan ROI, mengurangi risiko, dan mendorong inovasi di berbagai industri.

Mengapa Personalisasi Pengetahuan Dunia Penting

      LWGR mewakili langkah maju yang signifikan dalam rekomendasi generatif, mengatasi batasan kunci dari pendekatan yang ada dengan memperkenalkan personalisasi dan kendala yang ketat. Dengan mengekstraksi pengetahuan dunia LLM yang sangat relevan melalui instruksi lunak yang dipersonalisasi dan kemudian menggabungkannya secara strategis dengan batasan Lagrangian, LWGR memastikan bahwa rekomendasi tidak hanya lebih cerdas tetapi juga lebih andal dan efektif. Hal ini pada akhirnya menciptakan pengalaman pengguna yang lebih baik, mendorong keterlibatan yang lebih tinggi, dan menghasilkan hasil bisnis yang lebih baik—seperti yang ditunjukkan oleh peningkatan pendapatan yang nyata.

      Untuk organisasi yang ingin memanfaatkan potensi penuh AI dan IoT dalam sistem rekomendasi atau area operasional lainnya, berinvestasi dalam solusi yang mengutamakan personalisasi, kontrol data, dan kinerja yang terukur adalah kunci. ARSA Technology siap membantu Anda menavigasi kompleksitas ini dan membangun masa depan dengan AI & IoT.

      Sumber: Mu, L., Deng, H., Xing, H., Lin, K., Zhu, Z., Zhang, Y., Zeng, X., Liu, Z., Lin, Z., & Hu, J. (2026). LWGR: Lagrangian-Constrained Personalized World Knowledge for Generative Recommendation. arXiv preprint arXiv:2605.18771.

      Siap untuk mendiskusikan bagaimana solusi AI ARSA dapat mentransformasi operasi Anda? Jelajahi berbagai solusi kami dan hubungi tim ARSA untuk konsultasi gratis.