Verifikasi desain hardware adalah tahap krusial namun seringkali memakan waktu dan rentan kesalahan dalam proses pengembangan sirkuit terintegrasi. Salah satu tugas paling menantang adalah menulis SystemVerilog Assertions (SVA) dari deskripsi properti dalam bahasa natural (Natural Language to SVA, atau NL2SVA). SVA berfungsi sebagai “penguji” otomatis yang memastikan perilaku desain sesuai dengan spesifikasi yang diinginkan. Namun, menerjemahkan spesifikasi teknis yang kompleks dari bahasa manusia ke dalam kode SVA yang tepat memerlukan keahlian mendalam dan ketelitian tinggi.
Keterbatasan metode manual dan aturan berbasis (rule-based) dalam menangani keragaman spesifikasi telah mendorong pencarian solusi otomatis. Kemajuan pesat dalam bidang Artificial Intelligence (AI), khususnya Large Language Model (LLM), menawarkan potensi besar untuk mengotomatisasi tugas NL2SVA ini. LLM memiliki kemampuan luar biasa dalam memahami dan menghasilkan teks, termasuk kode pemrograman. Namun, domain verifikasi hardware sangat spesifik dan teknis, membuat LLM generik kesulitan memahami sintaksis dan semantik SVA yang rumit, serta logika temporal yang terkandung dalam deskripsi properti.
Tantangan Otomatisasi NL2SVA dengan LLM
Meskipun LLM seperti GPT-4o menunjukkan kemampuan menerjemahkan teks, akurasi dalam domain yang sangat spesifik seperti verifikasi hardware masih menjadi kendala. Deskripsi properti hardware seringkali melibatkan logika temporal (urutan kejadian seiring waktu) dan referensi ke sinyal-sinyal spesifik dalam desain. LLM generik mungkin tidak memiliki pengetahuan mendalam tentang operator SVA, cara menggunakannya dengan benar, atau bagaimana menghubungkan properti temporal dengan sinyal desain.
Kesulitan ini menghasilkan SVA yang secara sintaksis mungkin benar, tetapi fungsionalitasnya tidak sesuai dengan deskripsi properti aslinya. Hal ini dapat menyebabkan kesalahan verifikasi yang fatal dan memperpanjang siklus pengembangan. Oleh karena itu, diperlukan pendekatan yang lebih cerdas untuk “mengajarkan” LLM seluk-beluk verifikasi hardware dan bahasa SVA.
Pendekatan Hibrida: Mengintegrasikan RAG dan Finetuning
Untuk mengatasi keterbatasan LLM generik dalam tugas NL2SVA, sebuah penelitian terbaru mengusulkan pendekatan hibrida yang menggabungkan Retrieval-Augmented Generation (RAG) dan finetuning model. RAG adalah teknik yang memungkinkan LLM mengakses dan memanfaatkan informasi eksternal yang relevan saat menghasilkan respons. Dalam konteks NL2SVA, ini berarti LLM dapat “mencari” contoh SVA atau penjelasan operator SVA yang relevan dengan deskripsi properti yang diberikan.
Sementara itu, finetuning adalah proses melatih LLM yang sudah ada (pre-trained) pada dataset yang lebih kecil dan spesifik untuk tugas tertentu. Dengan melatih LLM pada pasangan deskripsi properti dan SVA yang benar, model dapat belajar pola dan struktur yang khas dari domain verifikasi hardware. Kombinasi RAG dan finetuning ini bertujuan untuk memberikan LLM pengetahuan domain yang spesifik (melalui finetuning) sekaligus kemampuan mengakses konteks tambahan saat dibutuhkan (melalui RAG).
Inovasi dalam Framework Hibrida
Penelitian ini memperkenalkan beberapa inovasi kunci dalam framework hibrida RAG-finetuning untuk NL2SVA. Pertama, mereka mengembangkan teknik dynamic splitting untuk membangun database pengetahuan yang digunakan oleh RAG. Teknik ini memastikan bahwa konteks semantik di sekitar operator SVA atau bagian penting dari spesifikasi tetap terjaga saat data dipecah menjadi unit-unit yang dapat diambil.
Kedua, mereka menciptakan metode HybridRetrieval yang menggabungkan pencarian semantik global dengan pencarian berbasis kata kunci yang dipandu. Ini memungkinkan sistem untuk mengambil tidak hanya dokumen yang secara semantik mirip, tetapi juga secara eksplisit mengandung operator SVA atau istilah teknis relevan lainnya, meningkatkan relevansi informasi yang diberikan kepada LLM. Terakhir, mereka mengusulkan proses SVA operator-based rechecking yang secara otomatis memvalidasi dan mengoreksi penggunaan operator SVA dalam SVA yang dihasilkan oleh LLM, bertindak sebagai lapisan koreksi otomatis.
Dataset Pelatihan dan Evaluasi Komprehensif
Salah satu kontribusi signifikan dari penelitian ini adalah pembangunan dataset evaluasi terbesar untuk NL2SVA hingga saat ini. Dataset ini mencakup 40 desain Verilog yang berbeda dan 229 SVA yang telah diverifikasi secara formal, lengkap dengan anotasi detail. Dataset ini sangat berharga karena memungkinkan evaluasi kinerja LLM dalam NL2SVA secara lebih akurat dan komprehensif dibandingkan dataset sebelumnya.
Selain itu, mereka juga membuat dataset finetuning sintetis. Dataset ini dirancang khusus untuk mengajarkan LLM proses konstruksi SVA secara bertahap, layer demi layer, melalui penjelasan yang dipandu prompt. Pendekatan ini membantu model memahami struktur hierarkis SVA dan bagaimana menggabungkan elemen-elemen sederhana menjadi pernyataan yang kompleks. Dataset ini menjadi kunci untuk meningkatkan akurasi sintaksis dan fungsionalitas LLM ringan dalam tugas NL2SVA.
Dampak dan Hasil yang Signifikan
Hasil eksperimen menunjukkan efektivitas pendekatan hibrida ini. Framework RAG yang dikustomisasi berhasil meningkatkan jumlah SVA yang secara fungsional sesuai dengan deskripsi properti sebesar 58.42% saat diintegrasikan dengan model GPT-4o-mini. Ini menunjukkan bahwa memberikan konteks yang relevan dan terstruktur secara cerdas kepada LLM dapat secara dramatis meningkatkan kemampuannya dalam tugas domain-spesifik.
Lebih lanjut, model LLM ringan (Qwen2.5-Coder-7B-Instruct) yang dilatih (finetuned) menggunakan dataset sintetis dan diintegrasikan dengan metode HybridRetrieval mencapai peningkatan kinerja sebesar 59.05% dibandingkan model Qwen dasar. Ini membuktikan bahwa finetuning dengan dataset yang dirancang secara pedagogis dapat secara signifikan meningkatkan kemampuan model yang lebih kecil untuk tugas NL2SVA, membuka peluang otomatisasi verifikasi hardware menggunakan sumber daya komputasi yang lebih efisien.
Bagaimana ARSA Technology Dapat Membantu?
Meskipun NL2SVA adalah bidang yang sangat spesifik dalam desain hardware, penelitian ini menyoroti potensi besar AI, khususnya LLM, dalam mengotomatisasi tugas-tugas teknis yang kompleks dan memerlukan pemahaman domain mendalam. Di ARSA Technology, kami memiliki rekam jejak berpengalaman sejak 2018 dalam menerapkan AI dan IoT untuk memecahkan masalah nyata di berbagai industri di Indonesia.
Keahlian kami dalam analitik video AI, sistem parkir pintar, teknologi kesehatan mandiri, dan otomasi industri menunjukkan kemampuan kami untuk memahami tantangan operasional spesifik dan mengembangkan solusi AI yang terukur dan berdampak. Kami memiliki tim R&D internal yang berdedikasi untuk inovasi terapan, memungkinkan kami untuk mengeksplorasi dan mengadaptasi teknologi AI mutakhir, seperti yang dibahas dalam penelitian ini, untuk kebutuhan unik klien kami, bahkan di domain yang sangat teknis.
Kesimpulan
Otomatisasi tugas NL2SVA menggunakan Large Language Model yang diperkuat dengan framework RAG yang dikustomisasi dan finetuning berbasis dataset sintetis menunjukkan langkah maju yang signifikan dalam verifikasi desain hardware. Pendekatan hibrida ini berhasil menjembatani kesenjangan antara kemampuan generik LLM dan persyaratan spesifik domain verifikasi, menghasilkan peningkatan akurasi yang substansial. Inovasi dalam RAG dan finetuning, didukung oleh dataset evaluasi yang komprehensif, membuka jalan bagi proses verifikasi hardware yang lebih cepat, lebih efisien, dan kurang rentan terhadap kesalahan manusia. Ini adalah contoh bagaimana AI dapat mentransformasi bahkan bidang teknik yang paling rumit sekalipun.
Konsultasikan kebutuhan AI Anda dengan tim ARSA Technology.
