DeepER-Med: Merevolusi Penelitian Medis Berbasis Bukti dengan AI Agen

      Kecerdasan Buatan (AI) telah membuka jalan baru dalam berbagai bidang, termasuk riset dan layanan kesehatan. Namun, adopsi AI dalam penelitian biomedis dan praktik klinis sangat bergantung pada kepercayaan dan transparansi. Sistem penelitian berbasis AI mendalam yang bertujuan untuk mempercepat penemuan ilmiah berbasis bukti sering kali kesulitan dalam menyediakan kriteria penilaian bukti yang jelas dan dapat diperiksa. Hal ini menimbulkan risiko kesalahan yang berlipat ganda dan menyulitkan para peneliti serta klinisi untuk menilai keandalan hasilnya.

      Selain itu, pendekatan benchmarking yang ada saat ini jarang mengevaluasi kinerja AI dalam menjawab pertanyaan medis yang kompleks dan realistis. Untuk mengatasi tantangan ini, sebuah tim peneliti memperkenalkan DeepER-Med, sebuah kerangka kerja penelitian berbasis bukti mendalam untuk kedokteran yang didukung oleh sistem AI agen. Inovasi ini menyajikan pendekatan yang lebih terstruktur dan transparan, membuka potensi besar untuk meningkatkan kualitas penelitian medis.

Tantangan dalam Penelitian Medis Berbasis AI

      Sistem Tanya Jawab (QA) tradisional mengambil informasi sekali dan memberikan jawaban tunggal. Namun, "penelitian mendalam" adalah kategori kemampuan AI agen yang lebih canggih, dirancang untuk melakukan pengambilan informasi multi-langkah di berbagai sumber daring dan database, menganalisis temuan, dan menghasilkan laporan berbasis kutipan dengan penalaran yang transparan. Kemajuan terbaru dalam AI agen semakin mendukung penelitian mendalam dengan memungkinkan sistem untuk melakukan tindakan yang relevan secara kontekstual dalam menanggapi pertanyaan penelitian yang kompleks. Sistem ini semakin banyak diterapkan dalam penelitian kesehatan untuk meninjau literatur, menganalisis data, dan menyintesis pengetahuan.

      Namun, kinerja sistem yang ada saat ini, termasuk platform terkemuka seperti OpenAI Deep Research, Google AI Mode (Deep Search), dan Open Evidence, masih kurang teruji secara komprehensif dalam eksplorasi literatur dan sintesis bukti yang selaras dengan pakar di dunia nyata. Hal ini membatasi kepercayaan dalam penggunaan praktisnya di bidang kedokteran. Kebanyakan sistem penelitian mendalam dievaluasi menggunakan pertanyaan yang disederhanakan dari database terbuka, yang tidak mencerminkan kompleksitas skenario penelitian medis di garis depan. Evaluasi semacam itu lebih menekankan akurasi jawaban pilihan ganda dan memberikan sedikit wawasan tentang apakah kinerja sistem mencerminkan interpretasi bukti yang asli atau hanya berasal dari kemampuan dasar model bahasa besar (LLM) yang mendasarinya.

      Secara kritis, evaluasi ini jarang menangkap tuntutan penelitian medis di dunia nyata, di mana kepercayaan, interpretasi, dan keandalan bukti sangat penting. Lebih jauh lagi, sistem yang ada sering menggunakan pendekatan agent-loop yang berisiko memperkuat ketidakpastian dan kesalahan yang berlipat ganda karena kesalahan interpretasi awal atau pengambilan yang tidak lengkap dapat terkunci dalam pencarian dan ringkasan berikutnya. Proses perantara pemilihan, agregasi, dan interpretasi bukti juga sering tidak jelas bagi para peneliti, mempersulit untuk menentukan apakah kesimpulan akhir mencerminkan sintesis bukti yang kuat atau narasi yang dangkal.

Memperkenalkan DeepER-Med: Kerangka Kerja Penelitian Berbasis Bukti

      Untuk mengatasi keterbatasan tersebut, DeepER-Med hadir sebagai paradigma penelitian berbasis bukti mendalam yang berfokus pada Generasi Berbasis Bukti (EBG) untuk penemuan ilmiah medis. Kerangka kerja AI agen yang digerakkan oleh EBG ini beroperasi melalui tiga modul terintegrasi:

• Perencanaan Penelitian (Research Planning): Mengidentifikasi tujuan penelitian secara jelas.
• Kolaborasi Agen (Agentic Collaboration): Melakukan pengambilan, penilaian, dan interpretasi bukti secara terstruktur.
• Sintesis Bukti (Evidence Synthesis): Menggabungkan semua bukti yang relevan menjadi kesimpulan yang koheren.

      Pendekatan ini membingkai penelitian medis sebagai proses "distilasi bukti" yang dimulai dengan pengambilan bukti secara menyeluruh untuk semua tujuan penelitian yang teridentifikasi, diikuti dengan penilaian dan penyempurnaan bukti berdasarkan kriteria tertentu, sehingga mengurangi risiko kesalahan berantai. Masukan dan batasan pengguna secara eksplisit memandu sintesis bukti dan generasi jawaban, memastikan bahwa kesimpulan yang dihasilkan sangat selaras dengan ruang lingkup dan prioritas pertanyaan penelitian.

      Satu fitur penting DeepER-Med adalah kemampuannya untuk mengambil referensi langsung dari database sumber (misalnya ClinicalTrials.gov atau PubMed) daripada menghasilkannya melalui LLM. Ini menjamin bahwa referensi pendukung benar-benar berdasarkan fakta dan dapat diverifikasi, secara efektif mengurangi risiko "halusinasi" kutipan yang merupakan batasan signifikan pada sistem lain dan menimbulkan risiko serius bagi ekosistem ilmiah (Wang et al., 2024).

      Sebagai penyedia solusi AI, ARSA Technology memahami pentingnya integritas data dan keandalan sistem dalam aplikasi kritis. Meskipun DeepER-Med adalah kerangka kerja penelitian, prinsip-prinsip yang sama berlaku untuk solusi seperti AI Video Analytics, di mana akurasi dalam deteksi dan pelaporan sangat penting untuk keamanan dan efisiensi operasional. Untuk kebutuhan sistem yang lebih kompleks, ARSA juga menawarkan Custom AI Solution, yang dapat disesuaikan untuk mengatasi tantangan unik dalam berbagai industri.

DeepER-MedQA: Standar Baru untuk Evaluasi AI Medis

      Untuk memungkinkan evaluasi DeepER-Med dan sistem sejenis lainnya, para peneliti juga memperkenalkan DeepER-MedQA, sebuah benchmark yang terdiri dari 100 pertanyaan tingkat ahli. Pertanyaan-pertanyaan ini dirancang untuk menangkap kompleksitas penelitian medis di dunia nyata. DeepER-MedQA dikurasi oleh panel multidisiplin yang terdiri dari 11 pakar biomedis, termasuk peneliti senior dan peneliti karir awal, yang berkontribusi pada pertanyaan penelitian dan berpartisipasi dalam evaluasi keluaran yang dihasilkan AI.

      Penilaian ahli tidak hanya mengukur akurasi jawaban, tetapi juga komprehensivitas bukti serta kualitas dan koherensi interpretasi bukti, memungkinkan evaluasi multidimensi terhadap kinerja sistem. Di antara kriteria-kriteria ini, DeepER-Med secara konsisten menunjukkan kinerja yang lebih kuat dibandingkan tiga sistem cutting-edge lain yang sering digunakan: OpenAI Deep Research, OpenEvidence, dan Google AI Mode (Deep Search). Sistem-sistem ini dipilih berdasarkan kinerja terdepan mereka yang jauh melampaui pendekatan berbasis LLM-saja atau RAG (Retrieval-Augmented Generation).

      Sebagai pelengkap evaluasi ahli yang intensif sumber daya, evaluasi berskala besar DeepER-Med juga dilakukan pada tahapan berbeda dari penelitian mendalam gaya EBG dalam kedokteran menggunakan lima dataset biomedis publik yang mencakup QA kontekstual, QA terbuka, QA atribusi, dan tugas verifikasi hipotesis. Kinerja sistem diukur menggunakan kesamaan semantik dan entropi informasi, yang memungkinkan penilaian bersama terhadap kebenaran prediksi serta keragaman dan keselarasan bukti yang diambil. Analisis ini menunjukkan bahwa DeepER-Med mencapai akurasi spesifik tugas yang tinggi sambil mempertahankan relevansi bukti yang kuat dan ekspansi terkontrol dari lanskap bukti (Wang et al., 2024).

Dampak Nyata DeepER-Med dalam Praktik Klinis

      Untuk menilai utilitas praktisnya dalam konteks klinis, DeepER-Med dievaluasi pada delapan kasus onkologi di dunia nyata yang membutuhkan integrasi informasi yang kompleks. Penilaian oleh klinisi manusia menunjukkan bahwa kesimpulan DeepER-Med selaras dengan rekomendasi klinis dalam tujuh dari delapan kasus tersebut. Hasil ini secara signifikan menyoroti potensi DeepER-Med untuk mendukung penelitian medis dan pengambilan keputusan. Ini adalah langkah maju yang penting dalam menciptakan alat AI yang tidak hanya cerdas tetapi juga dapat dipercaya dan relevan untuk aplikasi medis.

      Transformasi digital dalam sektor kesehatan sangat membutuhkan solusi yang andal dan transparan. Penggunaan AI, seperti yang dikembangkan ARSA Technology yang berpengalaman sejak 2018 dalam menyediakan solusi AI & IoT, sangat penting untuk meningkatkan efisiensi dan akurasi. Misalnya, Self-Check Health Kiosk dari ARSA adalah contoh nyata bagaimana teknologi AI dan IoT dapat diintegrasikan untuk skrining kesehatan mandiri yang cepat dan akurat, mengurangi beban kerja staf medis dan meningkatkan alur pasien. Ini adalah sejalan dengan visi DeepER-Med untuk memberikan dampak nyata dalam perawatan kesehatan.

      Melalui pendekatan yang inovatif dan berbasis bukti ini, DeepER-Med tidak hanya memajukan kemampuan penelitian medis yang didukung AI, tetapi juga menetapkan standar baru untuk keandalan dan kepercayaan dalam aplikasi AI di bidang kesehatan. Dengan fokus pada transparansi, penilaian bukti yang ketat, dan validasi di dunia nyata, DeepER-Med membuka jalan bagi era baru penemuan ilmiah yang lebih efisien dan dapat dipertanggungjawabkan dalam kedokteran.

      Source: Wang, Z., Wei, C. H., Chan, J., Leaman, R., Day, C. P., Wu, C., ... & Lu, Z. (2024). DeepER-Med: Advancing Deep Evidence-Based Research in Medicine Through Agentic AI. arXiv preprint arXiv:2604.15456. https://arxiv.org/abs/2604.15456

      Jika Anda mencari solusi AI dan IoT yang praktis, terbukti, dan menguntungkan untuk tantangan operasional Anda, jelajahi berbagai penawaran ARSA Technology dan hubungi tim ARSA untuk konsultasi gratis.