Mengurangi Risiko Keamanan Pasien dalam AI Generatif Klinis: Memvalidasi Kerangka FMECA

      Dalam era digital saat ini, di mana rekam medis pasien terfragmentasi dan beban dokumentasi terus meningkat, Model Bahasa Besar (LLM) berbasis Artificial Intelligence (AI) muncul sebagai alat transformatif. LLM memiliki kemampuan untuk memproses data berdimensi tinggi dan menghasilkan teks naratif yang koheren, menjanjikan potensi untuk menyederhanakan alur kerja klinis dan meningkatkan dukungan keputusan medis. Dengan mensintesis berbagai titik data menjadi wawasan yang dapat ditindaklanjuti, teknologi ini dapat merevolusi cara informasi klinis dikelola dan digunakan.

      Namun, seiring dengan kemajuan pesat dalam penggunaan LLM untuk meringkas teks klinis, muncul kekhawatiran kritis terkait risiko keamanan pasien. Literatur yang ada seringkali gagal memberikan analisis kegagalan yang sistematis, dan penggunaan terminologi yang tidak konsisten, seperti konsep "halusinasi" yang kurang terdefinisi, menghambat pengembangan taksonomi kesalahan standar. Ini berarti frekuensi, tingkat keparahan, dan konsekuensi klinis dari kesalahan yang dihasilkan LLM masih belum cukup dipahami. Jika kesalahan ini menyebar melalui rekam medis, mereka dapat menciptakan bahaya keamanan pasien laten yang sulit dicegat, menyoroti kebutuhan mendesak akan kerangka kerja yang kuat untuk menilai dan mengurangi risiko tersebut.

Mengapa FMECA Menjadi Krusial dalam Konteks AI Klinis?

      Untuk mengatasi kesenjangan ini, sebuah studi inovatif telah mengembangkan dan memvalidasi kerangka kerja Failure Mode, Effects, and Criticality Analysis (FMECA) yang disesuaikan untuk penilaian risiko keamanan pasien pada ringkasan klinis yang dihasilkan oleh LLM. FMECA, yang secara tradisional digunakan dalam industri seperti farmasi dan perangkat medis, merupakan standar emas untuk manajemen risiko proaktif. Kerangka kerja ini memungkinkan identifikasi kegagalan potensial secara sistematis sebelum berdampak pada pasien. Namun, tantangannya adalah menerapkan FMECA pada perilaku AI generatif yang inheren stokastik dan tidak dapat diprediksi.

      Studi yang dipimpin oleh tim interdisipliner dari Rumah Sakit Universitas Jenewa (HUG) ini bertujuan untuk menjembatani kesenjangan tersebut. Mereka menyadari bahwa sementara FMECA telah diterapkan pada perangkat keras deterministik atau perangkat lunak statis, belum ada pekerjaan sebelumnya yang memanfaatkannya untuk mewakili profil risiko probabilistik dari AI generatif dalam pengaturan klinis. Oleh karena itu, kebutuhan akan kerangka FMECA adaptif yang menawarkan pendekatan terstruktur dan berwawasan ke depan, yang mampu mengatasi mode kegagalan non-linear dan tidak terduga dari aplikasi LLM klinis, sangatlah jelas. Artikel ini didasarkan pada temuan dari makalah akademis berjudul "Evaluating Patient Safety Risks in Generative AI: Development and Validation of a FMECA Framework for Generated Clinical Content" (Bednarczyk et al., 2024), yang dapat diakses di arXiv.org.

Pengembangan Kerangka Kerja FMECA yang Adaptif

      Studi ini memperkenalkan tiga kontribusi utama. Pertama, mereka merancang kerangka FMECA awal yang disesuaikan dengan ringkasan klinis berbasis LLM melalui proses konsensus. Ini termasuk definisi taksonomi mode kegagalan dan skala penilaian terkait untuk kejadian, tingkat keparahan, dan deteksi. FMECA tradisional dipilih karena pendekatannya yang terstruktur dan proaktif dalam identifikasi kegagalan dan prioritas risiko, dengan mengandalkan klasifikasi tingkat keparahan dan penilaian ahli. Pendekatan ini lebih cocok karena tingkat kegagalan, rasio mode kegagalan, dan probabilitas efek bersyarat untuk sistem berbasis LLM masih belum tersedia.

      Kedua, kerangka kerja ini dioperasionalkan dan dievaluasi pada ringkasan yang dihasilkan LLM yang berasal dari dokumen rawat jalan dunia nyata. Ini memungkinkan penilaian empiris tentang penerapannya dalam praktik. Sebuah panel ahli interdisipliner yang terdiri dari delapan orang, termasuk pakar FMECA dan analisis risiko, informatika klinis, LLM, jaminan kualitas, dan praktik klinis, dilibatkan dalam proses ini. Mode kegagalan diidentifikasi melalui tinjauan literatur dan sesi brainstorming.

Penerapan dan Validasi di Lingkungan Klinis Nyata

      Kerangka kerja FMECA yang dikembangkan ini kemudian diterapkan pada 36 ringkasan pasien dari empat pasien, yang dihasilkan oleh LLM terbuka (GPT-OSS 120B) menggunakan data klinis aktual dari Rumah Sakit Universitas Jenewa. Para peninjau secara independen membuat anotasi ringkasan dalam dua putaran. Keandalan antar-penilai dinilai pada tingkat mode kegagalan, tingkat keparahan, dan skor deteksi. Kegunaan dan validitas konten dievaluasi menggunakan System Usability Scale (SUS) yang diadaptasi dan umpan balik terstruktur.

      Hasil studi ini sangat menjanjikan. Kerangka kerja akhir terdiri dari 14 mode kegagalan yang diatur dalam berbagai kategori. Kesepakatan antar-penilai meningkat antara putaran, mencapai kesepakatan moderat hingga substansial untuk identifikasi mode kegagalan dan kesepakatan yang baik untuk penilaian tingkat keparahan dan deteksi. Kegunaan dinilai baik (rata-rata SUS: 79.2/100), dengan kepercayaan diri evaluator yang tinggi. Ini menunjukkan bahwa kerangka kerja tersebut tidak hanya akurat tetapi juga praktis untuk digunakan oleh profesional medis.

Implikasi Bisnis dan Kepatuhan Regulasi

      Penerapan kerangka kerja FMECA ini memiliki implikasi bisnis yang signifikan. Dalam lanskap regulasi yang terus berkembang, LLM yang digunakan untuk tujuan medis (seperti meringkas data klinis untuk memengaruhi diagnosis atau jalur pengobatan dokter) tidak lagi dianggap sebagai alat serbaguna. Model-model ini masuk ke dalam kategori Perangkat Lunak Medis (MDSW) di Eropa atau Software as a Medical Device (SaMD) di AS, yang memerlukan penilaian kesesuaian formal dan kepatuhan terhadap standar seperti ISO 14971.

      Pengembangan kerangka FMECA yang divalidasi ini adalah langkah krusial untuk memastikan bahwa organisasi dapat secara proaktif mengelola risiko yang terkait dengan AI generatif dalam layanan kesehatan, meminimalkan potensi bahaya bagi pasien, dan memastikan kepatuhan terhadap peraturan. Dengan memiliki metode terstruktur untuk mengidentifikasi dan menilai risiko, penyedia layanan kesehatan dan pengembang teknologi dapat merancang solusi AI yang lebih aman, meningkatkan kualitas perawatan, dan membangun kepercayaan. Seperti halnya Self-Check Health Kiosk milik ARSA yang menerapkan AI dan IoT untuk skrining kesehatan mandiri yang cepat dan akurat, atau AI Video Analytics yang digunakan di berbagai industri untuk pemantauan keamanan dan operasional, prinsip presisi dan keandalan adalah inti dari setiap solusi berbasis AI di lingkungan yang sensitif.

Kesimpulan dan Arah Masa Depan

      Studi ini menyajikan kerangka kerja berbasis FMECA pertama untuk penilaian risiko keamanan pasien secara sistematis terhadap ringkasan klinis yang dihasilkan LLM. Kerangka kerja ini menyediakan metode yang terstruktur dan dapat direproduksi untuk mengidentifikasi risiko yang relevan secara klinis yang disebabkan oleh ringkasan ini. Dengan demikian, ini menawarkan model yang terukur dan sistematis untuk integrasi LLM yang aman ke dalam ekosistem layanan kesehatan.

      Ini bukan hanya tentang memenuhi persyaratan kepatuhan, tetapi juga tentang mendorong inovasi keselamatan. Dengan menerapkan pendekatan proaktif seperti FMECA, organisasi dapat beralih dari reaktif terhadap kegagalan menjadi proaktif dalam pencegahannya. Kemampuan untuk secara sistematis mengevaluasi dan mengurangi risiko sejak awal adalah kunci untuk membuka potensi penuh AI dalam layanan kesehatan, sembari memastikan keselamatan dan kesejahteraan pasien. ARSA Technology, sebagai penyedia solusi AI & IoT yang telah berpengalaman sejak 2018, memahami pentingnya validasi ketat dan penerapan yang aman untuk teknologi di sektor-sektor kritis.

      Apakah Anda ingin menjelajahi bagaimana solusi AI dapat diterapkan secara aman dan efektif dalam operasi Anda? Tim ARSA siap membantu Anda merancang dan menerapkan teknologi cerdas yang mengoptimalkan operasi dan mengurangi risiko. Jelajahi solusi AI kami dan jangan ragu untuk menghubungi tim ARSA untuk konsultasi.