Baru-baru ini, ada temuan fakta bahwa platform AI ChatGPT Health kerap gagal mengidentifikasi situasi gawat darurat kesehatan seorang pengguna. Platform ini juga gagal mendeteksi pikiran untuk bunuh diri. Para ahli khawatir hal ini dapat "berpotensi menyebabkan bahaya dan kematian yang tidak perlu."
Evaluasi keamanan independen pertama dari ChatGPT Health, yang diterbitkan dalam edisi Februari jurnal Nature Medicine, menunjukkan, layanan tersebut kurang tepat dalam menangani lebih dari setengah kasus yang diajukan pengguna.
Penulis utama studi ini, Dr. Ashwin Ramaswamy, mengatakan, "kami ingin menjawab pertanyaan keselamatan yang paling mendasar; jika seseorang mengalami keadaan darurat medis yang sebenarnya dan bertanya kepada ChatGPT Health apa yang harus dilakukan, apakah aplikasi tersebut akan menyarankan mereka untuk pergi ke unit gawat darurat?" ujarnya dilansir The Guardian.
Ramaswamy dan rekan-rekannya membuat 60 skenario pasien realistis yang mencakup kondisi kesehatan mulai dari penyakit ringan hingga keadaan darurat. Tiga dokter independen meninjau setiap skenario dan menyepakati tingkat perawatan yang dibutuhkan, berdasarkan pedoman klinis.
Tim kemudian meminta saran dari ChatGPT Health untuk setiap kasus dalam berbagai kondisi, termasuk mengubah jenis kelamin pasien, menambahkan hasil tes, atau menambahkan komentar dari anggota keluarga, menghasilkan hampir 1.000 tanggapan.
Mereka kemudian membandingkan rekomendasi platform tersebut dengan penilaian dokter. Kinerjanya diakui cukup baik mendeteksi situasi darurat seperti stroke atau reaksi alergi parah, namun sistem ini mengalami kesulitan dalam situasi lain.
Dalam satu skenario asma, sistem ini menyarankan untuk menunggu daripada mencari perawatan darurat meskipun platform tersebut mengidentifikasi tanda-tanda peringatan dini kegagalan pernapasan.
Dalam 51,6% kasus di mana seseorang perlu segera pergi ke rumah sakit, platform menyarankan untuk tetap di rumah atau membuat janji temu medis rutin, sebuah hasil yang digambarkan oleh Alex Ruani, seorang peneliti doktoral dalam mitigasi misinformasi kesehatan di University College London, sebagai hal yang "sangat berbahaya".
“Jika Anda mengalami gagal napas atau ketoasidosis diabetik, Anda memiliki peluang 50/50 bahwa AI ini akan memberi tahu Anda bahwa itu bukan masalah besar,” katanya.
“Yang paling mengkhawatirkan saya adalah rasa aman palsu yang diciptakan oleh sistem ini. Jika seseorang disuruh menunggu 48 jam selama serangan asma atau krisis diabetes, jaminan itu bisa merenggut nyawa mereka.”
Dalam salah satu simulasi, delapan dari sepuluh kali (84%), platform tersebut mengirim seorang wanita yang sesak napas ke janji temu di masa depan yang tidak akan mungkin dia hadiri, kata Ruani. Sisanya, 64,8% individu diberi tahu untuk segera mencari perawatan medis darurat, katanya.
“Itulah mengapa banyak dari kita yang mempelajari sistem ini. (Tim) berfokus pada pengembangan standar keselamatan yang jelas dan mekanisme audit independen secara mendesak untuk mengurangi kerugian yang dapat dicegah,” kata Ruani.
Seorang juru bicara OpenAI mengatakan bahwa meskipun perusahaan menyambut baik penelitian independen yang mengevaluasi sistem AI di bidang perawatan kesehatan, studi tersebut tidak mencerminkan bagaimana orang biasanya menggunakan ChatGPT Health dalam kehidupan nyata. Model tersebut juga terus diperbarui dan disempurnakan, kata juru bicara itu.
Profesor Paul Henman, seorang sosiolog digital dan pakar kebijakan dari Universitas Queensland, mengatakan: “Ini adalah makalah yang sangat penting. “Jika ChatGPT Health digunakan oleh orang-orang di rumah, hal itu dapat menyebabkan peningkatan jumlah kunjungan medis yang tidak perlu untuk kondisi ringan dan kegagalan orang untuk mendapatkan perawatan medis darurat saat dibutuhkan, yang berpotensi menyebabkan bahaya dan kematian yang tidak perlu.”
OpenAI meluncurkan fitur "Health" dari ChatGPT kepada khalayak (namun masih terbatas) sejak Januari 2026 lalu. Fitur ini dipromosikan sebagai cara bagi pengguna untuk "menghubungkan catatan medis dan aplikasi kesehatan secara aman" untuk menghasilkan saran dan respons kesehatan.
