DEMET İLCE / MUHABİR
Long Island Üniversitesi'ndeki araştırmacılar, yapay zeka sohbet robotunun ücretsiz sürümüne ilaçla ilgili 39 sorgu yöneltti; bunların tümü, üniversitenin Eczacılık Fakültesi ilaç bilgi hizmetinden gelen gerçek sorulardı. Yazılımın yanıtları daha sonra eğitimli eczacılar tarafından yazılan ve incelenen yanıtlarla karşılaştırıldı.
Çalışma, ChatGPT'nin soruların yalnızca yaklaşık 10'una veya toplamın yaklaşık dörtte birine doğru yanıtlar verdiğini buldu. Diğer 29 soru için cevaplar eksik veya hatalıydı ya da soruları ele almıyordu.
Bulgular Salı günü Anaheim, Kaliforniya'daki Amerikan Sağlık Sistemleri Eczacıları Derneği'nin yıllık toplantısında sunuldu.
OpenAI'nin deneysel yapay zeka sohbet robotu ChatGPT, Kasım 2022'de piyasaya sürüldü ve iki ay içinde yaklaşık 100 milyon kişinin kaydolmasıyla tarihin en hızlı büyüyen tüketici uygulaması oldu.
Long Island'da eczacılık uygulamaları alanında doçent olan Sara Grossman, bu popülerlik göz önüne alındığında, araştırmacıların ilgisinin, öğrencilerinin, diğer eczacıların ve sıradan tüketicilerin sağlık ve ilaç planlarıyla ilgili soruları araştırmak için ChatGPT gibi kaynaklara yönelecekleri endişesinden kaynaklandığını söyledi.
Bu sorguların sıklıkla yanlış, hatta tehlikeli yanıtlara yol açtığını buldular.
Örneğin araştırmacılar bir soruda ChatGPT'ye, Kovid-19 antiviral ilacı Paxlovid ile tansiyon düşürücü ilaç verapamil'in vücutta birbirleriyle reaksiyona girip girmeyeceğini sordu. ChatGPT, iki ilacı birlikte almanın hiçbir olumsuz etki yaratmayacağını söyledi.
Gerçekte, her iki ilacı da alan kişilerin kan basıncında büyük bir düşüş olabilir, bu da baş dönmesine ve bayılmaya neden olabilir. Grossman, her ikisini de alan hastalar için, klinisyenlerin genellikle verapamil dozunu düşürmek veya kişiyi oturma pozisyonundan yavaşça kalkması konusunda uyarmak da dahil olmak üzere hastaya özel planlar oluşturduğunu söyledi.
ChatGPT'nin rehberliğinin insanları tehlikeye atacağını ekledi.
Grossman, şunları söyledi.
"Bu soruyu yanıtlamak için ChatGPT'yi kullanmak, hastayı istenmeyen ve önlenebilir bir ilaç etkileşimi riskiyle karşı karşıya bırakacaktır."
Araştırmacılar, chatbot'tan her yanıtını destekleyecek bilimsel referanslar istediğinde, yazılımın onlara sordukları soruların yalnızca sekizini sağlayabildiğini gördüler. Ve her durumda ChatGPT'nin referanslar ürettiğini gördüklerinde şaşırdılar.
İlk bakışta alıntılar meşru görünüyordu: Genellikle uygun şekilde biçimlendirilmiş, URL'ler sağlanmış ve meşru bilimsel dergiler altında listelenmişti. Ancak ekip, başvurulan makaleleri bulmaya çalıştığında ChatGPT'nin onlara kurgusal alıntılar verdiğini fark etti.
Bir vakada araştırmacılar, ChatGPT'ye kas spazmı ilacı olan baklofenin omurgaya enjeksiyon dozlarının karşılık gelen oral dozlara nasıl dönüştürüleceğini sordu. Grossman'ın ekibi bilimsel olarak belirlenmiş bir doz dönüşüm oranı bulamadı, ancak ChatGPT'nin tek bir dönüşüm oranı ortaya koyduğunu ve iki tıbbi kuruluşun rehberliğinden alıntı yaptığını söyledi.
Ancak her iki kuruluş da doz dönüşüm oranı konusunda resmi bir kılavuz sunmuyor. Aslında ChatGPT'nin önerdiği dönüşüm faktörü hiçbir zaman bilimsel olarak belirlenmemişti. Yazılım aynı zamanda doz dönüşümü için örnek bir hesaplama da sağladı ancak kritik bir hatayla: Oral dozu hesaplarken birimleri karıştırdı ve doz önerisini 1000 kat geçersiz kıldı.
Grossman, bu rehberliğin bir sağlık uzmanı tarafından takip edilmesi durumunda hastaya gerekenden 1000 kat daha düşük bir oral baklofen dozu verebileceklerini, bunun da halüsinasyonlar ve nöbetler gibi yoksunluk semptomlarına neden olabileceğini söyledi.
"Bu yanıtta çok sayıda hata ve 'sorun' vardı ve sonuçta hasta bakımı üzerinde derin bir etkisi olabilir" diye ekledi.
Long Island Üniversitesi'nin araştırması, ChatGPT'nin kurgusal alıntılarıyla ilgili endişeleri dile getiren ilk araştırma değil. Önceki araştırmalar ayrıca, tıbbi sorular sorulduğunda ChatGPT'nin, bilimsel dergilerdeki önceki yayınlardaki gerçek yazarların adlarını bile listeleyerek yanıltıcı bilimsel referans sahtekarlıkları oluşturabildiğini belgelemiştir.
Çalışmadan önce yazılımla çok az çalışmış olan Grossman, ChatGPT'nin eğitimli profesyonellerin derlemesi saatler sürecek yanıtları neredeyse anında bilgileri ne kadar güvenle sentezleyebildiğine şaşırdı.
"Yanıtlar çok profesyonel ve sofistike bir şekilde ifade edildi ve aracın doğruluğuna dair güven duygusuna katkıda bulunabilecek gibi görünüyordu. Bir kullanıcı, bir tüketici veya bunu fark edemeyen başkaları, otorite görünümünden etkilenebilir." dedi.
ChatGPT'yi geliştiren kuruluş olan OpenAI'nin sözcüsü, kullanıcılara profesyonel tıbbi tavsiye veya tedavinin yerine yanıtlara güvenmemelerini tavsiye ettiğini söyledi.
Sözcü, ChatGPT'nin "OpenAI modellerinin tıbbi bilgi sağlamak için ince ayar yapılmadığını" belirten kullanım politikalarına dikkat çekti. Politika ayrıca modellerin asla "ciddi tıbbi durumlar için teşhis veya tedavi hizmetleri" sağlamak amacıyla kullanılmaması gerektiğini de belirtiyor.
Grossman, kaç kişinin ilaçla ilgili soruları yanıtlamak için ChatGPT'yi kullandığından emin olmasa da, chatbot'u Google gibi arama motorlarında tıbbi tavsiye arayacakları gibi kullanabileceklerine dair endişelerini dile getirdi.
Grossman, "İnsanlar bu konu parmaklarının ucundayken her zaman anlık tepkiler ararlar. Bunun 'Dr.' kullanmanın başka bir yaklaşımı olduğunu düşünüyorum. Google ve diğer görünüşte kolay bilgi edinme yöntemleri.” dedi.
Çevrimiçi tıbbi bilgiler için tüketicilerin Ulusal Sağlık Enstitüleri'nin MedlinePlus sayfası gibi saygın bilgiler sağlayan devlet web sitelerini kullanmalarını önerdi.
Grossman yine de çevrimiçi yanıtların bir sağlık uzmanının tavsiyelerinin yerini alabileceğine inanmıyor.
"[Web siteleri] belki bir başlangıç noktasıdır, ancak kendileri için doğrudan geçerli olan ilaçlar hakkında bilgi ararken sağlayıcılarını resimden çıkarabilirler" dedi. “Ancak kişisel durumları nedeniyle hastaların kendileri için geçerli olmayabilir ve her hasta farklıdır. Dolayısıyla buradaki otoritenin tablodan çıkarılmaması gerekiyor: sağlık çalışanı, reçeteyi yazan kişi, hastanın doktorları.” diye ekledi.