How Well Do AI Models Inform Otitis Media Patients? A Comparative Study of Large Language Models
[ X ]
Tarih
2025
Yazarlar
Dergi Başlığı
Dergi ISSN
Cilt Başlığı
Yayıncı
Alanya Alaaddin Keykubat Üniversitesi
Erişim Hakkı
info:eu-repo/semantics/openAccess
Özet
Aim: The aim of this study was to evaluate the accuracy, comprehensiveness, and readability of information provided by large language models (LLMs) supported by natural language processing (NLP) technologies regarding otitis media (OM) based on responses to questions asked by patients and their relatives. Method: In this descriptive, cross-sectional evaluation study, 60 frequently asked questions by patients and their relatives regarding OM were classified under four subheadings (general information, diagnosis, follow-up and therapy, and surgery and complications) and answered by three different LLMs (Google Gemini 2.5 Flash, Microsoft Copilot, ChatGPT-4o). The answers were evaluated for accuracy by two experienced otorhinolaryngology specialists using a 5-point Likert scale. The readability of the responses was analyzed using the Coleman-Liau Index (CLI) and Simple Measure of Gobbledygook (SMOG) index to determine readability levels corresponding to academic education levels and to compare the models. Results: The artificial intelligence (AI) models received similarly high scores for accuracy in their responses to patient questions related to OM. In the readability analysis, Gemini responses were found to be statistically significantly more readable than those of the other models, according to the SMOG and CLI indices. The ChatGPT responses required a higher level of education; in particular, the readability of the answers under the “diagnosis” subheading was found to have the highest rate of graduate-level education requirement. Conclusion: Although the three commonly used AI models provided similarly accurate responses to OM-related questions, differences in readability were observed among the LLMs. For AI to effectively support patient education and promote treatment adherence, both the accuracy and readability of the content are essential.
Amaç: Bu çalışmada, doğal dil işleme (NLP) teknolojileri ile desteklenen büyük dil modellerinin (LLM) hastalar ve hasta yakınları tarafından yöneltilen sorulara verdikleri yanıtlar üzerinden, otitis media (OM) hakkında sundukları bilgilerin doğruluğu, kapsamlılığı ve okunabilirliği değerlendirildi. Yöntem: Bu tanımlayıcı kesitsel değerlendirme çalışmasında, hastalar ve hasta yakınları tarafından OM ile ilgili sıkça sorulan 60 soru dört alt başlık (genel bilgi, tanı, takip ve tedavi ve cerrahi ve komplikasyonlar) altında gruplandırıldı ve üç farklı büyük dil modeli (Google Gemini 2.5 Flash, Microsoft Copilot, ChatGPT-4o) tarafından yanıtlandı. Yanıtlar, iki deneyimli Kulak Burun Boğaz (KBB) uzmanı tarafından 5 puanlık Likert ölçeği kullanılarak doğruluk açısından değerlendirildi. Yanıtların okunabilirliği Coleman-Liau İndeksi (CLI) ve Gobbledygook’un Basit Ölçüm (SMOG) indeksi kullanılarak analiz edildi ve bu analiz ile okunabilirlik düzeylerine karşılık gelen akademik eğitim düzeyleri belirlendi ve modeller karşılaştırıldı. Bulgular: Yapay zeka modellerinin OM ile ilgili hasta sorularına verdiği yanıtlar, doğruluk açısından benzer şekilde yüksek puanlar aldı. Okunabilirlik analizinde, SMOG ve CLI indekslerine göre Gemini'nin yanıtlarının diğer modellere kıyasla istatistiksel olarak anlamlı düzeyde daha okunabilir olduğu bulundu. ChatGPT'nin yanıtları daha yüksek bir eğitim seviyesi gerektirmekle birlikte, özellikle “tanı” başlığı altındaki yanıtların okunabilirliği için lisansüstü eğitim gerekliliği en yüksek oranda bulundu. Sonuç: Yaygın olarak kullanılan üç yapay zeka modeli, OM ile ilgili sorulara benzer düzeyde doğru yanıtlar vermiş olsa da, LLM’ler arasında okunabilirlik açısından farklılıklar gözlendi. Yapay zekânın hasta eğitimini etkin bir şekilde desteklemesi ve tedaviye uyumu artırması için hem içeriğin doğruluğu hem de okunabilirliği önemlidir.
Amaç: Bu çalışmada, doğal dil işleme (NLP) teknolojileri ile desteklenen büyük dil modellerinin (LLM) hastalar ve hasta yakınları tarafından yöneltilen sorulara verdikleri yanıtlar üzerinden, otitis media (OM) hakkında sundukları bilgilerin doğruluğu, kapsamlılığı ve okunabilirliği değerlendirildi. Yöntem: Bu tanımlayıcı kesitsel değerlendirme çalışmasında, hastalar ve hasta yakınları tarafından OM ile ilgili sıkça sorulan 60 soru dört alt başlık (genel bilgi, tanı, takip ve tedavi ve cerrahi ve komplikasyonlar) altında gruplandırıldı ve üç farklı büyük dil modeli (Google Gemini 2.5 Flash, Microsoft Copilot, ChatGPT-4o) tarafından yanıtlandı. Yanıtlar, iki deneyimli Kulak Burun Boğaz (KBB) uzmanı tarafından 5 puanlık Likert ölçeği kullanılarak doğruluk açısından değerlendirildi. Yanıtların okunabilirliği Coleman-Liau İndeksi (CLI) ve Gobbledygook’un Basit Ölçüm (SMOG) indeksi kullanılarak analiz edildi ve bu analiz ile okunabilirlik düzeylerine karşılık gelen akademik eğitim düzeyleri belirlendi ve modeller karşılaştırıldı. Bulgular: Yapay zeka modellerinin OM ile ilgili hasta sorularına verdiği yanıtlar, doğruluk açısından benzer şekilde yüksek puanlar aldı. Okunabilirlik analizinde, SMOG ve CLI indekslerine göre Gemini'nin yanıtlarının diğer modellere kıyasla istatistiksel olarak anlamlı düzeyde daha okunabilir olduğu bulundu. ChatGPT'nin yanıtları daha yüksek bir eğitim seviyesi gerektirmekle birlikte, özellikle “tanı” başlığı altındaki yanıtların okunabilirliği için lisansüstü eğitim gerekliliği en yüksek oranda bulundu. Sonuç: Yaygın olarak kullanılan üç yapay zeka modeli, OM ile ilgili sorulara benzer düzeyde doğru yanıtlar vermiş olsa da, LLM’ler arasında okunabilirlik açısından farklılıklar gözlendi. Yapay zekânın hasta eğitimini etkin bir şekilde desteklemesi ve tedaviye uyumu artırması için hem içeriğin doğruluğu hem de okunabilirliği önemlidir.
Açıklama
Anahtar Kelimeler
Otorhinolaryngology, Kulak Burun Boğaz
Kaynak
Acta Medica Alanya
Acta Medica Alanya
Acta Medica Alanya
WoS Q Değeri
Scopus Q Değeri
Cilt
9
Sayı
3
