XHızlı Arama
ChatGPT ve Gemini Modellerinin Ortodonti Alanındaki Türkçe Yeterliliği: Hasta Sorularına Verilen Yanıtların Doğruluk, Eksiksizlik ve Okunabilirlik Değerlendirilmesi
Gizem Boztaş Demir, Serkan GörgülüSağlık Bilimleri Üniversitesi, Gülhane Diş Hekimliği Fakültesi, Ortodonti Anabilim Dalı, AnkaraGİRİŞ ve AMAÇ: Bu çalışma, ChatGPT ve Gemini geniş dil modellerinin ortodontik tedaviye yönelik sıkça sorulan sorulara verdikleri yanıtların eksiksizlik, doğruluk ve okunabilirlik düzeylerini karşılaştırmayı amaçlamaktadır.
YÖNTEM ve GEREÇLER: Sorular, genel, tedavi ile ilgili ve bakım ve hijyen olmak üzere üç kategoriye ayrılmıştır. ChatGPT ve Gemini modellerinden elde edilen yanıtlar, üçlü Likert ölçeği ile eksiksizlik, altılı Likert ölçeği ile doğruluk açısından değerlendirilmiş; okunabilirlik ise Türkçe’ye uyarlanmış Ateşman Okunabilirlik Formülü kullanılarak analiz edilmiştir. İstatistiksel analizler, açık kaynaklı Jamovi yazılımı (The Jamovi Project 2022, sürüm 2.3.21.0) ile gerçekleştirilmiştir.
BULGULAR: ChatGPT, eksiksizlik açısından tüm sorularda (p=0,042) ve tedavi ile ilgili sorularda (p=0,037) Gemini’ye göre istatistiksel olarak anlamlı düzeyde üstün performans göstermiştir. Ancak, doğruluk açısından iki model arasında anlamlı bir fark tespit edilmemiştir. Okunabilirlik açısından ise Gemini, ChatGPT’ye kıyasla tüm sorular (p=0,001), genel kategori (p=0,013) ve bakım ve temizlik kategorisi (p=0,01) değerlendirmelerinde istatistiksel olarak anlamlı derecede daha yüksek skorlar elde etmiştir.
TARTIŞMA ve SONUÇ: Bu çalışma, ChatGPT’nin eksiksizlik açısından üstün performans sergilediğini, ancak Gemini’nin okunabilirlik düzeyinde daha iyi sonuçlar verdiğini göstermiştir. Her iki model de doğruluk açısından yeterli performans sergilemiş olup, Türkçe dilinde hasta bilgilendirme süreçlerinde potansiyel araçlar olarak değerlendirilmektedir. Bununla birlikte, modellerin eksiksizlik ve okunabilirlik arasında bir denge sağlayacak şekilde geliştirilmesi, hasta iletişiminin etkinliğini artırmak için önemlidir.
The Turkish Proficiency of ChatGPT and Gemini in Orthodontics: An Evaluation of the Accuracy, Completeness, and Readability of Responses to Patient Questions
Gizem Boztaş Demir, Serkan GörgülüDepartment of Orthodontics, Gulhane Faculty of Dental Medicine, University of Health Sciences, Ankara, TürkiyeINTRODUCTION: This study aimed to compare the performance of ChatGPT and Gemini large language models (LLMs) in answering frequently asked questions regarding orthodontic treatment. The evaluation was based on the completeness, accuracy, and readability of the responses in Turkish.
METHODS: Frequently asked questions related to orthodontic treatment were categorized into general, treatment- related, and care and hygiene groups. Responses from ChatGPT and Gemini models were assessed for completeness using a three-point Likert scale, accuracy using a six-point Likert scale, and readability using the Turkish-adapted Ateşman Readability Formula. Statistical analyses were conducted using open-source Jamovi software (The Jamovi Project 2022, version 2.3.21.0, www.jamovi.org).
RESULTS: ChatGPT demonstrated statistically significant superiority over Gemini in completeness across all questions (p=0,042) and treatment-related questions (p=0,037). However, no statistically significant difference was observed between the two models in terms of accuracy. In terms of readability, Gemini achieved significantly higher scores compared to ChatGPT across all questions (p=0,001), the general category (p=0,013), and the care and hygiene category (p=0,01), indicating responses that were easier to understand.
DISCUSSION AND CONCLUSION: This study revealed that ChatGPT outperformed Gemini in terms of completeness, particularly for all questions and treatment-related questions, while both models performed similarly in accuracy. On the other hand, Gemini provided responses with higher readability, making them more accessible for patients. Both models hold promise as patient information tools in orthodontics, but achieving a balance between completeness and readability remains essential for enhancing their effectiveness.
Makale Dili: Türkçe