Okülofasiyal Plastik ve Orbital Cerrahide İngilizce ve Türkçe Dil Çeşitliliğinin Yapay Zeka Chatbot Performansına Etkisi: ChatGPT-3.5, Copilot ve Gemini Üzerine Bir Çalışma

Abstract

Ücretsiz olarak erişim sağlanabilen ChatGPT-3,5, Copilot ve Gemini yapay zeka sohbet botlarına okülofasiyal plastik ve orbita cerrahisi ile ilişkili farklı dillerdeki aynı soru uygulamalarının bu programların performanslarına olan etkilerini araştırmaktır. Okülofasiyal plastik ve orbita cerrahisi ile ilişkili 30 sorunun İngilizce ve Türkçe versiyonları ChatGPT-3,5, Copilot ve Gemini sohbet botlarına uygulandı. Sohbet botlarının verdikleri cevaplar kitap arkasında yer alan cevap anahtarı ile karşılaştırıldı, doğru ve yanlış olarak gruplandırıldı. Birbirlerine üstünlükleri istatistiksel olarak karşılaştırıldı. ChatGPT-3,5 İngilizce soruların %43,3’üne doğru cevap verirken, Türkçe soruların %23,3’üne doğru cevap verdi (p=0,07). Copilot İngilizce soruların %73,3’üne doğru cevap verirken, Türkçe soruların %63,3’üne doğru cevap verdi (p=0,375). Gemini İngilizce soruların %46,7’sine doğru cevap verirken, Türkçe soruların %33,3’üne doğru cevap verdi (p=0,344). Copilot, Türkçe soruları cevaplamada diğer programlardan daha yüksek performans gösterdi (p<0,05). Sohbet botlarının bilgi düzeylerinin geliştirilmesinin yanında farklı dillerdeki performanslarının da incelenmeye ve geliştirilmeye ihtiyacı vardır. Sohbet botlarındaki bu dezavantajların düzeltilmesi, bu programların daha yaygın ve güvenilir bir şekilde kullanılmasına zemin hazırlayacaktır.