Kodlayıcı kod çözücü ve dikkat algoritmaları kullanılarak karakter tabanlı kelime üretimi
Author:
Ergin İsa1ORCID, İnan Timur2ORCID
Affiliation:
1. Ondokuzmayıs Üniversitesi 2. ALTINBAŞ ÜNİVERSİTESİ
Abstract
Bu çalışma, derin öğrenme algoritmalarından kodlayıcı kod çözücü ve dikkat mimarisi kullanılarak karakter tabanlı Türkçe dilbilgisi kurallarına uygun anlamlı kelime üretmeyi amaçlamaktadır. Metin üretimi çalışmalarında karşılaşılan en büyük zorluk uzun metin dizelerinde geçmişe ait bilgilerin hatırlanarak sıralı, anlamlı ve tutarlı metinler oluşturabilmektir. Bu nedenle metin içerisinde bulunan karakterlerin ve kelimelerin sırasının ve anlamının önemi çok büyüktür. Bundan dolayı kelime üretiminde karakterler ve kelimeler arasındaki ilişkilerin yakalanabilmesi için geçmiş bilgileri hatırlayarak öğrenen derin öğrenme algoritmalarının kullanılması gerekmektedir. Derin öğrenme algoritmalarından özyinelemeli yapay sinir ağları geçmiş bilgileri hatırlayarak sıralı örüntüler oluşturmada başarılı sonuçlar vermektedir. Bu modeller, özellikle girdi ve çıktıların farklı boyut ve kategorilere sahip olduğu durumlarda, sıra tabanlı herhangi bir probleme çözüm olarak etkili bir şekilde kullanılmaktadır. Bu nedenle bu çalışmada kodlayıcı kod çözücü ve dikkat mimarisi kullanılarak karakter tabanlı bir dil modeli geliştirilmiştir. Model 100 ve 200 epoch değerlerinde sıcaklık örnek alma yönteminin farklı eşik değerlerinde çalıştırılmaktadır. Model; 100 epoch ve sıcaklık örnek alma yönteminin 0.3 eşik değerinde 90.6% başarı oranı ile en iyi sonucu, 200 epoch ve sıcaklık örnek alma yönteminin 0.5 eşik değerinde 91.9% başarı oranı ile en iyi sonucu vermektedir.
Publisher
Journal of the Faculty of Engineering and Architecture of Gazi University
Reference30 articles.
1. 1. Kibble, R., Introduction to natural language processing, Undergraduate study in Computing and related programmes, University of London International Programmes, Department of Computing, 1 (2), 1-52, 2013. 2. 2. Agarwal, M., An overview of natural language processing, International Journal for Research in Applied Science and Engineering Technology (IJRASET), 7, 2811-2813, 2019. 3. 3. Özkan, İ., Ülker, E., 2017, Derin öğrenme ve görüntü analizinde kullanılan derin öğrenme modelleri, Gaziosmanpaşa Bilimsel Araştırma Dergisi, 6 (3), 85-104. 4. 4. Khurana, D., Koli, A., Khatter, K., Natural language processing: state of the art, current trends and challenges, Multimed Tools Appl, 82 (3), 3713–3744, 2023. 5. 5. Nadeau, D., Sekine, S., A Survey of Named Entity Recognition and Classification, Linguisticae Investigationes, John Benjamins Publisher Company, Holland, 30 (1), 3-26, 2007.
|
|