Affiliation:
1. BİLECİK ŞEYH EDEBALİ ÜNİVERSİTESİ
Abstract
Günümüzde, derin öğrenme tekniklerinin yaratıcı metin oluşturma süreçlerine entegrasyonu, araştırmacılar ve yazılım geliştiriciler arasında yaygın olarak kullanılmaktadır. Derin öğrenme, büyük veri setleri üzerinde karmaşık bilgileri öğrenme yeteneği ile bilinir ve bu özellik, dil anlama ve metin üretme konularında önemli avantajlar sunar. Çalışmanın amacı Bidirectional Long Short-Term Memory (BiLSTM) derin öğrenme mimarisi temelinde uzun bir metindeki ifadelerin eğitilerek yeni bir özet metnin türetilmesidir. Bu amaç doğrultusunda Türkçe dilinde yazılmış farklı uzunlukta ve türdeki (Roman, Kişisel Gelişim) iki doküman veriseti olarak kullanılmış, veri setindeki metinler veri temizleme, tokenizasyon ve vektörleştirme gibi bir dizi önişlemden geçirilmiştir. Çalışma, BiLSTM'nin yanı sıra LSTM, GRU, BiGRU ve CNN gibi diğer derin öğrenme mimarilerini de değerlendirmiş ve BiLSTM modelinin iki farklı kitap türünde ve farklı kelime sayılarında (1.000, 2.000 ve 5.000 kelime) en yüksek METEOR, BLEU ve ROGUE skorlarına sahip olduğunu ortaya koymuştur. Bu bulgular, BiLSTM’nin metin özetleme ve metin üretme için diğer modellere göre daha başarılı sonuçlar ürettiğini göstermektedir. BiLSTM kullanarak belli bir roman veya kişisel gelişim kitabından yaratıcı ve özgün metinler türetme yöntemi araştırmacılar ve yazılım geliştiriciler için ilham verici bir kaynak olup, önerilen yöntemin farklı metin türleri için de uygulanabileceği öngörülmektedir. Bu sayede, metin özetleme ve üretme süreçlerinde BiLSTM mimarisinin başarılı sonuçlar ürettiği gösterilmiştir.
Publisher
Karadeniz Fen Bilimleri Dergisi
Reference45 articles.
1. Babüroğlu, B., Tekerek, A., & Tekerek, M. (2019). Türkçe İçin Derin Öğrenme Tabanlı Doğal Dil İşleme Modeli Geliştirilmesi. 13th International Computer and Instructional Technology Symposium
2. Banerjee, S. and Lavie, A. (2005). METEOR: An Automatic Metric for MT Evaluation with Improved Correlation with Human Judgments. In Proceedings of the ACL Workshop on Intrinsic and Extrinsic Evaluation Measures for Machine Translation and/or Summarization, pages 65–72, Ann Arbor, Michigan. Association for Computational Linguistics.
3. Bayer, M., Kaufhold, M.-A., Buchhold, B., Keller, M., Dallmeyer, J., Reuter, C. (2022). Data augmentation in natural language processing: a novel text generation approach for long and short text classifiers. International Journal of Machine Learning and Cybernetics, 14(3), 135-150. https://doi.org/10.1007/s13042-022-01553-3
4. Chakraborty, S., Banik, J., Addhya, S., & Chatterjee, D. (2020). Study of Dependency on number of LSTM units for Character based Text Generation models. 2020 International Conference on Computer Science, Engineering and Applications (ICCSEA).
5. Cui, P., Wang, X., Pei, J., & Zhu, W. (2018). A Survey on Network Embedding. IEEE Transactions on Knowledge and Data Engineering, 31(5), 833-852. https://doi.org/10.1109/TKDE.2018.2849727