Affiliation:
1. KONYA TEKNİK ÜNİVERSİTESİ
Abstract
Tek görüntü süper çözünürlük problemi, literatürde çeşitli derin öğrenme tabanlı teknikler kullanılarak kapsamlı çalışmalar yapılmıştır. Derin evrişimli ağlar tabanlı süper çözünürlük, çok sayıda pratik uygulama ile beraber hızla büyüyen bir ilgi alanı haline gelmiştir. Bununla birlikte derin öğrenme tabanlı ilk çalışmalar evrişimli sinir ağları tabanlı olup, tepe sinyal gürültü oranı odaklı çalışmalardır. Son yıllardaki çekişmeli üretici ağlar tabanlı geliştirilen modeller sayesinde görsel kaliteyi artırmak esas amaç olarak belirlenmiştir; fakat bu durum görüntü kalite metrikleri incelendiğinde görülmemektedir. Bu çalışmada ise ağın eğitimi sırasında kullanılan ağ kaybı için hem ortalama kare hata hem de algısal kayıp değerlerinden faydalanılmıştır. Ayrıca, üç farklı eğitim veri setinin birleşimi yeni bir eğitim veri seti olarak kullanılmıştır. Bu etmenlerin sonucunda hem görsel kalite artırılmış hem de görüntü kalite metrik değerlerinde ciddi bir artış yakalanmıştır. Ek olarak, yığın normalleştirme katmanları ağ mimarisine dahil edilmemiş ve bağlantı atlama tekniği kullanılarak derin ağ mimarisinin eğitim hızı artırılmıştır. Önerilen modelin başarı performansı literatürde yer alan önemli modeller ile karşılaştırılmıştır. Burada, tepe sinyal gürültü oranı ve yapısal benzerlik indeksi değerleri literatürde yaygın kullanılan üç farklı test veri seti için ayrı ayrı hesaplanmış ve değerlendirilmiştir. Elde edilen sonuçlar değerlendirildiğinde önerilen modelin diğer modellere göre daha başarılı olduğu ve daha kaliteli görüntüler oluşturduğu görülmektedir. Tüm bulgular değerlendirildiğinde önerilen modelin diğer modellere kıyasla hem başarı hem de eğitim hızı bakımından daha verimli bir model olduğu görülmektedir.
Publisher
Journal of Intelligent Systems: Theory and Applications, Harun TASKIN
Reference20 articles.
1. Anwar, S., Khan, S., Barnes, N., 2020. A deep journey into super-resolution: A Survey. ACM Computing Surveys 53:1-34. http://dx.doi.org/10.1145/3390462
2. Chudasama, V., Patel, H., Prajapati, K., Upla, K., Ramachandra, R., Raja, K., Busch, C., 2020. TherISuRNet- A computationally efficient thermal image super-resolution network. IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops. pp 388-397. http://dx.doi.org/10.1109/CVPRW50498.2020.00051
3. Dong, C., Loy, C.C., He, K., Tan, X., 2015. Image super-resolution using deep convolutional networks. IEEE Transactions on Pattern Analysis and Machine Intelligence 38:295-307. http://dx.doi.org/10.1109/TPAMI.2015.2439281
4. Dong, C., Loy, C.C., Tang, X., 2016. Accelerating the Super-Resolution Convolutional Neural Network. Computer Vision ECCV 2016 Lecture Notes in Computer Science Springer 9906. https://doi.org/10.1007/978-3-319-46475-6_25
5. Dosovitskiy, A., Brox, T., 2016. Generating images with perceptual similarity metrics based on deep networks. In Advances in Neural Information Processing Systems (NIPS). pp 658–666. https://doi.org/10.48550/arXiv.1602.02644