CNN ve SVM yöntemleriyle çoklu-odaklı görüntü birleştirmede yeni bir hibrit yaklaşım

Abstract

Çoklu-odaklı görüntü birleştirme, aynı sahnenin farklı odak değerlerine sahip iki veya daha fazla görüntüsünün birleştirilerek tüm-odaklı bir görüntü oluşturulmasıdır. Tüm-odaklı görüntü oluşturulurken temel amaç kaynak görüntülerdeki doğru odak bilgisinin maksimum seviyede birleştirilmiş görüntüye aktarılmasıdır. Önerilen çalışmada, bu amaç doğrultusunda yeni bir hibrit yaklaşım önerilmektedir. Bu yaklaşım, görüntülerden çıkarılan önemli özelliklerin sınıflandırılması ve etkili füzyon kuralları ile birleştirilmesine dayanmaktadır. Özellik çıkarımında, özgün olarak tasarlanan ve basit sistemlerde dahi kolaylıkla çalışabilen bir CNN mimarisi kullanılmaktadır. Çıkarılan özellikler, SVM sınıflandırıcısına verilmekte ve özellik vektörünün odaklı ya da odaksız olarak sınıflandırılması sağlanmaktadır. Sınıflandırma işlemleri sonrasında her bir kaynak görüntü için ikili karar haritaları oluşturulmaktadır. Bu karar haritalarının yanında, önerilen çalışmanın özgün yönlerinden birisi de kararsız bölgelere ait haritaların da çıkarılmasıdır. Bu bölgeler, sınıflandırıcının özellik vektörlerini tam olarak sınıflandıramadığı odaklı bölgelerden odaksız bölgelere geçiş noktalarından oluşmaktadır. Görüntü birleştirmede en önemli konulardan birisi de füzyon kuralının seçimidir. Önerilen çalışmada, sınıflandırıcının kesin olarak karar verebildiği noktalar doğrudan birleştirilmiş görüntüye aktarılırken, kararsız bölgeler için iki alternatif füzyon kuralı kullanılmaktadır. Bunlar gradyan-tabanlı ve laplas-tabanlı füzyon kurallarıdır. Çalışmada her bir füzyon kuralı için, füzyon kurallarının birleştirmeye etkisi gözlemlenmektedir. Sonuç olarak, önerilen çalışmanın performansı objektif performans metrikleriyle değerlendirilmektedir. Sonuçlar incelendiğinde, çalışmanın basit sistemlerde çalışabilen etkili bir füzyon aracı olduğu görülmektedir.