PISA 2015 Veri Setinde OVA ve OVO Stratejileri Çerçevesinde Bazı Temel Sınıflandırıcıların Performanslarının Karşılaştırılması

Abstract

Bu çalışmanın amacı hem çok sınıflı verilerin sınıflandırılması için kullanılan OVA ve OVO stratejilerinin hem de bu stratejiler altında uygulanan bazı ikili sınıflandırıcıların performanslarının karşılaştırılmasıdır. Çalışmanın yöntemi betimsel araştırmadır. PISA 2015 Türkiye uygulamasının fen başarı testi ve anket sonuçları veri seti olarak kullanılmıştır. PISA 2015 Türkiye uygulamasına 61 ilden 187 okul ve 5895 öğrenci katılmıştır. Okullar belirlenirken tabakalı seçkisiz örnekleme yöntemi kullanılmış daha sonra bu okullardan seçilen öğrenciler yine seçkisiz yöntemle belirlenmiştir. Okullar, istatistiki bölge birimleri sınıflamasına göre belirlenen 12 bölge içinden, eğitim türü, okul türü, okulların bulundukları yer ve okulların idari biçimleri dikkate alınarak oluşturulmuştur. 5895 örnek içeren veri setinden, boş veri içeren örnekler silindiğinde elde edilen 3459 örnekli veri seti çalışmada kullanılmıştır. 26 bağımsız 1 bağımlı değişkenden oluşan veri setinde bağımsız değişkenler kategorik olarak tanımlanmıştır. Veri dosyası arff formatına dönüştürülerek WEKA experimenter tezgâhında analizler gerçekleştirilmiştir. OVA ve OVO stratejileri altında belirlenen beş farklı algoritma veri setine uygulanmıştır. Test seçeneklerinden 10 katlı çapraz geçerleme, birleştirme stratejilerinden de oy verme tekniği kullanılmıştır. Analiz sonucunda OVA ve OVO stratejilerinin her ikisi altında en başarılı algoritmalar LR ve NB algoritmaları iken en başarısız algoritma KNN algoritması olarak belirlenmiştir. En az örnek içeren sınıfı tahminleyebilme başarısı bakımından her iki strateji altında da en başarılı algoritma KNN algoritmasıdır. Algoritmalar doğruluk değeri ve hata ortalaması bakımından OVA stratejisi altında F metriği bakımından ise OVO stratejisi altında daha başarılıdır. Farklı algoritmaların performansları farklı ve daha çok sayıda veri seti üzerinde, farklı ayrıştırma ve birleştirme stratejileri ile, farklı test seçenekleri, farklı performans metrikleri, farklı algoritma parametreleriyle ya da yapılacak farklı önişlemler ile denenebilir.