Classification of C. annuum and C. frutescens Ripening Stages: How Well Does Deep Learning Perform?

Abstract

Chilli is one of the world's most widely grown crops. Among all of the chilli variants, C. annuum and C. frustescents are the most prevalent and consistently liked variants in Asia, where it is appreciated for its strong taste and pungency. Nevertheless, harvesting at the proper ripening stage according to their colour, size, and texture is essential to ensure the best quality, marketability, and shelf life. Currently, visual inspection is the primary method used by farmers, which is time-consuming and complicated. Even though automated chilli classification using computer vision and intelligent methods has received scholars' attention, the classification of C. annuum and C. frustescents ripening stages using deep learning models has not been extensively studied. Hence, this study aims to investigate the effectiveness of three deep learning models, namely EfficientNetB0, VGG16 and ResNet50, in classifying chilli ripening stages into unripe, ripe, and overripe classes. We also introduce a huge dataset comprising 9,022 images of C. annuum and C. frustescents chilli under various growth stages and imaging conditions which provides sufficient samples for the deep learning modelling. The experimental results show that the ResNet50 model outperforms other models with more than 95% accuracy for all classes. ABSTRAK: Cili merupakan salah satu tanaman terbanyak ditanam di dunia. Antara semua varian cili, C. annuum dan C. frustescents adalah yang paling meluas ditanam dan merupakan varian paling pedas di Asia, kerana rasanya yang kuat. Namun begitu, penuaian pada peringkat cili matang mengikut warna, saiz dan teksturnya adalah penting bagi memastikan kualiti, kebolehpasaran dan jangka hayat terbaik. Pada masa ini, pemeriksaan visual adalah kaedah utama yang diguna pakai petani bagi memeriksa cili, tetapi ia memakan masa dan rumit. Walaupun pengelasan cili secara automatik menguna pakai kaedah komputer dan pintar mendapat perhatian sarjana, kajian tentang klasifikasi cili jenis C. annuum dan C. frustescent pada peringkat matang menggunakan model pembelajaran mendalam masih belum begitu meluas. Oleh itu, kajian ini bertujuan bagi mengkaji keberkesanan tiga model pembelajaran mendalam, iaitu EfficientNetB0, VGG16 dan ResNet50, dalam mengklasifikasi kematangan cili pada beberapa peringkat matang cili seperti belum masak, masak dan terlalu masak. Kami juga memperkenalkan set data yang besar terdiri daripada 9,022 imej cili C. annuum dan C. frustescents  pada pelbagai peringkat pertumbuhan dan keadaan imej, bagi menyediakan sampel yang cukup untuk membina model pembelajaran mendalam. Hasil dapatan eksperimen mendapati model ResNet50 mengatasi model lain dengan peratusan 95% lebih tepat berbanding semua kelas.