Klasifikasi Gambar Bahan Makanan untuk Penderita Buta Warna

Abstract

Abstract — Patients suffering from color blindness have difficulty when buying groceries like foodstuffs, where they were unable to recognize the color difference between a fresh foodstuffs and rotten foodstuffs at a glance. When buying foodstuffs, they usually ask for help from their close relations to shop together to help them choose which foodstuffs to buy. This study aims to build a mobile application that can recognize fresh and rotten foodstuffs to be purchased with the help of machine learning model so that it can help users with color blindness disabilities to correctly choose which foodstuffs to buy. The model used is based on ResNet50 and MobileNet and data augmentation for data balancing, and uses a confusion matrix for evaluating the trained model. The result of this study achieved a model that can classify images taken with a recorded performance of 98% accuracy in the multi-class classification.

Abstrak — Penderita gangguan buta warna memiliki kesulitan saat membeli bahan makanan, di mana mereka tidak dapat mengenali perbedaan warna bahan makanan yang segar dan busuk dalam sekali lihat. Mereka biasanya meminta pertolongan orang dekat untuk berbelanja bersama-sama dengan mereka agar dapat membantu mereka memilih bahan makanan yang akan dibeli. Tujuan dari penelitian ini adalah membuat aplikasi pada platform mobile Android yang dapat mengenali bahan makanan segar dan busuk mana yang akan dibeli dengan bantuan model machine learning agar dapat membantu pengguna yang memiliki keterbatasan untuk membedakan warna agar tidak salah memilih bahan makanan yang akan dibeli. Model yang digunakan memiliki dasar arsitektur ResNet50 dan MobileNet dengan melakukan augmentasi untuk melakukan penyeimbangan pada data, dan menggunakan confusion matrix untuk mengevaluasi performa model yang dilatih. Hasil dari studi ini adalah model yang dapat mengklasifikasikan gambar yang diambil dengan akurasi sebanyak 98% dalam melakukan klasifikasi kelas banyak