Tanaman kedelai memiliki peran penting terhadap perekonomian Indonesia sebagai negara agraris. Namun, pertanian sering menghadapi permasalahan gulma yang menurunkan hasil panen hingga 45%-95%. Untuk mengatasi hal tersebut, digunakan metode Convolutional Neural Network (CNN) dengan arsitektur Visual Geometric Group-16 (VGG16) untuk pendeteksian gulma karena keunggulannya dalam pemrosesan citra, seperti deteksi objek dan klasifikasi citra. Kelemahan dari VGG16 adalah kecenderungannya untuk overfit, terutama pada dataset yang terbatas dan menyebabkan kesulitan saat diuji pada data baru. Untuk mengatasi overfitting dan meningkatkan performa model, digunakan empat jenis optimizer, yaitu Adam, Adagrad, Adadelta, dan Stochastic Gradient Descent (SGD) yang masing-masing memiliki karakteristik unik, seperti adaptive learning rate pada parameter individual dan penyesuaian dinamis terhadap perubahan historical gradient. Penelitian ini bertujuan untuk membandingkan dan mengevaluasi kinerja dan akurasi dari keempat optimizer tersebut. Dataset yang digunakan dalam penelitian ini berisi citra yang sudah tersegmentasi menjadi 15336 segmen. Dataset memiliki 4 kategori yaitu soil, soybean, grass, dan weeds. Citra pada dataset memiliki dimensi yang berbeda-beda sehingga dilakukan proses preprocessing untuk mengubah citra menjadi ukuran 112x112 piksel. Citra kemudian dilalui proses image augmentation untuk memberikan variasi dan generalisasi pada model. Hasil terbaik diperoleh dengan Adadelta Optimizer menggunakan 100 epoch dan learning rate 0.0001 yang mencapai akurasi 0.998.