Penggunaan sistem pengenalan wajah semakin meningkat dewasa ini, karena itu penting untuk menemukan cara yang optimal dalam meningkatkan akurasi pengenalan wajah. Pengenalan wajah memanfaatkan teknologi CNN yang tersusun dari lapisan-lapisan konvolusi yang diikuti oleh fully connected layer. Lapisan konvolusi ini yang bertanggungjawab atas proses ekstraksi fitur pada gambar, yang nantinya digunakan oleh fully connected layer untuk mengklasifikasi gambar tersebut. Pada penelitian kali ini diuji dua jenis arsitektur CNN yaitu VGG16 dan Inception untuk menguji tingkat akurasi yang dihasilkan. Pengujian juga menggunakan 2 jenis dataset yaitu Komnet dan Yale, serta menguji pengaruh preprocessing MCLAHE terhadap hasil akurasi. Selain jenis arsitektur, faktor lain seperti hyperparameter juga memegang andil tingkat akurasi model. Hyperparameter, yang diuji pada penelitian kali ini adalah jenis optimizer dan pengaruh perubahan learning rate pada penelitian. Optimizer bekerja dengan cara mengubah nilai bobot dan bias saat proses backpropagation dengan tujuan menghasilkan nilai error yang minimum. Setiap optimizer menggunakan algoritma yang unik. Hasil akurasi tertinggi yang dicapai adalah arsitektur Inception dengan optimizer Adadelta pada dataset Komnet. Hasil akurasi pada tahap pelatihan mencapai 98%. Rata-rata akurasi setelah model diuji dengan 10 fold cross validation adalah 99.3%.