Pneumonia (paru-paru basah) adalah sakit yang terbentuk dari infeksi akut dari daerah saluran pernapasan bagian bawah yang mempengaruhi paru-paru dan menyebabkan area tersebut dipenuhi dengan cairan, lendir, atau nanah yang menyebabkan peradangan pada bagian paru-paru sehingga membuat penderita kesulitan untuk bernafas. X-ray paru-paru adalah metode pemeriksaan yang paling umum digunakan untuk mendeteksi pneumonia. Juga dibutuhkan suatu cara otomatis yang akurat dalam melakukan klasifikasi citra X-ray. Penelitian ini bertujuan untuk membandingkan model Convolutional Neural Network (CNN) dengan arsitektur VGG16 dan ResNet50 dalam melakukan klasifikasi pneumonia. Pada penelitian ini digunakan dataset berupa citra X-ray yang bernama Chest X-ray Images (Pneumonia) yang didapatkan secara gratis dan boleh untuk dipakai untuk umum dari situs Kaggle. Pada awal penelitian, seluruh citra akan dilakukan proses preprocessing dengan cara melakukan rezise pada citra menjadi ukuran 224x224 piksel kemudian meningkatkan kontras pada citra menggunakan histogram equalization. Pengujian VGG16 dan ResNet50 dilakukan dengan mengkombinasikan optimizer, nilai batch size, dan epoch untuk mencari kombinasi terbaik dari kedua model yang menghasilkan akurasi tertinggi. Berdasarkan pengujian yang dilakukan didapatkan akurasi tertinggi model ResNet50 yaitu sebesar 96.58% yang didapat menggunakan kombinasi optimizer adam, batch size bernilai 64, dan epoch bernilai 100. Berdasarkan pengujian yang dilakukan didapatkan akurasi tertinggi dari model VGG16 yaitu sebesar 97.43% yang didapat menggunakan kombinasi optimizer adam, batch size bernilai , dan epoch bernilai 30.