Perkembangan sistem temu balik informasi memunculkan berbagai metode machine learning yang menggunakan konteks dari dokumen untuk menemukan informasi yang dicari. Model BERT yang digunakan oleh Google merupakan model terbaik dari sistem pencarian situs di internet. Penelitian ini membandingkan BERT yang digunakan sebagai komponen preprocessing dokumen dan query untuk model neural network dengan metode BM25 pada dataset Cranfield. Metode BM25 memiliki 2 indikator yaitu b dan k yang masing-masing berfokus pada weight untuk panjang dokumen dan frekuensi kemunculan kata. Indikator yang digunakan untuk metode neural network dengan BERT preprocessing adalah ukuran subsegment sebuah dokumen, learning rate, ukuran layer neural network, dan metode penggabungan nilai relevansi subsegment. Dataset yang digunakan dalam penelitian ini adalah dataset Cranfield yang berisi 1400 dokumen dan 225 query. Berdasarkan pengujian semua indikator, metode BM25 memberikan nilai nDCG@20 sebesar 0.5054 dan metode neural network dengan BERT preprocessing menghasilkan nilai nDCG@20 sebesar 0.5520.