Ithb Repository

Penerapan Bidirectional Encoder Representations from Transformers untuk Grammatical Error Correction

Silvi Prisillia Louismono, 1120019 and Hery Heryanto, (Pembimbing) (2023) Penerapan Bidirectional Encoder Representations from Transformers untuk Grammatical Error Correction. S1 publication, Institut Teknoogi Harapan Bangsa.

Full text not available from this repository.

Abstract

Tata bahasa memainkan peran kunci dalam memfasilitasi pemahaman dan membaca teks. Kesalahan tata bahasa dapat menghambat keterbacaan teks dan menimbulkan kebingungan bagi pembaca. Grammatical Error Correction (GEC) menjadi fokus penelitian intens dalam bidang Natural Language Processing (NLP), khususnya seiring dengan peningkatan kebutuhan individu dalam mempelajari bahasa baru. Bidirectional Encoder Representations from Transformers (BERT), sebagai model pemrosesan bahasa alami, mengadaptasi arsitektur transformer dengan pendekatan yang bersifat bidirectional sehingga mampu memahami konteks yang ada pada kalimat. Penelitian ini menerapkan model BERT Base dengan pengaturan hyperparameter untuk tugas koreksi tata bahasa pada kalimat. Model dilatih, divalidasi, dan diuji menggunakan pengembangan dataset shared task Building Educational Applications-2019 (BEA-2019) yang terbagi menjadi lima track, yaitu restricted, unrestricted, low resource, First Certificate in English (FCE), dan National University of Singapore Corpus of Learner English (NUCLE). Model juga dilatih dengan penggabungan hyperparameter batch size, learning rate, dan epoch untuk mendapatkan kombinasi terbaik untuk menghasilkan kinerja berupa nilai precision, recall, dan F0.5 yang optimal. Berdasarkan hasil pengujian, model BERT dengan kombinasi track restricted, batch size 16, learning rate 5e-10, dan epoch 10 menghasilkan nilai precision, recall, dan F0.5 tertinggi, yaitu 31.36, 45.38, dan 33.42.

Item Type: Publication (S1)
Uncontrolled Keywords: Bidirectional Encoder Representations from Transformers (BERT), Grammatical Error Correction (GEC), Natural Language Processing (NLP).
Subjects: T Technology > T Technology (General)
Divisions: ITHB > Teknik Informatika
Depositing User: Staf Perpus - Mhs ithb
Date Deposited: 11 Apr 2025 10:12
Last Modified: 11 Apr 2025 10:12
URI: http://repository.ithb.ac.id/id/eprint/372

Actions (login required)

View Item
View Item

Ithb Repository is powered by EPrints 3.4 which is developed by the School of Electronics and Computer Science at the University of Southampton. About EPrints | Accessibility