Pengembangan Model NLP Untuk Penilaian Jawaban Esai Otomatis Menggunakan SBERT dan Stanza

Abstract

Proses penilaian jawaban esai secara manual memiliki berbagai keterbatasan, seperti subjektivitas penilai, waktu evaluasi yang lama, serta ketidakkonsistenan dalam pemberian skor. Perkembangan Natural Language Processing (NLP) memungkinkan pengembangan sistem penilaian esai otomatis (Automated Essay Scoring) yang mampu memahami karakteristik semantik dan linguistik dari suatu jawaban. Penelitian ini bertujuan untuk mengembangkan model NLP dalam melakukan klasifikasi relevansi jawaban esai otomatis menggunakan kombinasi Sentence-Bidirectional Encoder Representations from Transformers (SBERT) dan Stanza. Metode penelitian menggunakan pendekatan kuantitatif dengan metode research and development (R&D). Dataset yang digunakan berasal dari UKARA 1.0 Challenge dengan jumlah 2.861 data jawaban esai berbahasa Indonesia. Tahapan penelitian meliputi preprocessing, ekstraksi fitur semantik menggunakan SBERT, ekstraksi fitur linguistik menggunakan Stanza, ekstraksi fitur mekanik berdasarkan kesalahan ejaan, serta pembangunan model menggunakan algoritma Multi-Layer Perceptron (MLP). Hasil evaluasi menunjukkan bahwa model mampu mencapai akurasi sebesar 0,66 dengan nilai F1-score kelas relevan sebesar 0,76. Namun, model mengalami keterbatasan dalam mengenali jawaban tidak relevan dengan nilai recall kelas negatif sebesar 0,34 akibat dominasi fitur semantik. Eksperimen variasi hyperparameter menunjukkan bahwa perubahan arsitektur tidak memberikan peningkatan signifikan terhadap performa model. Kesimpulannya, kombinasi SBERT dan Stanza mampu mendukung sistem penilaian esai otomatis, tetapi diperlukan strategi mitigasi bias semantik dan pengembangan fitur tambahan untuk meningkatkan kemampuan klasifikasi