BERT dan Bahasa Indonesia: Studi tentang Efektivitas Model NLP Berbasis Transformer

##plugins.themes.bootstrap3.article.sidebar##

Artikel
Published Jan 30, 2024
DOI : https://doi.org/10.32664/elang.v1i02
  • Halaman : 132 - 140
  • Abstract views : 62
  • PDF views : 55

##plugins.themes.bootstrap3.article.main##

Mukhlis Amien Go Frendi Gunawan
Informatika, Sekolah Tinggi Informatika & Komputer Indonesia, Malang, Indonesia

Abstract

Penelitian ini menyelidiki efektivitas model BERT dalam pemrosesan bahasa Indonesia, sebuah bahasa dengan struktur linguistik yang unik. Masalah penelitian dari studi ini berfokus pada evaluasi adaptasi model NLP berbasis transformer, khususnya BERT, untuk bahasa Indonesia dan membandingkan performanya dengan aplikasi pada bahasa lain. Metodologi penelitian ini yaitu mengungkapkan potensi model BERT dalam mengatasi tantangan linguistik khas bahasa Indonesia, memberikan wawasan penting tentang peningkatan performa model dalam konteks bahasa yang beragam. Hasil Penelitian kami menunjukkan bahwa metode BERT untuk bahasa Indonesia mendapatkan akurasi 96.8% untuk operasi POS Tagging, akurasi  74,9% untuk operasi NER UGM, dan 90,1% untuk operasi NER UI .

##plugins.themes.bootstrap3.article.details##

Issue
Vol 1 No 02 (2024): ELANG: Journal of Interdisciplinary Research
Section
Articles
Copyright (c) 2024 ELANG: Journal of Interdisciplinary Research
References
Bai, J., Wang, Y., Chen, Y., Yang, Y., Bai, J., Yu, J., & Tong, Y. (2021). Syntax-BERT: Improving Pre-trained Transformers with Syntax Trees.
Chaudhry, P. (2022). Bidirectional Encoder Representations from Transformers for Modelling Stock Prices. International Journal for Research in Applied Science and Engineering Technology.
Cui, Y., Che, W., Liu, T., Qin, B., Wang, S., & Hu, G. (2019). Pre-Training With Whole Word Masking for Chinese BERT. IEEE/ACM Transactions on Audio, Speech, and Language Processing, 29, 3504-3514.
Cui, Y., Che, W., Liu, T., Qin, B., Wang, S., & Hu, G. (2020). Revisiting Pre-Trained Models for Chinese Natural Language Processing. ArXiv.
De Vries, W., van Cranenburgh, A., Bisazza, A., Caselli, T., van Noord, G., & Nissim, M. (2019). BERTje: A Dutch BERT Model. ArXiv.
Farahani, M., Gharachorloo, M., Farahani, M., & Manthouri, M. (2020). ParsBERT: Transformer-based Model for Persian Language Understanding. Neural Processing Letters, 53, 3831-3847.
Lee, E., Lee, C., & Ahn, S. (2022). Comparative Study of Multiclass Text Classification in Research Proposals Using Pre Trained Language Models. Applied Sciences.
Min, B., Ross, H. H., Sulem, E., Ben Veyseh, A. P., Nguyen, T. H., Sainz, O., Agirre, E., Heinz, I., & Roth, D. (2021). Recent Advances in Natural Language Processing via Large Pre-Trained Language Models: A Survey. ArXiv.
Nityasya, M. N., Wibowo, H. A., Chevi, R., Prasojo, R. E., & Aji, A. F. (2022). Which Student is Best? A Comprehensive Knowledge Distillation Exam for Task-Specific BERT Models. ArXiv.
Nozza, D., Bianchi, F., & Hovy, D. (2020). What the [MASK]? Making Sense of Language-Specific BERT Models. ArXiv.
Paass, G., & Giesselbach, S. (2023). Foundation Models for Natural Language Processing - Pre-trained Language Models Integrating Media. ArXiv.
Perez, I., & Reinauer, R. (2022). The Topological BERT: Transforming Attention into Topology for Natural Language Processing. ArXiv.
Sebastian, D., Purnomo, H., & Sembiring, I. (2022). BERT for Natural Language Processing in Bahasa Indonesia. 2022 2nd International Conference on Intelligent Cybernetics Technology & Applications (ICICyTA), 204-209.
Wijayanti, R. (2023). Transfer learning berbasis cross-lingual word embedding untuk peringkasan teks ekstraktif. Institut Teknologi Bandung. https://repository.itb.ac.id/thesis/index.php.
Zhang, X., Ding, Y., Yu, M., O'Uchi, S., & Fujita, M. (2022). Low-Precision Quantization Techniques for Hardware-Implementation-Friendly BERT Models. 2022 23rd International Symposium on Quality Electronic Design (ISQED).