Namun, sistem ini kaku dan sulit diskalakan.
Pada awal 2000-an, pendekatan berbasis machine learning (ML) mulai mendominasi.
Algoritma seperti Hidden Markov Model (HMM) digunakan untuk speech recognition dan statistical machine translation.
ADVERTISEMENT
SCROLL TO RESUME CONTENT
1.2 Lahirnya Deep Learning
Titik balik terjadi ketika deep learning mulai diaplikasikan dalam NLP.
Model seperti word2vec (2013) membuka jalan dengan merepresentasikan kata sebagai vektor yang kaya makna semantik.
Selanjutnya, recurrent neural networks (RNN) dan long short-term memory (LSTM) digunakan untuk memproses urutan teks.
Namun, RNN memiliki keterbatasan dalam mengingat konteks panjang.
1.3 Transformer: Revolusi NLP
Pada 2017, tim Google memperkenalkan makalah terkenal berjudul “Attention is All You Need” yang memperkenalkan Transformer.
