GPT-4 (2023): Lebih canggih, mendukung multimodal input (teks dan gambar), memiliki pemahaman lebih dalam, serta lebih aman.
2. Arsitektur dan Prinsip Kerja GPT
2.1 Arsitektur Transformer
ADVERTISEMENT
SCROLL TO RESUME CONTENT
GPT adalah varian decoder-only transformer. Komponen utamanya:
1. Embedding Layer – Mengubah kata menjadi representasi vektor.
2. Positional Encoding – Memberikan informasi urutan kata.
3. Self-Attention Mechanism – Mengukur hubungan antar kata dalam konteks.
4. Feed-Forward Neural Network – Melakukan transformasi non-linear.
5. Layer Normalization dan Residual Connection – Membantu stabilitas pelatihan.
2.2 Pre-training dan Fine-tuning
