Menulis Transformer Hanya Dekoder untuk LLM dari Nol dengan Python

Penulis Vladimir, dengan menggunakan contoh tugas watermarking untuk teks berlisensi, mengimplementasikan blok transformer untuk LLM decoder-only. Ia menjelaskan bahwa transformer adalah arsitektur dari makalah Google "Attention Is All You Need," di mana sebuah urutan diproses secara paralel menggunakan mekanisme attention. Multi-Head Attention didasarkan pada tiga matriks proyeksi: Q, K, V. Pada langkah pertama, kemiripan token dihitung (matriks attention), dan pada langkah kedua, konten token dicampur sesuai dengan bobot yang ditemukan. Demi efisiensi, semua kepala attention diimplementasikan melalui satu proyeksi linier besar. Setelah attention, diterapkan Feed Forward Network dengan aktivasi GELU dan dropout. Pembangunan transformer mencakup normalisasi (Pre-LN) dan koneksi residual. Selain itu, mask kausal digunakan untuk decoder. Secara keseluruhan, blok ini siap digunakan dalam merakit LLM, pelatihan, dan pembuatan teks.