Sıfırdan LLM Oluşturma: Sebastian Raschka'dan Tam Kurs

Sebastian Raschka, "Büyük Bir Dil Modeli Sıfırdan Nasıl Oluşturulur" kitabının yazarı, toplamda yaklaşık 15 saat süren birkaç videodan oluşan, bir LLM'in sıfırdan oluşturulmasına yönelik genişletilmiş bir kurs yayınladı. Kurs, uv kullanarak geliştirme ortamının kurulmasıyla başlıyor, ardından simgeleştirme (tokenization), Byte Pair Encoding (BPE) ve veri yükleyicileri dahil olmak üzere metin verileriyle çalışmayı ele alıyor. Daha sonra dikkat mekanizmalarının (öz-dikkat, nedensel dikkat, çok başlıklı dikkat) sıfırdan kodlanmasını açıklıyor ve ardından LLM mimarisinin oluşturulmasını gösteriyor. Kurs ayrıca modelin etiketlenmemiş veriler üzerinde ön eğitimini, sınıflandırma için ince ayarını (spam örneğini kullanarak) ve talimat ince ayarını da gösteriyor. Ücretli aboneler için bir bonus olarak, 2025'teki LLM ortamını ve 2018'den bu yana değişiklikleri tartışan, 2,5 saat süren teknik olmayan bir video mevcut. Raschka, bir LLM'i sıfırdan oluşturmanın, onların nasıl çalıştığını anlamanın en iyi yolu olduğunu belirtiyor ve bir yarış arabasını go-karttan başlayarak birleştirme benzetmesini yapıyor. Videolar başlangıçta kitabın ek materyali olarak oluşturulmuştu ancak bağımsız içerik olarak da işlev görüyor.