Creación de LLMs desde Cero: Curso Completo de Sebastian Raschka

Sebastian Raschka, autor del libro "Build a Large Language Model (From Scratch)", ha lanzado un curso ampliado sobre la construcción de un LLM desde cero, que consta de varios videos con una duración total de aproximadamente 15 horas. El curso comienza con la configuración del entorno de desarrollo usando uv, y luego cubre el trabajo con datos de texto, incluyendo tokenización, codificación por pares de bytes (BPE), y cargadores de datos. A continuación, explica la codificación de mecanismos de atención (autoatención, atención causal, atención multi-cabeza) desde cero, seguido de la demostración de la construcción de la arquitectura del LLM. El curso también muestra el preentrenamiento del modelo con datos no etiquetados, el ajuste fino para clasificación (usando spam como ejemplo), y el ajuste fino por instrucciones. Como bonificación para suscriptores de pago, hay disponible un video no técnico de 2.5 horas que discute el panorama de los LLM en 2025 y los cambios desde 2018. Raschka señala que construir un LLM desde cero es la mejor manera de entender cómo funcionan, haciendo una analogía con armar un auto de carreras empezando desde un kart. Los videos fueron originalmente creados como material complementario para el libro, pero también funcionan como contenido independiente.