처음부터 LLM 구축하기: Sebastian Raschka의 전체 강좌

세바스찬 라슈카(Sebastian Raschka)가 쓴 책 《대규모 언어 모델 구축(처음부터)》의 저자가, 처음부터 LLM을 구축하는 확장 강좌를 공개했습니다. 이 강좌는 총 약 15시간 분량의 여러 동영상으로 구성되어 있습니다. 강좌는 uv를 사용한 개발 환경 설정으로 시작하여, 토큰화, 바이트 페어 인코딩(BPE), 데이터 로더 등 텍스트 데이터 작업을 다룹니다. 그런 다음 어텐션 메커니즘(셀프 어텐션, 인과적 어텐션, 멀티 헤드 어텐션)을 처음부터 코딩하는 방법을 설명하고, LLM 아키텍처 구축을 시연합니다. 또한 강좌는 레이블이 없는 데이터에 대한 모델 사전 훈련, 분류를 위한 파인 튜닝(스팸을 예로 사용), 지시문 파인 튜닝을 보여줍니다. 유료 구독자를 위한 보너스로 2.5시간 길이의 비기술적 동영상이 제공되며, 2025년 LLM 환경과 2018년 이후의 변화를 논의합니다. 라슈카는 LLM을 처음부터 구축하는 것이 작동 원리를 이해하는 가장 좋은 방법이며, 고카트에서 시작하여 경주용 자동차를 조립하는 것에 비유한다고 말합니다. 이 동영상들은 원래 책의 보충 자료로 제작되었지만, 독립적인 콘텐츠로도 기능합니다.