IEEE startet Online-Schulungskurs zu Large Language Models

IEEE hat über seine Educational Activities und die IEEE Computer Society ein Online-Kursprogramm mit dem Titel 'Large Language Models Demystified' auf dem IEEE Learning Network gestartet. Das Programm besteht aus fünf Kursen, die sich mit der Technik hinter generativer KI befassen und die Entwicklung von statistischen Methoden bis hin zu Transformatoren, Transformer-Architekturen mit Self-Attention und Positionskodierung, implementiert in NumPy und Python, fortgeschrittenem LLM-Design, Trainings-Pipelines in PyTorch mit parameter-effizienten Techniken wie Low-Rank-Adaption und Quantisierung sowie Optimierung, Ausrichtung und Bereitstellung, einschließlich RLHF (Reinforcement Learning from Human Feedback) und RAG (Retrieval-Augmented Generation), abdecken. Das Programm zielt darauf ab, die wachsende Nachfrage nach technischem Fachwissen zu decken, da der LLM-Markt bis 2030 voraussichtlich um 33 % pro Jahr wachsen wird. Die Teilnehmer erhalten Weiterbildungspunkte und ein digitales Abzeichen von IEEE. Der Artikel diskutiert außerdem vier Bereiche, in denen LLMs die Ingenieursarbeit verändern: über grundlegende Prompts hinausgehen mithilfe von APIs, Halluzinationen mit RAG beheben, Datensicherheit durch private Modellinstanzen priorisieren und bessere Zusammenarbeit durch Automatisierung repetitiver Aufgaben ermöglichen.