L'IEEE lance un cours de formation en ligne sur les grands modèles de langage

L'IEEE, par le biais de ses activités éducatives et de l'IEEE Computer Society, a lancé un programme de cours en ligne intitulé « Large Language Models Demystified » sur le réseau d'apprentissage de l'IEEE. Le programme se compose de cinq cours qui explorent l'ingénierie derrière l'IA générative, couvrant l'évolution des méthodes statistiques aux transformeurs, les architectures de transformeurs avec auto-attention et encodage positionnel implémentés en NumPy et Python, la conception avancée de grands modèles de langage (LLM), les pipelines d'entraînement en PyTorch avec des techniques efficaces en paramètres telles que l'adaptation de bas rang et la quantification, ainsi que l'optimisation, l'alignement et le déploiement, y compris l'apprentissage par renforcement avec retour humain (RLHF) et la génération augmentée par récupération (RAG). Le programme vise à répondre à la demande croissante d'expertise technique alors que le marché des LLM devrait croître de 33 % par an jusqu'en 2030. Les participants obtiennent des crédits de développement professionnel et un badge numérique de l'IEEE. L'article aborde également quatre domaines où les LLM transforment le travail des ingénieurs : aller au-delà des invites de base via les API, corriger les hallucinations avec le RAG, prioriser la sécurité des données avec des instances de modèles privées, et permettre une meilleure collaboration en automatisant les tâches répétitives.