Google/DeepMind

Laatste AI-nieuws, modellen en releases van Google/DeepMind. ['A2UI v0.9', 'AI Co-Scientist', 'AI Evaluator', 'AI Mode', 'AI Overviews', 'AlphaEvolve', 'AlphaFold', 'AlphaGenome', 'AlphaQubit', 'Antigravity', 'Auto frame', 'BERT', 'Chinchilla', 'Computational Discovery', 'Confidential GKE Nodes', 'Co-Scientist', 'Empirical Research Assistance', 'Era', 'ERA', 'Executive LLM', 'Farmscapes 2020', 'Flood Hub', 'frontier AI', 'Frozen v2', 'FunctionGemma', 'Gemini', 'Gemini 1.5 Flash', 'Gemini-1.5-pro', 'Gemini 1.5 Pro', 'Gemini 2.5', 'Gemini 2.5 Flash', 'Gemini-2.5 Flash', 'Gemini-2.5-Flash', 'Gemini 2.5 Pro', 'Gemini-2.5 Pro', 'Gemini-2.5-Pro', 'Gemini 3.1 Flash', 'Gemini 3.1 Flash-Lite', 'Gemini-3.1-pro', 'Gemini 3.1 Pro']

Onderzoek 🇷🇺

Een Decoder-Only Transformer voor LLM helemaal zelf schrijven in Python

De auteur van een reeks artikelen beschrijft in detail de implementatie van een transformerblok voor een kleine decoder-only LLM met behulp van het PyTorch-framework. Onderdelen die aan bod komen zijn: Multi-Head Attention met masking, Feed Forward Network met GELU, normalisatielaag en residuverbindingen. Het artikel legt het verschil met de oorspronkelijke architectuur uit: er wordt pre-normalisatie (Pre-LN) gebruikt in plaats van post-normalisatie voor trainingsstabiliteit.

Google/DeepMindGoogle/DeepMind OpenAIOpenAI MetaMeta
Habr — хаб NLP27.07 · 20:04
Vers nieuws