Google/DeepMind — новости и модели ИИ

Monday.com присоединился к списку технологических компаний, объясняющих увольнения ИИ — ещё 20 примеров

Monday.com уволит 20% сотрудников (свыше 600 человек) в рамках реструктуризации, сославшись на трансформацию под стратегию роста на базе ИИ. По данным Financial Times, с начала года американские IT-компании сократили почти 140 тыс. рабочих мест, причём Amazon, Oracle, Meta и Microsoft — почти 50 тыс. При этом рынок скептически реагирует на такие объяснения: акции компаний, ссылающихся на ИИ, отстают от Nasdaq на 10%.

monday.com

Microsoft

Oracle

GitLab

Google/DeepMind

Intuit

Пишем decoder-only трансформер для LLM с нуля на Python

Автор цикла статей подробно описывает реализацию блока трансформера для небольшой decoder-only LLM на фреймворке PyTorch. Рассматриваются компоненты: Multi-Head Attention с маскированием, Feed Forward Network с GELU, слой нормализации и остаточные связи. В статье объясняется отличие от оригинальной архитектуры: используется преднормализация (Pre-LN) вместо постнормализации для стабильности обучения.

Google/DeepMind

OpenAI