Specialization is Inevitable: What Optimization Theory, Biology, Markets, and Machine Learning Say

Goldfeder, Wyder, LeCun, Shwartz-Ziv（2026年）の研究に基づく本稿では、専門化が効率的なAIシステムの鍵となる原則であると主張する。WolpertとMacready（1997年）の定理は、すべてのタスクにおいて汎用的な最適化アルゴリズムが他を凌駕するものは存在せず、特定のタスクへの適合によって利点が得られることを示している。生物学では、限られたリソースと競争が専門化を生み出し、ジェネラリストは特定のニッチでスペシャリストに敗れる。市場競争も同様に機能し、集中した努力が分散した努力を凌駕する。機械学習においても、負の転移やMixture-of-Expertsアーキテクチャがこのパターンを裏付けている。AlphaFoldはまさにその狭い焦点により画期的な成果を達成した。スケーリング（The Bitter Lesson）は専門化を否定するものではない。それは学習方法を変えるが、焦点を絞ることを広範さよりも有利にするリソース制約を除去するわけではないと指摘される。