Kategorien des Inference-Time Scalings zur Verbesserung des LLM-Reasonings

Inference-Time Scaling verbessert die Antwortqualität von Large Language Models (LLMs), indem während der Inferenz mehr Rechenleistung eingesetzt wird. Dieser Artikel kategorisiert die Ansätze und bespricht aktuelle Arbeiten, die zeigen, dass große LLM-Anbieter auf solche Techniken setzen.

OpenAI

Google bewertet die Ausrichtung von Verhaltenstendenzen in großen Sprachmodellen

Google Research führt ein Framework ein, das psychologische Fragebögen in situative Urteilstests (SJTs) umwandelt, um die verhaltensbezogene Ausrichtung von LLMs zu bewerten. Tests an 25 Modellen zeigen, dass kleinere Modelle oft vom menschlichen Konsens abweichen, während größere Modelle eine verbesserte, aber unvollkommene Ausrichtung aufweisen. Die Studie stellt zudem fest, dass Modelle übermäßig selbstsicher sind, wenn menschliche Meinungen auseinandergehen.

Google/DeepMind