DeepSeek deutet R2-Modell an und stellt neue Inferenz-Skalierungsmethode SPCT vor

DeepSeek AI hat ein Paper mit dem Titel „Inference-Time Scaling for Generalist Reward Modeling“ veröffentlicht, das eine neue Methode namens Self-Principled Critique Tuning (SPCT) vorstellt. SPCT verbessert allgemeine Belohnungsmodelle (Generalist Reward Models, GRMs), indem es dynamisch Prinzipien und Kritiken durch Rejection Fine-Tuning und regelbasiertes Online-Verstärkungslernen generiert. Der Ansatz zielt darauf ab, die Skalierbarkeit während der Inferenz zu verbessern und die Belohnungssparsität zu adressieren – ein großes Hindernis bei der Skalierung von Verstärkungslernen für Large Language Models (LLMs). DeepSeek‘s R1-Serie hat bereits reines Verstärkungslernen validiert; das Unternehmen deutet nun auf das nächste Modell der Generation R2 hin, das auf diesen Fortschritten aufbauen soll. Der Wandel in der LLM-Skalierung vom Vortraining zum Nachtraining, insbesondere zur Inferenzphase, folgt Modellen wie OpenAI‘s o1, das umfangreiches internes Chain-of-Thought-Reasoning nutzt.