DeepSeek insinúa el modelo R2 y presenta nuevo método de escalado de inferencia SPCT

DeepSeek AI publicó un artículo titulado 'Inference-Time Scaling for Generalist Reward Modeling' en el que presenta un nuevo método llamado Self-Principled Critique Tuning (SPCT). SPCT mejora los modelos de recompensa generalistas (GRM, por sus siglas en inglés) generando principios y críticas de forma dinámica mediante el ajuste por rechazo y el aprendizaje por refuerzo en línea basado en reglas. El enfoque busca mejorar la escalabilidad durante la inferencia, abordando la escasez de recompensa, un obstáculo importante en la ampliación del aprendizaje por refuerzo para LLM. La serie R1 de DeepSeek ya validó el entrenamiento puro con refuerzo; la empresa ahora insinúa el modelo de próxima generación R2, que se espera que se base en estos avances. El cambio en la escalabilidad de los LLM del preentrenamiento al postentrenamiento, especialmente en la fase de inferencia, sigue a modelos como el o1 de OpenAI, que utiliza un razonamiento extenso de cadena de pensamiento interna.