Article annuel sur l'IA : les mécanismes anti-distillation des trois principaux modèles sont cassés, les petits modèles extraient les chaînes de raisonnement cachées, anomalie de récurrence de Kimi-K3

Un rapport annuel sur l'IA fait état d'une avancée majeure dans les mécanismes de défense contre la distillation de modèles de trois modèles d'IA leaders. Les chercheurs ont démontré que de petits modèles peuvent efficacement extraire la chaîne de pensée cachée de modèles plus grands, compromettant ainsi les protections conçues pour empêcher cette extraction. Le phénomène a été reproduit avec une anomalie de probabilité impliquant Kimi-K3, un modèle de Moonshot AI. Cette évolution soulève des inquiétudes quant à la sécurité et à la propriété intellectuelle des systèmes d'IA avancés.