MIT stellt SEAL vor: Ein neuer Schritt zu selbstverbessernder KI
MIT
Meta
Alibaba/Qwen
OpenAI
DeepMind
Forscher am MIT haben SEAL (Self-Adapting LLMs) vorgeschlagen, ein Framework, das großen Sprachmodellen ermöglicht, ihre eigenen Gewichte durch bestärkendes Lernen zu aktualisieren. Die Methode generiert Selbst-Editierungen, um Trainingsdaten zu erzeugen, und verbessert die Leistung bei nachgelagerten Aufgaben. Experimentelle Ergebnisse zu Few-Shot-Lernen und Wissensintegration zeigen signifikante Verbesserungen gegenüber den Baselines.
Forscher des MIT veröffentlichten ein Papier mit dem Titel "Self-Adapting Language Models" (Selbstanpassende Sprachmodelle), in dem sie SEAL vorstellen, ein Framework, das es großen Sprachmodellen (Large Language Models, LLMs) ermöglicht, ihre eigenen Gewichte zu aktualisieren. Das Modell generiert synthetische Trainingsdaten durch Selbstbearbeitung, die über bestärkendes Lernen (Reinforcement Learning) erlernt wird. Die Belohnung basiert auf der nachgelagerten Leistung des aktualisierten Modells. In Experimenten zum Few-Shot-Lernen mit Llama-3.2-1B-Instruct wurde eine Anpassungserfolgsrate von 72,5 % erreicht, weit über den Basislinien. Bei der Wissensintegration mit Qwen2.5-7B übertraf SEAL durchweg die Basislinien und übertraf nach zwei Iterationen manchmal sogar die mit GPT-4.1 generierten Daten. Das Papier weist auf Einschränkungen hin, darunter katastrophales Vergessen und Rechenaufwand. Der Zeitpunkt fällt mit dem wachsenden Interesse an selbstentwickelnder KI zusammen, einschließlich verwandter Arbeiten von Sakana AI/UBC, CMU, SJTU und CUHK/vivo sowie Kommentaren von OpenAI-CEO Sam Altman.
Quelle: Synced —
Original