NASA schickt Googles Sprachmodell Gemma 3 ins All

NASA Jet Propulsion Laboratory hat ein Modell von Google Gemma 3 ins All geschickt und damit die erste Demonstration eines Vision-Language-Modells erreicht, das Satellitenbilder direkt im Weltraum analysiert. Das System namens NAVI-Orbital nutzte Gemma 3, um Bilder von der Kamera des Satelliten YAM-9 auszuwerten, der von Loft Orbital gebaut wurde. NAVI-Orbital ist ein agentenbasiertes Software-Framework, das von Juan M. Delfa, Taran Cyriac John vom NASA JPL und Andrew W. Herson von Loft Orbital entwickelt wurde. Es koordiniert die Abläufe über einen Dirigenten auf Basis von LangGraph und setzt eine komprimierte 4-Bit-Version des Open-Weight-Modells Gemma 3 4B ein, das Textbeschreibungen der Bilder erzeugt. Bei der Klassifizierung von Bildern aus einem Benchmark-Set mit 7960 Aufnahmen erreichte das System eine Genauigkeit von 88 Prozent, obwohl das Modell nicht speziell auf diesem Datensatz trainiert wurde. Nach dem Aussetzen in die Umlaufbahn führten die Forscher zwei Tests mit Live-Aufnahmen durch: über Toulouse (Frankreich) und der Küste Argentiniens. Gemma 3 lief auf einem Nvidia Jetson Orin AGX-Modul, das zwischen 150 und 500 Watt von den Solarpaneelen des Satelliten bezieht. Laut Paul Lasserre, General Manager von Loft Orbital, könnten Vision-LLMs einen „Paradigmenwechsel“ für Orbitaloperationen bewirken, indem sie „semantische Kompression“ ermöglichen – die Übertragung von Textzusammenfassungen statt großer Mengen an Rohdaten, was bei begrenzter Bandbreite der Kommunikationskanäle besonders wichtig ist. Langfristig könnte eine solche Technologie die Erkennung von Bränden oder anderen Ereignissen beschleunigen und als Grundlage für die Interaktion von Astronauten mit Raumfahrzeugsystemen in natürlicher Sprache dienen.