NASA Sends Google's Gemma 3 Language Model to Orbit

Лаборатория реактивного движения NASA (Jet Propulsion Laboratory) вывела на орбиту модель Google Gemma 3, впервые продемонстрировав работу мультимодальной модели зрения и языка (vision-language model), которая анализирует снимки со спутникового сенсора непосредственно в космосе. Система под названием NAVI-Orbital использовала Gemma 3 для анализа изображений, полученных с камеры спутника YAM-9, созданного компанией Loft Orbital. NAVI-Orbital представляет собой агентный программный фреймворк, разработанный Хуаном М. Дельфой, Тараном Сириаком Джоном из NASA JPL и Эндрю У. Херсоном из Loft Orbital. Он координирует операции с помощью диспетчера на основе LangGraph и развёртывает сжатую 4-битную версию модели Gemma 3 4B с открытыми весами, которая генерирует текстовые описания изображений. При классификации изображений из эталонного набора данных, содержащего 7960 снимков, система показала точность 88%, при этом модель не обучалась специально на этом наборе. После вывода на орбиту исследователи провели два теста с живой съёмкой: над Тулузой (Франция) и побережьем Аргентины. Gemma 3 работала на вычислительном модуле Nvidia Jetson Orin AGX, потребляющем от 150 до 500 ватт от солнечных панелей спутника. По словам Пола Лассерра, генерального менеджера Loft Orbital, мультимодальные модели зрения и языка большого размера (Vision Large Language Models) могут обеспечить «смену парадигмы» для орбитальных операций за счёт «семантического сжатия» — передачи текстовых сводок вместо больших объёмов сырых данных, что особенно важно при ограниченной пропускной способности каналов связи. В перспективе такая технология может ускорить обнаружение пожаров или других событий, а также стать основой для взаимодействия астронавтов с системами космических аппаратов через естественный язык.