NASA Sends Google's Gemma 3 Language Model to Orbit

Лаборатория реактивного движения NASA (Jet Propulsion Laboratory) отправила на орбиту модель Google Gemma 3, достигнув первой демонстрации работы vision-language модели, анализирующей снимки со спутникового сенсора прямо в космосе. Система под названием NAVI-Orbital использовала Gemma 3 для анализа изображений, полученных с камеры спутника YAM-9, построенного компанией Loft Orbital. NAVI-Orbital представляет собой агентный программный фреймворк, разработанный Хуаном М. Дельфой (Juan M. Delfa), Тараном Сириаком Джоном (Taran Cyriac John) из NASA JPL и Эндрю У. Херсоном (Andrew W. Herson) из Loft Orbital. Он координирует операции с помощью дирижёра на основе LangGraph и развёртывает сжатую 4-битную версию модели Gemma 3 4B с открытыми весами, которая генерирует текстовые описания изображений. При классификации изображений из бенчмарк-набора из 7960 снимков система показала точность 88%, при этом модель не обучалась специально на этом наборе данных. После вывода на орбиту исследователи провели два теста с живой съёмкой: над Тулузой (Франция) и побережьем Аргентины. Gemma 3 работала на вычислительном модуле Nvidia Jetson Orin AGX, потребляющем от 150 до 500 ватт от солнечных панелей спутника. По словам Пола Лассерра (Paul Lasserre), генерального менеджера Loft Orbital, vision-LLM могут обеспечить «смену парадигмы» для орбитальных операций за счёт «семантического сжатия» — передачи текстовых сводок вместо больших объёмов сырых данных, что особенно важно при ограниченной пропускной способности каналов связи. В перспективе такая технология может ускорить обнаружение пожаров или других событий, а также стать основой для взаимодействия астронавтов с системами космических аппаратов через естественный язык.