Designing Visualization Systems Based on Information Theory

Лаборатория BAIR (Berkeley AI Research) представила новый подход к проектированию систем визуализации, основанный на прямом измерении информационного содержания. Во многих системах — от смартфонов до МРТ и лидаров — измерения не предназначены для восприятия человеком, но ИИ способен извлекать полезную информацию. Традиционные метрики качества (разрешение, отношение сигнал/шум) оценивают факторы по отдельности, а обучение нейросетей для реконструкции или классификации смешивает качество оборудования и алгоритмов. Авторы предложили оценивать взаимную информацию между объектом и измерением, используя только зашумленные данные и известную модель шума (пуассоновский шум фотонов и гауссовский шум считывания). Это позволяет разложить оценку на два компонента: энтропию измерений (оценивается вероятностной моделью, например трансформером) и условную энтропию (вычисляется аналитически). Метод был проверен на четырёх областях: цветная фотография (выбор фильтра Байера), радиоастрономия (выбор расположения телескопов), безлинзовая визуализация и микроскопия. Во всех случаях оценка информации коррелировала с качеством реконструкции нейросетью. На основе этого подхода разработан метод IDEAL (Information-Driven Encoder Analysis Learning), который оптимизирует параметры системы визуализации (например, цветовой фильтр) с помощью градиентного подъёма по оценке информации, не требуя обучения декодера. Результаты показали, что IDEAL достигает такого же качества, как сквозное обучение, но с меньшими затратами памяти и вычислений. По мнению авторов, метод может применяться не только в визуализации, но и в других типах сенсоров — электронных, биологических, химических.