Conception de systèmes de visualisation basés sur la théorie de l'information

Le laboratoire BAIR (Berkeley AI) a présenté une nouvelle approche pour la conception de systèmes de visualisation, basée sur la mesure directe du contenu informationnel. Dans de nombreux systèmes — des smartphones aux IRM en passant par les lidars — les mesures ne sont pas destinées à être perçues par l'humain, mais l'IA est capable d'en extraire des informations utiles. Les métriques de qualité traditionnelles (résolution, rapport signal sur bruit) évaluent les facteurs séparément, et l'apprentissage de réseaux de neurones pour la reconstruction ou la classification mélange la qualité du matériel et celle des algorithmes. Les auteurs ont proposé d'évaluer l'information mutuelle entre l'objet et la mesure, en utilisant uniquement des données bruitées et un modèle de bruit connu (bruit de photons poissonnien et bruit de lecture gaussien). Cela permet de décomposer l'évaluation en deux composantes : l'entropie des mesures (estimée par un modèle probabiliste, par exemple un transformeur) et l'entropie conditionnelle (calculée analytiquement). La méthode a été testée dans quatre domaines : la photographie couleur (choix du filtre de Bayer), la radioastronomie (choix du positionnement des télescopes), l'imagerie sans lentille et la microscopie. Dans tous les cas, l'estimation de l'information était corrélée à la qualité de la reconstruction par réseau de neurones. Sur la base de cette approche, une méthode appelée IDEAL (Information-Driven Encoder Analysis Learning) a été développée, qui optimise les paramètres du système de visualisation (par exemple, le filtre couleur) par ascension de gradient sur l'estimation de l'information, sans nécessiter l'apprentissage d'un décodeur. Les résultats ont montré qu'IDEAL atteint la même qualité qu'un apprentissage de bout en bout, mais avec des coûts de mémoire et de calcul réduits. Selon les auteurs, la méthode pourrait être appliquée non seulement à la visualisation, mais aussi à d'autres types de capteurs — électroniques, biologiques, chimiques.