Ontwerpen van visualisatiesystemen op basis van informatietheorie

Het BAIR-laboratorium (Berkeley Artificial Intelligence Research) heeft een nieuwe aanpak gepresenteerd voor het ontwerpen van visualisatiesystemen, gebaseerd op directe meting van informatie-inhoud. In veel systemen – van smartphones tot MRI-scanners en lidar – zijn metingen niet bedoeld voor menselijke waarneming, maar kunstmatige intelligentie kan er wel nuttige informatie uit halen. Traditionele kwaliteitsmetrics (resolutie, signaal-ruisverhouding) evalueren factoren afzonderlijk, en het trainen van neurale netwerken voor reconstructie of classificatie vermengt de kwaliteit van hardware en algoritmen. De auteurs stelden voor om de wederzijdse informatie tussen het object en de meting te schatten, gebruikmakend van alleen ruizige data en een bekend ruismodel (Poisson-ruis van fotonen en Gaussische ruis van uitlezing). Dit maakt het mogelijk de schatting op te splitsen in twee componenten: de entropie van de metingen (geschat met een probabilistisch model, bijvoorbeeld een transformer) en de conditionele entropie (analytisch berekend). De methode werd getest in vier domeinen: kleurenfotografie (keuze van Bayer-filter), radioastronomie (keuze van telescoopopstelling), lensloze visualisatie en microscopie. In alle gevallen correleerde de informatieschatting met de reconstructiekwaliteit van het neurale netwerk. Op basis van deze aanpak is de methode IDEAL (Information-Driven Encoder Analysis Learning) ontwikkeld, die de parameters van het visualisatiesysteem optimaliseert (bijvoorbeeld het kleurenfilter) met behulp van gradiëntstijging op basis van de informatieschatting, zonder dat een decoder getraind hoeft te worden. Resultaten toonden aan dat IDEAL dezelfde kwaliteit bereikt als end-to-end training, maar met minder geheugen- en rekenvereisten. Volgens de auteurs kan de methode niet alleen worden toegepast in visualisatie, maar ook in andere soorten sensoren – elektronisch, biologisch, chemisch.