基于信息论的可视化系统设计

伯克利AI实验室（BAIR）提出了一种基于直接测量信息内容的新型成像系统设计方法。在许多系统中——从智能手机到核磁共振成像、激光雷达——测量本身并非为人类感知设计，但AI能够从中提取有用的信息。传统的质量指标（分辨率、信噪比）单独评估各个因素，而通过训练神经网络进行重建或分类则会将硬件质量与算法性能混为一谈。作者提出仅利用含噪数据及已知的噪声模型（光子泊松噪声和读出高斯噪声）来评估物体与测量之间的互信息。这允许将评估分解为两个部分：测量熵（通过概率模型如变换器评估）和条件熵（通过解析计算）。该方法在四个领域进行了验证：彩色摄影（拜耳滤镜选择）、射电天文学（望远镜布局选择）、无透镜成像和显微术。在所有情况下，信息评估都与神经网络重建质量相关。基于该方法，他们开发了IDEAL（信息驱动的编码器分析学习）方法，通过沿信息评估梯度上升优化成像系统参数（如色彩滤镜），无需训练解码器。结果表明，IDEAL实现了与端到端训练相当的质量，但内存和计算开销更小。作者认为，该方法不仅适用于成像，还可应用于其他类型传感器——电子、生物、化学等。