Thiết kế Hệ thống Hình ảnh Sử dụng Lý thuyết Thông tin

Trước đây, hai vấn đề đã cản trở các phương pháp tiếp cận dựa trên lý thuyết thông tin trong chụp ảnh: xem xét các hệ thống như các kênh không bị ràng buộc (dẫn đến ước lượng không chính xác) hoặc yêu cầu mô hình đối tượng rõ ràng (hạn chế tính tổng quát). Nhóm nghiên cứu Trí tuệ Nhân tạo Berkeley đã giải quyết cả hai vấn đề bằng cách ước lượng trực tiếp thông tin tương hỗ từ các phép đo, khai thác các mô hình nhiễu đã biết của hệ thống chụp ảnh. Họ phân rã thông tin tương hỗ thành tổng biến thiên đo lường trừ đi biến thiên chỉ do nhiễu; biến thiên chỉ do nhiễu được tính toán giải tích từ vật lý nhiễu, trong khi tổng biến thiên đo lường được học từ dữ liệu bằng các mô hình xác suất (quá trình Gaussian, Gaussian đầy đủ hoặc PixelCNN). Việc xác thực trên nhiếp ảnh màu, thiên văn vô tuyến, chụp ảnh không thấu kính và kính hiển vi cho thấy rằng các ước lượng thông tin cao hơn luôn dự đoán hiệu suất tốt hơn trong các tác vụ tái tạo hạ nguồn. Dựa trên điều này, họ giới thiệu Phân tích Học tập Bộ mã hóa Dựa trên Thông tin (IDEAL), sử dụng phương pháp gradient ascent trên các ước lượng thông tin để tối ưu hóa các tham số hệ thống chụp ảnh mà không cần mạng giải mã. Trong thiết kế bộ lọc màu, IDEAL đạt được kết quả tương đương tối ưu hóa đầu cuối (end-to-end) về cả thông tin và chất lượng tái tạo, đồng thời yêu cầu ít bộ nhớ và tính toán hơn. Khuôn khổ này hứa hẹn sẽ mở rộng ra ngoài lĩnh vực chụp ảnh sang các lĩnh vực cảm biến khác có đặc tính nhiễu đã biết.