线性弹性缓存：一种优化云成本的新缓存管理方法

Google Cloud和Google Research的研究人员提出了线性弹性缓存（Linear Elastic Caching），这是一种新的缓存管理方法，可最小化总体拥有成本（Total Cost of Ownership，TCO）。现代高性能数据库和云服务使用内存缓存（random access memory，RAM）来实现快速数据访问，但内存成本高昂（每吉比字节（GiB）每天高达3美元）。传统固定大小内存缓存面临一个问题：缓存太小会降低性能，太大则导致不必要的开销。弹性缓存动态调整缓存大小，将内存视为线性成本的资源，成本取决于数据量和存储时间。该问题通过“租滑雪板问题”（ski rental problem）算法解决，其中每个数据片段在“租用”（按时间付费存储）和“购买”（长期存储）之间选择。为了预测页面的最优生存时间（time to live，TTL），使用了一个浅层决策树，该树编译为几行C++代码，并考虑数据大小、缓存未命中成本和操作类型。在Spanner生产服务器上部署数月后，缓存成本降低了高达35%，而缓存未命中率仅上升了2.6%；由于考虑了未命中成本，实际对输入输出（input/output，I/O）的影响仅为0.5%。在公开轨迹上使用不同算法变体（包括在前半段轨迹上训练）进行的测试也证实了弹性方法相对于固定缓存优势，尤其是在内存成本高的情况下。该研究由Google的Tamas Sarlos和Ravi Kumar共同完成，并在2025年的CIDR会议上发表。