研究开源 🇺🇸 11.08.2026 04:02

SQLite压缩文本历史原型

OpenAIOpenAI
西蒙·威利森分享了他使用压缩的JSON数组存储所有先前版本来在SQLite中保存修订历史的构想。他先与GPT-Live语音模式讨论了该原型,随后让GPT-5.6 Sol Pro构建实验性原型,这些原型展现了出色的压缩效果。
西蒙·威利森对在关系数据库中存储修订历史的各种选项很感兴趣。在一次遛狗时,他萌生了一个想法:将每个先前版本的全文放在一个大的JSON字符串数组中,然后对整个数组应用zlib或zstd压缩。他在ChatGPT iPhone应用中通过GPT-Live语音模式讨论了这个原型,解释说表上的历史列可以是一个存储所有先前文档的压缩JSON数组的BLOB,外加一个不需要压缩的单独JSON时间戳数组。随后,他向GPT-5.6 Sol Pro输入了一个文本提示,要求其用Python构建实验原型。这些原型效果很好:对一篇文档进行1000次模拟修订,产生了20.4 MB的原始修订文本,在压缩为Zstandard压缩的JSON数组后,体积缩减至80.3 KB。为了避免每次编辑时对整个数组进行解压和重新压缩的开销,Sol建议将历史记录拆分成多行,每行最多包含128次修订或3MB未压缩的JSON。
来源: Simon Willison — 原文
我们之前关于此话题的帖子 ↓
最新新闻