SQLiteにおける圧縮テキスト履歴のプロトタイプ

サイモン・ウィリソンは、リレーショナルデータベースに改訂履歴を保存するための選択肢に関心を持っています。犬の散歩中に、彼はあるアイデアを思いつきました。それは、以前のすべてのバージョンの全文を大きなJSON文字列配列として取り、その全体にzlibまたはzstd圧縮を適用するというものです。彼はChatGPT iPhoneアプリのGPT-Live音声モードでこのプロトタイプについて話し合い、テーブルの履歴カラムは、以前のすべての文書を圧縮したJSON配列を含むblobと、圧縮を必要としない別のJSONタイムスタンプ配列として保存できると説明しました。その後、彼はGPT-5.6 Sol Proにテキストプロンプトを入力し、Pythonで実験的なプロトタイプを構築しました。プロトタイプはうまく機能しました。文書への1,000回のシミュレーションされた改訂により、20.4 MBの生の改訂テキストが生成されましたが、Zstandardで圧縮されたJSON配列として80.3 KBに圧縮されました。編集のたびに配列全体を解凍および再圧縮するオーバーヘッドを避けるために、Solは履歴を複数の行に分割することを提案しました。各行には、最大128回の改訂または3MBの非圧縮JSONのいずれかが含まれるようにしました。