Protótipos de histórico de texto comprimido em SQLite
OpenAI
Simon Willison compartilha sua ideia de armazenar históricos de revisão em SQLite usando arrays JSON comprimidos de todas as versões anteriores. Ele discute o protótipo com o modo de voz GPT-Live e depois faz o GPT-5.6 Sol Pro construir protótipos experimentais, que mostram excelentes resultados de compressão.
Simon Willison está interessado em opções para armazenar históricos de revisões em bancos de dados relacionais. Durante uma caminhada com o cachorro, teve uma ideia: pegar o texto completo de cada versão anterior em um grande array JSON de strings e aplicar compressão zlib ou zstd no conjunto todo. Ele discutiu o protótipo com o modo de voz GPT-Live no aplicativo do ChatGPT para iPhone, explicando que uma coluna de histórico em uma tabela poderia ser um blob que armazena um array JSON comprimido de todos os documentos anteriores, além de um array JSON separado de timestamps que não precisa de compressão. Em seguida, ele digitou um prompt de texto para o GPT-5.6 Sol Pro para construir protótipos experimentais em Python. Os protótipos funcionaram bem: 1.000 revisões simuladas de um documento resultaram em 20,4 MB de texto bruto de revisão que comprimiram para 80,3 KB como um array JSON comprimido com Zstandard. Para evitar a sobrecarga de descomprimir e recomprimir todo o array a cada edição, Sol sugeriu dividir o histórico em várias linhas, cada uma contendo no máximo 128 revisões ou 3 MB de JSON não comprimido.
Fonte: Simon Willison —
original