Prototipos de historial de texto comprimido en SQLite
OpenAI
Simon Willison comparte su idea de almacenar historiales de revisiones en SQLite utilizando matrices JSON comprimidas con todas las versiones anteriores. Analiza el prototipo con el modo de voz de GPT-Live y luego consigue que GPT-5.6 Sol Pro construya prototipos experimentales, que muestran excelentes resultados de compresión.
Simon Willison está interesado en opciones para almacenar historiales de revisiones en bases de datos relacionales. Mientras paseaba a su perro, tuvo una idea: tomar el texto completo de cada versión anterior en un gran arreglo JSON de cadenas y aplicar compresión zlib o zstd a todo el conjunto. Discutió el prototipo con el modo de voz GPT-Live en la aplicación de ChatGPT para iPhone, explicando que una columna de historial en una tabla podría ser un blob que almacena un arreglo JSON comprimido de todos los documentos anteriores, más un arreglo JSON separado de marcas de tiempo que no necesita compresión. Luego escribió un mensaje de texto a GPT-5.6 Sol Pro para construir prototipos experimentales en Python. Los prototipos funcionaron bien: 1,000 revisiones simuladas de un documento resultaron en 20.4 MB de texto de revisión en bruto que se comprimieron a 80.3 KB como un arreglo JSON comprimido con Zstandard. Para evitar la sobrecarga de descomprimir y recomprimir todo el arreglo en cada edición, Sol sugirió dividir el historial en múltiples filas, cada una conteniendo un máximo de 128 revisiones o 3 MB de JSON sin comprimir.
Fuente: Simon Willison —
original