condense-json 1.0 publié : compression JSON efficace pour les chaînes dupliquées
Simon Willison a annoncé la sortie de la version 1.0 de sa bibliothèque condense-json. Cette bibliothèque compresse le JSON en remplaçant les chaînes dupliquées par des références à un objet de remplacements, réduisant ainsi l'espace de stockage. Elle est utilisée dans les journaux SQLite pour l'outil LLM.
Simon Willison a publié la version 1.0 de sa bibliothèque condense-json, en développement depuis un an et demi. La bibliothèque fournit les fonctions condense_json et uncondense_json. condense_json prend en entrée un JSON et un objet replacements contenant des chaînes et sous-chaînes à remplacer ; elle analyse l'entrée à la recherche d'occurrences et les remplace par une syntaxe spéciale comme {"$r": ["partie de chaîne", {"$": "1"}]} qui référence les remplacements par clé. uncondense_json annule cet effet. L'objectif est de faciliter le stockage de JSON contenant des données dupliquées provenant de structures connexes. Willison utilise cela pour économiser de l'espace dans les journaux SQLite générés par son outil LLM, en référence à la demande de tirage n° 1586 pour la dernière itération.
Source: Simon Willison —
original
