SQLite 압축 텍스트 기록 프로토타입
OpenAI
Simon Willison이 SQLite에서 이전 버전 전체의 압축 JSON 배열을 사용하여 수정 기록을 저장하는 아이디어를 공유했습니다. 그는 GPT-Live 음성 모드로 프로토타입을 논의한 후, GPT-5.6 Sol Pro를 이용해 실험적 프로토타입을 구축했으며 우수한 압축 결과를 보여주었습니다.
Simon Willison은 관계형 데이터베이스에서 개정 이력을 저장하는 옵션에 관심을 갖고 있습니다. 개를 산책시키는 동안, 그는 아이디어를 떠올렸습니다: 이전 버전의 전체 텍스트를 큰 JSON 문자열 배열로 가져와서 전체에 zlib 또는 zstd 압축을 적용하는 것입니다. 그는 ChatGPT iPhone 앱의 GPT-Live 음성 모드와 프로토타입에 대해 논의하면서, 테이블의 history 열이 이전 문서 전체의 압축된 JSON 배열과 압축이 필요 없는 별도의 타임스탬프 JSON 배열을 저장하는 blob이 될 수 있다고 설명했습니다. 그런 다음 그는 GPT-5.6 Sol Pro에 텍스트 프롬프트를 입력하여 Python으로 실험적 프로토타입을 구축하도록 했습니다. 프로토타입은 잘 작동했습니다: 문서에 대한 1,000번의 시뮬레이션된 개정으로 20.4MB의 원시 개정 텍스트가 생성되었고, Zstandard로 압축된 JSON 배열로 80.3KB로 압축되었습니다. 모든 편집 시 전체 배열을 압축 해제하고 다시 압축하는 오버헤드를 피하기 위해, Sol은 히스토리를 여러 행으로 나누어 각 행이 최대 128개의 개정 또는 3MB의 압축되지 않은 JSON을 포함하도록 제안했습니다.
출처: Simon Willison —
원문