신경망이 토큰을 삼키는 이유: 긴 대화에서 무슨 일이 벌어지며 비용을 줄이는 방법

이 기사는 긴 대화에서 AI 모델이 과도하게 토큰을 소비하는 이유와 비용을 줄이는 방법을 다룬다. 기사는 Reddit에 올라온 사례들을 인용하는데, 한 사용자는 Claude를 사용하며 11억 5600만 개의 입력 토큰을 소진했고, 또 다른 사용자는 Claude Code 에이전트가 30분마다 풀 리퀘스트(pull request, PR)를 확인하도록 설정해두고 26시간 동안 멈추는 것을 잊어버려 총 46회 실행되면서 약 6000달러의 비용이 발생했다. 비용이 급증하는 기술적 이유는 새로운 요청마다 그동안 누적된 전체 맥락(context)이 함께 포함되기 때문이며, 이는 최대 80만 토큰까지 늘어날 수 있다. Anthropic은 자사 문서에서 맥락 크기가 커질수록 비용이 상승한다고 경고하며, 대화 기록을 삭제하거나 압축(compaction) 기능을 사용할 것을 권장한다. Chroma의 연구('Context Rot')와 2026년 연구('Diagnosing and Mitigating Context Rot')에 따르면, 입력이 길어질수록 맥락 창(context window)의 한계에 도달하기 전부터 성능이 저하되며, 특히 주의를 흩뜨리는 정보가 포함될 경우 더욱 그렇다. 프롬프트 캐싱(prompt caching)은 반복되는 접두사(prefix)에 대해서만 비용을 줄여줄 뿐, 불필요한 맥락 자체의 문제를 해결하지는 못한다. AI 에이전트의 경우 자율적으로 수많은 도구 작업을 수행하기 때문에 비용이 눈에 잘 띄지 않게 숨겨져 있다. 실질적인 절약 방법으로는 독립적인 작업을 분리해서 처리하는 것, Claude Code에서 /clear와 /compact 명령을 활용하는 것, 문서 전체가 아니라 관련된 부분만 제공하는 것, 안정적으로 반복되는 지시사항은 캐싱하는 것, 그리고 작업에 맞는 적절한 모델 등급을 선택하는 것 등이 있다(코딩에는 Sonnet, 복잡한 추론에는 Opus, 단순한 하위 에이전트 작업에는 Haiku를 사용하는 식이다). 저자는 또한 SYNTX.AI의 LLM Studio를 소개하는데, 이 서비스는 100개 이상의 AI 모델을 제공하며 하나의 대화 안에서도 모델을 자유롭게 전환할 수 있다는 특징이 있다. 프로모션 코드 CTRLAI를 입력하면 20% 할인을 받을 수 있다. 기사는 이제 프롬프트 엔지니어링(prompt engineering)에는 불필요한 정보를 걸러내는 작업까지 반드시 포함되어야 한다는 결론으로 마무리된다.