컨텍스트 엔지니어링: 정의, LLM 에이전트 컨텍스트 작업 방법, 그리고 보상을 받는 이유

컨텍스트 엔지니어링은 LLM 추론 중 최적의 컨텍스트, 즉 유용한 토큰의 최소 집합을 수집하고 유지하기 위한 전략의 집합입니다. 이는 명령어만 다루는 프롬프트 엔지니어링과 달리, 모델이 명령어와 함께 수신하는 모든 것(기록, 문서, 도구, 메모리, 상태)을 관리합니다. RAG는 외부 지식을 도입하고, MCP(Message Control Protocol)는 데이터 및 도구에 대한 연결을 표준화하며, 컨텍스트 엔지니어링은 이 모든 것을 에이전트의 다음 단계를 위한 컨텍스트로 조합하는 방법을 결정합니다. 에이전트의 컨텍스트는 여러 계층으로 구성됩니다: 사용자 쿼리, 시스템 프롬프트, 도구, 퓨샷 예제(few-shot examples), RAG의 데이터, 메시지 기록 및 도구 호출, 메모리, 현재 상태(스크래치패드)입니다. 최신 LLM은 큰 컨텍스트 윈도우를 가지지만, Chroma의 보고서 '컨텍스트 부패(Context Rot)'는 사용되는 컨텍스트가 커짐에 따라 간단한 작업에서도 품질이 저하될 수 있음을 보여주었습니다. Drew Breunig는 네 가지 전형적인 컨텍스트 실패 시나리오를 식별했습니다: 컨텍스트 중독(오류가 컨텍스트에 들어와 반복됨), 컨텍스트 방해(필요한 정보가 관련 없는 데이터 사이에 손실됨), 컨텍스트 혼동(모델이 유사한 도구/문서 간에 혼란을 겪음), 컨텍스트 충돌(우선순위 규칙 없이 충돌하는 데이터)입니다. LangChain은 컨텍스트 관리를 위한 네 가지 행동을 제안합니다: 쓰기(중요한 정보를 외부 상태에 저장), 선택(관련 콘텐츠 선택), 압축(압축), 격리(별도의 컨텍스트로 이동)입니다.