AI 에이전트 사용 시 도전과제와 경험: 알아야 할 사항

CRM 시스템 '메가플랜'과 AI 어시스턴트 콜라비스(Collabis)를 갖춘 지식 베이스 개발사의 디렉터 세르게이 코즐로프는 콜라비스 개발 책임자 이고르 수호베르호프와 함께 AI 에이전트 도입 경험을 공유합니다. 이들은 에이전트의 작업 품질이 지식 베이스가 얼마나 잘 구조화되어 있는지에 크게 좌우된다고 지적합니다. 지식 베이스가 엉망이면 AI 응답도 부정확해집니다. 맥락도 중요합니다. 단순히 '멋지게 만들어'라고 쓰는 것으로는 부족하며, 에이전트를 작업 맥락에 깊이 몰입시켜야 합니다. 현대적인 AI 접근 방식은 루프 엔지니어링(loop engineering)으로, 핵심 요소는 에이전트가 작업을 수행하고 도구를 사용하는 방식입니다. 저자들은 AI가 잘못된 방향으로 가면 시간과 토큰을 낭비한다고 경고합니다. 예를 들어 테스터의 작업에서 깨진 버튼을 지적하는 대신 에이전트가 코드를 파고들어 수정을 시도했습니다. 대부분의 모델은 단순하고 명확하게 정의된 작업을 잘 처리하지만, 복잡한 다단계 작업은 더 비싼 모델이 필요합니다. 이들은 인간과 마찬가지로 시작 부분을 잊어버릴 수 있습니다. 수동 제어는 필수입니다. 오늘날의 에이전트는 주니어와 같아서, 그 작업을 시니어가 확인해야 합니다. 해외 모델에 대한 접근 차단 위험도 언급되며, 개인 지식 베이스에 데이터를 저장하는 것이 권장됩니다. '메가플랜'은 데이터 전송을 위한 MCP 서버를 개발했으며, 로컬에서 실행되는 GPT 5.6 기반 펫 프로젝트(Pet project)도 있습니다.