코드가 결정하고 LLM이 돕는다: AI 러닝 코치 만들기

저자는 텔레그램에서 '클로드 드 페이스'라는 AI 러닝 코치 봇을 개발했습니다. 사용자가 가벼운 운동을 토요일로 옮겨 달라고 요청했지만, 모델이 실수로 목요일 운동을 변경하는 중대한 사건이 발생했습니다. 이로 인해 '코드는 비즈니스 불변식을 강제해야 하며, LLM이 그렇게 해서는 안 된다'는 원칙이 생겼습니다. 시스템은 모델의 자유도를 줄이는 방향으로 발전했으며, 엄격한 JSON 스키마, 검증, 결정적 대체 로직을 사용합니다. 봇은 프랑스 코치의 페르소나를 유지하며, 대화에서 추출한 사실을 사용하여 응답을 개인화합니다. 실제 사용자 테스트에서 버튼 무시나 잘못된 분류 같은 문제가 드러났고, 일정 변경에 대한 초안 확인 기능과 같은 개선이 이루어졌습니다. 저자는 또한 로그를 분석하고 코드 패치를 제안하는 AI 에이전트를 구축하여 약 30개의 개선을 이루었습니다. 20명 이상의 활성 사용자가 귀중한 피드백을 제공했습니다. 향후 계획으로는 스마트워치와의 통합, 레이스 캘린더 및 운동 공유와 같은 사회적 기능 추가가 있습니다.