LLM 기반 퇴직 인터뷰: 페이월 해제 시 사용자 의견 수집

한 개발자가 프리미엄(freemium) 온라인 보드 게임을 위한 LLM 기반 퇴사 인터뷰 봇을 만들었다. 사용자가 유료화 장벽(paywall)을 닫으면 별도의 채팅이 나타나 최대 5개의 질문을 한다. 2주 동안 59개의 세션이 발생했고, 20개의 응답(34%)이 있었다. 주요 발견은 상당수의 사용자가 제목에 '무료'라는 단어가 포함된 검색을 통해 유입되었다는 점이었다. 이 시스템은 별도의 데이터베이스 테이블, 트랜잭션 기반 응답 제한, 오래된 세션 정리, 구조화된 메모를 생성하기 위한 두 번째 LLM 호출, 텔레그램(Telegram)으로의 웹훅(webhook)을 사용한다. 이 기사는 데이터베이스 스키마, 제한된 트랜잭션 코드, 시스템 프롬프트와 메모 프롬프트를 공유한다. 결과적으로 응답자 20명 중 7명이 제품이 무료일 것으로 기대했으며, 이로 인해 사이트 제목을 빠르게 수정했다. 이 도구는 유료화 장벽, 장바구니 포기, 구독 취소와 같은 이탈 순간이 있는 모든 제품에 사용자가 페이지에 머무르는 한 권장된다.