AI 가시성 보장은 불가능하다: 브랜드가 대신 측정해야 할 것
OpenAI
Perplexity AI
이 기사는 ChatGPT와 같은 AI 챗봇의 응답에서 브랜드가 포함되는 것을 보장할 수 없는 이유가 언어 모델의 확률적 특성 때문임을 설명합니다. 브랜드 가시성을 측정하는 신뢰할 수 있는 지표로 Share of Model을 소개하고, 브랜드는 빈 약속 대신 측정 가능한 지표를 제공하는 계약업체를 찾아야 한다고 조언합니다.
AI 브랜드 가시성 분야에서 일하는 저자는 ChatGPT 답변 상단에 브랜드를 노출시키겠다는 상업적 제안을 세 건 받았으며, 30일 이내에 특정 순위까지 보장한다는 내용이었다. 그는 이러한 보장이 물리적으로 불가능하다고 설명한다. AI 모델은 텍스트를 확률적으로 단어 단위로 생성하기 때문이다. 온도를 0으로 설정하고 시드를 고정하더라도 서버 계산과 배칭의 미세한 차이로 인해 출력이 달라질 수 있다. 게다가 현대 모델은 여러 소규모 모델의 앙상블로 구성되어 예측 불가능성이 더욱 커진다. 또한 AI 답변은 모델의 훈련 데이터와 실시간 웹 검색에 의존하는데, 이 둘은 독립적으로 변하며 브랜드가 통제할 수 없다. 대신 저자는 브랜드가 직접적인 힌트 없이 언급되는 통제된 프롬프트의 비율인 '모델 점유율'을 측정할 것을 제안한다. 콘텐츠 최적화 전후로 실제 프롬프트 15-20개 샘플을 실행하여 비교하는 방식이다. 그는 2024년 Aggarwal 외 연구진의 연구를 인용하며, 적절한 최적화를 통해 인용 빈도가 30-115% 증가했다고 언급했다. 또한 특정 순위나 여러 플랫폼에서의 통일된 성장률을 약속하는 계약자의 위험 신호를 경고하며, 순위 보장보다는 재현 가능한 측정을 요구할 것을 조언한다.
출처: Habr — хаб NLP —
원문
