아키텍처 부족으로 인한 세 가지 AI 사고: 딜로이트, 플록, 그리고 월 38달러 MRR의 SaaS 대참사

대규모 언어 모델 시스템을 설계한 한 전문가가 세 건의 주목할 만한 AI 사고를 분석했으며, 각 사고는 서로 다른 아키텍처 결함으로 인해 발생했습니다. 델로이트 오스트레일리아의 AI 생성 보고서는 사람의 검토를 거쳤음에도 허위 출처를 포함했고, 플록의 카메라 네트워크는 번호판이 잘려나간 차량을 도난차로 잘못 식별해 기자의 차량을 오인했으며, 한 소프트웨어 서비스 창업자는 모델이 작성한 AI 에이전트가 모든 구독을 취소해 월간 반복 수익을 38달러로 낮췄습니다. 공통된 원인은 프롬프트 엔지니어링은 알지만 시스템 설계는 모르는 사람들이 아키텍처를 구축했다는 점이었습니다. 저자는 세 가지 원칙을 제안합니다. 제어는 프롬프트가 아닌 결정론적 코드에 있어야 하며, 확률적 구성 요소가 중요한 경로에서 결정론적 구성 요소를 대체해서는 안 되며, 제어의 엄격성은 오류 비용에 맞춰 조정되어야 합니다. 해결 방안으로는 기계적 검증이 포함된 인용 사용, 구조화된 데이터에 대한 스키마 검증, 고위험 작업에 대한 필수 인간 개입이 있습니다.