Stem AI-agent gespreksteller: 13 testsituaties en kosten tot op de cent
Яндекс
Anthropic
Een ingenieur ontwikkelde een stem-AI-agent voor een klein productiebedrijf, die gemiste oproepen afhandelt en via sms-ordercards aanmaakt. Hij bouwde een gedetailleerd systeem voor kostprijs- en statistiekregistratie, waarbij hij 27 velden per oproep logt, en creëerde 13 testsituaties om het systeem te evalueren. De kosten per doelgerichte oproep bedragen 6,8–8,4 roebel, waarbij tokens (promptverwerking) twee derde van de uitgaven voor hun rekening nemen.
Een engineer heeft een AI-spraakagent opgezet voor de telefoonlijn van een klein productiebedrijf. Het systeem gebruikt Voximplant voor telefonie, Yandex Realtime (speech-realtime-250923) voor spraak en Claude voor het aanmaken van orderkaarten. Aanvankelijk had het systeem een vertraging van 4 seconden, maar door gebruik te maken van een bridgeserver komt het eerste geluid binnen 554-804 ms binnen. Vervolgens bouwde de engineer een systeem voor aangepaste metrieken en kostentracking, waarbij 27 velden per gesprek in SQLite werden gelogd. Drie belangrijke inzichten kwamen naar voren: persoonlijke en spamoproepen werden aanvankelijk verkeerd geclassificeerd als doelgesprekken, het annuleren van een awaitende coroutine kon gesprekslogs stilletjes laten verdwijnen, en modellen vragen vaak om telefoonnummers die ze al weten. De engineer ontdekte ook dat tokengerelateerde kosten domineren (66% van de uitgaven), en dat een goedkoper Yandex-model slechter presteerde. Na verificatie lag de nauwkeurigheid van de teller binnen 1% van de facturatie. De kosten per doelgesprek bedragen 6,8-8,4 roebel, en de engineer creëerde 13 examenscenario's om het systeem te testen. Het artikel concludeert dat API-gebaseerde meting eerlijker is dan abonnementen voor het doorverkopen van diensten.
Bron: Habr — хаб ИИ —
origineel