Разработчик создал фреймворк на основе конечного автомата, чтобы LLM-чатботы надежно и недорого следовали сценариям
Разработчик описывает создание собственной библиотеки с открытым исходным кодом, которая заставляет чат-ботов на основе LLM строго следовать заранее заданному сценарию диалога, комбинируя конечный автомат с языковой моделью, вместо того чтобы полагаться на дорогостоящие многократные вызовы агентных архитектур. Проект, названный tg-statemachine-bot, разбивает разговоры на этапы, определенные в YAML-файлах, передавая модели только инструкции, относящиеся к текущему этапу, чтобы контекст оставался небольшим, а поведение предсказуемым.
Автор, работая над бизнес-чат-ботом, обнаружил, что большие языковые модели с трудом следуют длинным и детальным сценариям, потому что из-за широкого контекстного окна они теряют структуру при обработке длинных инструкций. Существующие агентные решения, разбивающие задачи на шаги, умножают количество вызовов модели и тем самым увеличивают стоимость каждого диалога. Чтобы решить эту проблему
Показать ещё ↓
Источник: Habr — хаб NLP —
оригинал