Экономия на LLM: китайская модель неожиданно начала писать иероглифами
Tencent
DeepSeek
Разработчик двуязычного новостного бота решил сменить модель ИИ на более дешёвую: Ling 2.6 Flash от Inclusion AI обходится в 8 раз дешевле DeepSeek V4 Flash и работает в 4 раза быстрее. Однако через час использования в ленте появились иероглифы: модель периодически «сваливалась» в родной китайский язык, особенно на длинных генерациях. Проблему решили добавлением детектора иероглифов с переспросом к чистой модели.
Автор новости ведёт двуязычную ленту новостей, где каждая новость проходит через LLM (около 936 вызовов в сутки) для категоризации, перевода, тона и разбора. С целью экономии он перебрал бесплатные модели OpenRouter, но большинство оказались недоступны из-за политик данных, а работающие были слишком медленными. Затем он протестировал дешёвую платную модель inclusionai/ling-2.6-flash ($0.010 за
Показать ещё ↓
- Сокращения
- LLM = Large Language Model — большая языковая модель
Источник: Habr — хаб ML —
оригинал