Экономия на LLM: китайская модель неожиданно начала писать иероглифами
Tencent
DeepSeek
Бот-агрегатор новостей перешёл на более дешёвую китайскую модель (ling-2.6-flash), которая стоит в 8 раз меньше, но обнаружил, что модель часто генерирует китайские иероглифы в русскоязычном выводе. Разработчик добавил детектор символов CJK и переключение на более дорогую модель для очистки, что привело к чистой экономии около 42%.
Разработчик, запустивший бота для новостной ленты на двух языках, совершающего около 936 вызовов LLM в день, искал более дешёвые модели на OpenRouter. Из 17 бесплатных моделей только 3 оказались пригодными, и у них были проблемы, такие как скорость или отсутствие поддержки JSON. Затем разработчик нашёл платную китайскую модель inclusionai/ling-2.6-flash по цене $0,010 за миллион входных токенов,
Показать ещё ↓
Источник: Habr — хаб ML —
оригинал