Tymbal: нейросинтезатор на одном чипе
Tymbal — это полифонический синтезатор реального времени, работающий на одном микроконтроллере STM32N657 (Cortex-M55 + нейропроцессор Neural-ART). Он использует нейронную сеть TCN как остаточный оптимизатор для придания нелинейного характера детерминированному гармоническому скелету, при соблюдении строгих бюджетов циклов и отсутствии сбоев. В проекте подробно описана оптимизация от преобразований графа до управления памятью, что позволило достичь производительности реального времени на устройстве.
Tymbal — это полифонический синтезатор реального времени на одной плате NUCLEO-N657X0-Q (STM32N657: Cortex-M55 на 800 МГц + NPU Neural-ART), управляемый через MIDI-клавиатуру, с выходом I2S-DAC. Аудио вычисляется блоками по 4 мс; на частоте 800 МГц это 3,2 миллиона циклов на блок для всего: голоса, гармонический синтез, нейронная сеть, банк фильтров, расстройка, лимитер, без единого недогруза.
Показать ещё ↓
Источник: Habr — хаб ML —
оригинал