टिम्बल: एक एकल चिप पर तंत्रिका सिंथेसाइज़र

Tymbal एक पॉलीफोनिक रीयल-टाइम सिंथेसाइज़र है जो एकल NUCLEO-N657X0-Q बोर्ड (STM32N657: Cortex-M55 800 MHz + Neural-ART NPU) पर चलता है, MIDI कीबोर्ड से नियंत्रित होता है, और I2S-DAC आउटपुट रखता है। ऑडियो की गणना 4 ms के ब्लॉक में की जाती है; 800 MHz पर यह प्रति हॉप 3.2 मिलियन साइकिल होता है, जिसमें वॉयस, हार्मोनिक संश्लेषण, न्यूरल नेटवर्क, फिल्टर बैंक, डिट्यून, लिमिटर सब कुछ शामिल है, और बिना किसी अंडररन के। आर्किटेक्चर PQMF चार-सबबैंड डोमेन (प्रत्येक 12 kHz) का उपयोग करता है, जिससे लागत कम होती है और नेटवर्क को कॉम्पैक्ट इनपुट मिलता है। हार्मोनिक स्केलेटन को कॉम्प्लेक्स फिल्टर रिस्पॉन्स का उपयोग करके सीधे सबबैंड में रेंडर किया जाता है, जिसमें एंटी-चिपट्यून परत (ऑटो-यूनिसन, स्पेक्ट्रल ब्लूम, माइक्रो-ड्रिफ्ट) होती है। NPU पर एक कॉज़ल TCN जिसमें 12 लेयर, डिलेशन 1..32, C=88 चैनल होते हैं, रेज़िड्यूअल रिफाइनर के रूप में चलता है, PTQ के माध्यम से int8 में क्वांटाइज़ किया जाता है। मुख्य अंतर्दृष्टि यह थी कि रेज़िड्यूअल प्रेडिक्शन पर नेवली प्रशिक्षित नेटवर्क 520 गुणांक वाले रैखिक FIR से हार जाता है; समाधान यह था कि रैखिक भाग को 'ज़ीरो लेयर' के रूप में फ्रीज़ किया जाए (pred = FIR(x) + net(x)), ताकि नेटवर्क केवल नॉनलाइनियर रेज़िड्यूअल सीखे। अंतिम मूल्यांकन: केवल FIR देता है +11.25 dB सप्रेशन, FIR+net fp32 +17.16, int8 +16.89, जिसमें नेटवर्क +5.64 dB का योगदान देता है। व्यापक ब्रिंग-अप निष्कर्षों में रीसेट के बाद ECC रैंडम कंटेंट, अक्षम AXISRAM बैंक, NOR-फ्लैश पाथ समस्याएं, NPU क्लॉक डिवाइडर गलत (400 के बजाय 800 MHz), और एक गलत असर्ट शामिल हैं। बजट अनुकूलन 4.18M साइकिल/हॉप से शुरू हुआ, अंततः 2.47M वर्स्ट-केस कॉर्ड प्राप्त हुआ, बिना किसी अंडररन के। तकनीकों में माप लूप (QEMU बनाम बोर्ड साइकिल), NPU एपॉक प्रोफाइलिंग, पंपिंग (नॉन-ब्लॉकिंग NPU कॉल को रेंडरिंग के साथ इंटरलीव करना), हॉट टेबल्स को DTCM में ले जाना, और स्टेट रिंग के लिए MVE-आधारित मेमोरी कॉपी शामिल हैं।