किसी भी विंडोज़ विंडो में एक सेकंड में वॉयस इनपुट: ऑफलाइन, सीपीयू पर, बिना एक भी गीगाबाइट टॉर्च के

लेखक ने WhisperType विकसित किया है, जो Windows 10/11 x64 के लिए एक मुफ्त और ओपन-सोर्स (MIT) डिक्टेशन टूल है। यह हॉटकी के माध्यम से किसी भी विंडो में वॉयस इनपुट की अनुमति देता है, बिना इंटरनेट के ऑफ़लाइन काम करता है और एडमिन अधिकारों की आवश्यकता नहीं होती। यह एक स्थानीय मॉडल deepdml/faster-whisper-large-v3-turbo-ct2 (CTranslate2, int8_float32) का उपयोग करता है। मुख्य समस्या यह है कि Whisper का एन्कोडर हमेशा एक निश्चित 30-सेकंड की विंडो प्रोसेस करता है, इसलिए CPU पर एक छोटा वाक्यांश भी लगभग 4 सेकंड लेता है। समाधान pad_or_trim फ़ंक्शन को मंकीपैच करना है ताकि वास्तविक भाषण की लंबाई के अनुसार एन्कोडर विंडो को संकुचित किया जा सके। साथ ही, जब विंडो संकुचित होती है तो टाइमस्टैम्प अक्षम कर दिए जाते हैं, और दुर्लभ दोहराव को हटाने के लिए एक टेक्स्ट-आधारित विधि का उपयोग किया जाता है। लंबे डिक्टेशन के लिए, स्ट्रीम पहचान लागू की गई है: ऑडियो को विराम पर काटा जाता है और रिकॉर्डिंग जारी रहने के दौरान टुकड़ों में प्रोसेस किया जाता है। इष्टतम थ्रेड की संख्या स्वचालित रूप से सभी लॉजिकल प्रोसेसर माइनस दो के रूप में चुनी जाती है। अतिरिक्त अनुकूलन: स्पष्ट भाषा पहचान, हमेशा-खुला ऑडियो स्ट्रीम, प्री-वार्म्ड मॉडल, विलंबित इम्पोर्ट, और साइलेंस तथा ऑडियो डिवाइस विफलता की जाँच। सिस्टम-स्तरीय कोड केवल ctypes और WinAPI का उपयोग करता है, जिससे हुक लाइब्रेरी से बचा जाता है।