Saniyede Herhangi Bir Windows Penceresine Sesli Giriş: Çevrimdışı, CPU Üzerinde, Tek Bir Gigabayt Torch Olmadan
OpenAI
Makale, Windows'ta çevrimdışı sesli dikte için açık kaynaklı bir araç olan ve faster-whisper'a dayanan ve CPU üzerinde çalışan WhisperType'ı açıklıyor. Temel optimizasyonları açıklıyor: değişken kodlayıcı penceresi, zaman damgalarını kapatma, akış tanıma ve otomatik iş parçacığı seçimi. Sonuç olarak, kısa ifadeler için yanıt süresi yaklaşık 4 saniyeden yaklaşık 1 saniyeye düşüyor.
Yazar, Windows 10/11 x64 için ücretsiz ve açık kaynaklı (MIT) bir dikte aracı olan WhisperType'ı geliştirdi. Bu araç, kısayol tuşuyla herhangi bir pencereye sesli giriş yapılmasını sağlar, çevrimdışı çalışır ve yönetici hakları gerektirmez. Yerel model olarak deepdml/faster-whisper-large-v3-turbo-ct2 (CTranslate2, int8_float32) kullanır. Ana sorun, Whisper kodlayıcısının her zaman sabit 30 saniyelik bir pencereyi işlemesidir; bu nedenle kısa bir ifade bile CPU'da yaklaşık 4 saniye sürer. Çözüm, pad_or_trim işlevini, kodlayıcı penceresini gerçek konuşma uzunluğuna göre daraltacak şekilde yamalamaktır. Ayrıca pencere daraltıldığında zaman damgaları devre dışı bırakılır ve nadir tekrarları kaldırmak için metin tabanlı bir yöntem kullanılır. Uzun dikte için akış tanıma uygulanmıştır: ses, duraklamalarda kesilir ve kayıt devam ederken parçalar halinde işlenir. En uygun iş parçacığı sayısı, tüm mantıksal işlemciler eksi iki olarak otomatik seçilir. Ek optimizasyonlar: açık dil algılama, her zaman açık ses akışı, önceden ısıtılmış model, ertelenmiş içe aktarmalar ve sessizlik ile ses cihazı arızalarının kontrolü. Sistem düzeyindeki kod yalnızca ctypes ve WinAPI kullanır, kanca kitaplıklarından kaçınır.
Kaynak: Habr — хаб ML —
orijinal