Saisie vocale dans n'importe quelle fenêtre Windows en une seconde : hors ligne, sur CPU, sans un seul gigaoctet de Torch
OpenAI
L'article présente WhisperType, un outil open-source de dictée vocale hors ligne pour Windows, basé sur faster-whisper et fonctionnant sur CPU. Il explique les optimisations clés : fenêtre d'encodeur variable, désactivation des horodatages, reconnaissance en flux et sélection automatique des threads. En conséquence, le temps de réponse passe d'environ 4 secondes à environ 1 seconde pour les phrases courtes.
L'auteur a développé WhisperType, un outil de dictée gratuit et open source (MIT) pour Windows 10/11 x64. Il permet la saisie vocale dans n'importe quelle fenêtre via une touche de raccourci, fonctionne hors ligne sans droits d'administrateur et utilise un modèle local deepdml/faster-whisper-large-v3-turbo-ct2 (CTranslate2, int8_float32). Le problème principal est que l'encodeur Whisper traite toujours une fenêtre fixe de 30 secondes, de sorte que même une courte phrase prend environ 4 secondes sur CPU. La solution consiste à patcher la fonction pad_or_trim pour réduire la fenêtre de l'encodeur en fonction de la durée réelle de la parole. De plus, les horodatages sont désactivés lorsque la fenêtre est réduite, et une méthode basée sur le texte est utilisée pour supprimer les répétitions rares. Pour les dictées longues, la reconnaissance en continu est implémentée : l'audio est découpé aux pauses et traité par segments pendant que l'enregistrement se poursuit. Le nombre optimal de threads est automatiquement sélectionné comme étant tous les processeurs logiques moins deux. Optimisations supplémentaires : détection explicite de la langue, flux audio toujours ouvert, modèle préchauffé, imports différés et vérifications des silences et des pannes de périphérique audio. Le code au niveau système utilise uniquement ctypes et WinAPI, évitant les bibliothèques de hooks.
Source: Habr — хаб ML —
original