Local Transcription of Calls on Mac with M-Chip: Audio Hijack + mlx-whisper + pyannote
MLX Community
Pyannote (by INRIA)
Rogue Amoeba
OpenAI
The author shares experience of creating a local pipeline for recording and transcribing calls on an Mac with an M-chip. Audio Hijack is used for recording, mlx-whisper on MLX for transcription, and pyannote for diarization. The entire process does not require cloud services, works on M4 in 5 minutes for a 56-minute call, and scripts are posted on GitHub.
저자는 M-칩이 탑재된 Mac에서 클라우드 서비스와 OBS를 사용하지 않고 로컬에서 통화 녹음 및 전사를 구현한 방법을 설명합니다. 녹음에는 유료인 Audio Hijack을 사용하며, 모든 음성을 하나의 MP3 파일로 저장하여 화자 분리(diarization)에 필요합니다. 전사(transcription)는 MLX 기반의 mlx-whisper(가중치 large-v3-turbo)를 사용하며, M4에서는 56분 분량의 오디오를 5분 안에 처리합니다. 화자 분리는 pyannote speaker-diarization-3.1을 통해 이루어지며, Hugging Face에서 두 번의 승인과 액세스 토큰이 필요합니다. 저자는 transcribe-meeting.py 스크립트를 작성하여 전사, 할루시네이션 정리, 화자 분리를 통합하고, 타임코드가 포함된 JSON, VTT 및 TXT 파일을 출력합니다. 해당 스크립트는 mac-call-transcribe 저장소에 공개되어 있습니다. 문제점으로는 짧은 발화에서 SPEAKER 혼동, 묵음에서 Whisper의 할루시네이션, 수동 이름 대체의 필요성을 언급합니다. 또한 ARM64 버전의 Python과 platform.machine() 확인이 필요하다고 경고합니다.
출처: Habr — хаб ИИ —
원문