先ほど、SimonがMac上でMicrosoftの新しいオープンソースのVibeVoice-ASRを実測したのを見ました。このモデルはかなりのものです。

9Bパラメータで、60分間の連続音声を一度に処理し、誰が話しているか、いつ話しているか、何を話しているかも出力できます。
従来の方法ではWhisper+pyannoteを組み合わせる必要がありましたが、今は一つのモデルですべてを解決し、50以上の言語と中国語・英語の混合話者もサポートしています。
彼は4ビット量子化版（5.71GB）を使い、M5 Max上で1時間のポッドキャストを変換するのに8分45秒かかり、ピークメモリは61.5GBでした。普通の32GBノートパソコンでは動作しません。
面白いのは、モデルが二人の対話を三人と認識したことです。Lennyが異なる録音環境で話しているためです。
ローカルで動かすには少なくとも64GBのメモリが必要で、ポッドキャストの書き起こしや会議の議事録において、多段階の処理を一度の推論に圧縮できるようになっています。

皆さんはこのモデルをどう思いますか？