ウェブブラウザ「Firefox」などを開発するMozillaが、OpenAIの「Whisper」ベースの文字起こしAI「Whisperfile」を開発中であることを発表しました。Whisperfileでは、英語以外の音声を英語に翻訳することも可能とのことです。

Mozilla/whisperfile · Hugging Face

https://huggingface.co/Mozilla/whisperfile



Mozilla Developing Whisperfile For Local Audio-To-Text Translation - Phoronix

https://www.phoronix.com/news/Mozilla-Whisperfile

Mozillaが開発中のWhisperfileは、OpenAIの文字起こしAI「Whisper」で使われるwhisper.cppソフトウェアをベースに構築されているとのこと。WhisperfileはLinuxやMacOS、Windows、FreeBSD、OpenBSDなどのシステムで実行可能。また、Whisperfileはx86_64とAArch64の両方で動作します。

Whisperfileを実行すると、wav・mp3・ogg・flac形式の音声ファイルが自動的にテキストに書き起こされます。また、音声認識の信頼度を色分けすることも可能です。



MozillaによるとWhisperfileは英語以外の音声を英語に翻訳することもできるとのこと。

また、以下のコマンドを実行するとHTTPサーバーの利用が可能です。

./whisper-tiny.en.llamafile

以下のコマンドではマニュアルページの閲覧ができます。

./whisper-tiny.en.llamafile --help

なお、MozillaはWhisperfileのソースコードやインストール方法などを公式GitHubリポジトリで公開しています。

Whisperfile Documentation · GitHub

https://github.com/Mozilla-Ocho/llamafile/blob/6287b60/whisper.cpp/doc/index.md