Whisperを簡易評価してみる

 前のブログ「Whisper をWindows(Python)で使ってみる」で書いたFreeDVの評価に使われたWhisperをまず簡単に評価してみたいと思います。

【簡易テスト】

英語音声音源　https://freedv.org/david-dec-2024-testing-rade-with-automatic-speech-recognition/　にある３つの音源をダウンロードします。最後に関連部分を英訳します。
このサイト(音源)もJS1MAV/JA5AEA 堤さんより教えてもらいました。

１(SSB):   3729-6852-0033_ssb_6dB.wav

 2(RADE):   3729-6852-0033_rade_6dB.wav
 3(オリジナル) :  3729-6852-0033_clean.wav

前のブログでインストールしたWhisper(-large3)を使います。

Windowsマーク→右クリック→ターミナルでWindows PowerShellを立ち上げます。
以下のコマンドはコピーしてPowerShellのコマンドプロンプトに右クリックするだけでペースト（コピペ）出来ます。

cd C:\Whisper
.\whisper-env\Scripts\Activate.ps1
(whisper-env) PS C:\Whisper> 　　　となっているのを確認して下さい。

C:\Whisper\audio\の下に以下のファイルを置きます。

１(SSB):   3729-6852-0033_ssb_6dB.wav
2(RADE):   3729-6852-0033_rade_6dB.wav
3(オリジナル) :  3729-6852-0033_clean.wav

以下のコマンドを入れます。

whisper "C:\Whisper\audio\3729-6852-0033_ssb_6dB.wav" --model large-v3 --language en --task transcribe --output_format txt --output_dir "C:\Whisper\result"

＊ UserWarning: FP16 is not supported on CPU; using FP32 instead warnings.warn("FP16 is not supported on CPU; using FP32 instead")　が出る場合FP32を使うので問題ありませんが気になる方は以下のコマンドを使って下さい。

whisper "C:\Whisper\audio\3729-6852-0033_ssb_6dB.wav" --model large-v3 --language en --task transcribe --fp16 False --output_format txt --output_dir "C:\Whisper\result"

C:\Whisper\result\3729-6852-0033_ssb_6dB.txt の結果は以下のとおりです。
約1分かかりました。
「You are now in the only country in the world where WIT can make a fortune by selling either a genuine or a false article.
In the first case, it receives the welcome of intelligent and talented people.　And in the second, girls are always ready to reward it.
But silliness is clearly a characteristic of the people here.
And however wonderful it may appear, silliness is the daughter of WIT.」

以下同様に
C:\Whisper\audio\3729-6852-0033_rade_6dB.wav
C:\Whisper\audio\3729-6852-0033_clean_6dB.wav　を認識させてみました。

結果ですが、SSBは１ワード "for"を"But"と判読しておりRADEの方がSSBよりWERは若干良いようです。

以下　続く

----https://freedv.org/david-dec-2024-testing-rade-with-automatic-speech-recognition/の関連部分の日本語訳---------

基本的な手順は、音声サンプルのデータセットを用意し、それらをHF（短波）無線チャネル上のSSBおよびRADEのシミュレーションに通した後、ASR（自動音声認識）エンジンを用いて受信音声から単語を検出するというものです。続いて、後処理システムが検出された単語と元の単語を比較し、性能指標として単語誤り率（WER）を算出します。本研究では、LibrispeechデータセットとWhisper ASRシステムを使用しています。

ここで扱われる文は複雑な英語であり、文脈の手がかりがない状態で早口で話されています。私自身、その多くを一度聴いただけで理解するのは困難です。これは、相手がコールサインを5回連呼して「59（ファイブ・ナイン）」と告げるような、典型的な低SNR（信号対雑音比）のアマチュア無線の交信と比べても、はるかに厳しいテストと言えます。例として、Librispeechデータセットの音声サンプルをSSB、RADE、およびオリジナル（オリジナルは最後に再生されます）の各条件で処理したものを挙げます。なお、SSBとRADEの条件では、MPP（フェージング）チャネルにおいてSNRは約6dBに設定されています。

------------------------------------------