続・FreeDVの音声評価について

＊最終更新 2026年9月12日　22:00

注: 本ブログの内容は、私見ならびにAI(Chat-GPTなど）による内容を含みますので誤りがある可能性があります。AIによる回答の引用はアンダーバーを付けています。

以前のブログでFreeDVの音声評価について記述しました。https://jk1gpc.blogspot.com/2026/09/freedv.html

JS1MAV/JA5AEA 堤さんより、AIによる音声評価として VOISMOS(音声主観評価)の中で日本の東大猿渡研のUTMOS（UTokyo-SaruLab MOS prediction system）　https://note.com/ainest/n/n6b1f553b45a4　があるという情報を頂きましたので、この内容を含め続編としてまとめて行きたいと思います。

UTMOSに関する内容は：

論文　https://arxiv.org/abs/2204.02152
github：https://github.com/sarulab-speech/UTMOS22　にあります。

なお、このUTMOSはvoicemos-challenge（https://sites.google.com/view/voicemos-challenge：人間によるMOSをAIで推定する技術の比較大会）の2022年でトップになったものです。

voicemos-challenge2022のレポート論文は　https://www.isca-archive.org/interspeech_2022/huang22f_interspeech.pdfにあります。

留意点として、この論文にありますが、英語と中国語による評価のみで日本語による評価はなかったようです。

なお　ITUによるP.800, P.808の勧告文章は以下にあります。

https://www.itu.int/rec/T-REC-P.800-199608-I/en

https://www.itu.int/rec/T-REC-P.808-202106-I/en

AI(Chat-GPT, Copilot)によるFreeDV RADE1/RADE2、SSBの音声評価方法については以下のような回答が得られました。

----------------------------------------------------------------

A） AI(Chat-GPT)による一般的なSSB/RADE1/RADE2の音声評価方法回答

結論から言うと、SSB・RADE1・RADE2をAIで比較する場合、主評価にはWhisperによるWER（単語誤り率）が最も適しています。ただしWERだけでは「声の自然さ・聞き疲れ・別人のような声」までは評価できないため、UTMOSなどのAI推定MOSを副評価として併用するのがよいでしょう。

推奨する評価方法

評価したい内容	推奨指標	位置づけ
通信内容が正しく伝わるか	Whisper WER	最重要
声が自然できれいか	UTMOS／UTMOSv2	補助評価
原音からどれだけ変化したか	話者類似度・音声埋め込み距離	RADE特有の声質変化の確認
最終的な人間の印象	ITU-T P.808などの聴取試験	最終判定

1番重要：Whisper WER

David Rowe氏の記事では、

LibriSpeechの原音
SSBまたはRADEの無線回線シミュレーション
Whisperによる文字起こし
正解文との比較によるWER算出

という方法を採っています。

これは「相手の話がどれだけ正確に伝わるか」を直接評価できるので、アマチュア無線の通信性能を比較するAI指標として最も実用的です。

ただし、これは「RADEの声がSSBより自然である」という意味ではなく、同じ内容を正確に認識できる限界がRADEの方が低いSNR側にあるという結果です。

UTMOSだけで順位を決めるのは勧めにくい

UTMOSは、人間が付けるMOSに近い「音声の自然さ・品質」をAIで予測するものです。しかし、次の問題があります。

無線の雑音や選択性フェージングを中心に学習したモデルではない
SSBの背景雑音を強く減点する可能性がある
RADEの生成音声を必要以上に高く、または低く評価する可能性がある
内容が間違っていても、声が滑らかなら高得点になることがある
話者が別人のように変化しても、自然な音声なら高得点になり得る

したがってUTMOSは、RADE1とRADE2の音の自然さを比較する補助指標としては有効ですが、無線通信としてどれが一番良いかをUTMOSだけで決めるべきではありません。

私ならこの3項目で評価します

A. 明瞭度・通信成立性

Whisper large-v3などによるWER
同じ原文、話者、SNR、チャンネル条件で測定
AWGNだけでなくMPPフェージングも使用

これを主評価とします。

B. 聴感品質

UTMOSv2などによる推定MOS
可能なら複数のAI-MOSモデルを使う
音声ごとの点数ではなく、多数のサンプルの平均と信頼区間を見る

C. 声の保持性

RADEは生成系の音声方式なので、

声が別人のようになっていないか
話者の特徴が維持されているか
語頭0.5～1秒の声質が不安定でないか

を話者埋め込み類似度などで測ります。これはWERやUTMOSでは十分に評価できません。

最終的な推奨は次のとおりです。

一つだけ選ぶならWhisper WER。
音質まで含めるなら「WER＋UTMOSv2＋少人数のP.808形式聴取試験」の三本立てが最適です。

---------------------------

B) AI(Chat-GPT)の日本語でのSSB/RADE1/RADE2の評価方法回答

結論として、日本語でSSB・RADE1・RADE2の「通信内容の伝わりやすさ」をAI評価するなら、Whisperによる正規化済みCER（文字誤り率）が最も適しています。

日本語での推奨順位

順位	評価方法	分かること
1	Whisper＋正規化CER	発話内容が正確に伝わったか
2	重要語正解率	コールサイン・数字・地名などが伝わったか
3	UTMOSなどのAI推定MOS	自然さ、雑音感、聞き心地
最終確認	P.800／P.808による人間の評価	総合的な音質と了解度

なぜWERではなくCERなのか

David氏は英語のLibriSpeechを使用しているため、単語単位のWERを採用しています。FreeDVの記事

一方、日本語には通常、単語間の空白がありません。WERを計算するには形態素解析による分かち書きが必要であり、解析方法によって結果が変わります。CERなら文字単位で比較できるため、より一貫した評価になります。Whisperの公式資料でも、日本語を含む言語の評価にはWERまたはCERが用いられています。Whisper公式リポジトリ

最もよいのは「かなCER」

通常の漢字混じりCERでは、音として正しく認識していても表記の違いで誤りになります。

例：

正解：大分県から送信しています
認識：おおいたけんから送信しています

聴覚的には正解ですが、そのまま文字比較すると誤りが増えます。そのため、正解文と認識文を次のように統一してからCERを求めます。

漢字を読み仮名に変換
カタカナをひらがなに統一
数字を読み方に変換
全角・半角を統一
空白・句読点・記号を削除

この方法を、ここでは**かなCER（読みベースCER）**と呼びます。

$C E R =(\frac{S + D + I)/}{N}$

$S$ ：置換された文字数
$D$ ：削除された文字数
$I$ ：挿入された文字数
$N$ ：正解文の文字数

値が低いほど良好です。

RADE評価に適した実験構成

同一の日本語原音を次の3方式へ通します。

SSB
RADE1
RADE2

それぞれについて、同じ条件で比較します。

AWGNとMPPフェージング
複数の受信SNR
同じ送信音量・帯域
同じ文章と話者
Whisperの同じモデル・設定
各条件につき多数の文章

各SNRで平均かなCERを求め、横軸をSNR、縦軸をCERにすれば、David氏のWER曲線に相当する日本語CER曲線が作れます。

コールサインは別評価が必要

CERだけでは、通信上重要な誤りの重さを区別できません。

例えば、

JA1ABC → JA1ADC
59 → 55
大分 →大阪

はいずれも文字数としては小さな違いですが、無線通信では重大です。そのため、かなCERに加えて、次を別集計するのが適切です。

コールサイン完全一致率
数字列完全一致率
RSレポート正解率
地名・人名の正解率
Q符号の正解率

音質評価はCERだけでは不十分

CERが分かるのは主に内容の認識しやすさです。

例えば、RADEの音声が別人のように聞こえたり、語頭が不自然だったりしても、Whisperが正しく文字起こしできればCERは低くなります。逆にSSBに雑音があっても、人間には自然な本人の声として聞こえる場合があります。

したがって実用的な総合評価は、

かなCER＋重要語正解率＋AI推定MOS＋人間による聴取評価

となります。

ただし「AIによる指標を一つだけ選ぶ」という質問への答えは、日本語ではWhisperを用いた正規化済みのかなCERが第一候補です。

------------------------------

C）AI(Copilot)によるSSB/RADE1/RADE2の評価方法回答

結論：WER（Word Error Rate）以外で、FreeDVの音声品質をAIで評価するなら “ASR以外のAIモデルを使った多次元評価” が最も有効で、特に PESQ/POLQA（AI音声品質モデル）＋音響特徴量のAI分類＋意味理解系LLM評価 の組み合わせが最強です。 理由は、WERは「文字起こしの正しさ」しか見ないため、音質・自然さ・意味理解・ノイズ耐性などの重要な要素が評価できないからです。

🎯 AIによる音声評価で WER 以外に最も有効な方法（結論）

1位：AI音声品質モデル（PESQ / POLQA / ViSQOL） 2位：音響特徴量のAI分類（MFCC・スペクトル歪み・子音明瞭度） 3位：意味理解系LLM評価（Semantic Similarity / Embedding）

これらを組み合わせると、SSB・RADE1・RADE2の「本当の音声品質」が最も正確に比較できます。

📘 1. AI音声品質モデル（PESQ / POLQA / ViSQOL）

✔ WERより優れている理由

音声の自然さ
歪みの量
ノイズ耐性
周波数帯域の欠損
人間の聴感に近いスコア

を総合的に評価できるため、SSB・RADE1・RADE2の差がより正確に出ます。

期待される傾向

SSB：高SNRでは良いが、フェージングで急落
RADE1：中間
RADE2：最も高い（特にノイズ環境）

🎧 2. 音響特徴量のAI分類（MFCC・スペクトル歪み）

AIが音声の特徴量を直接比較する方法です。

評価できる項目

MFCC（メル周波数ケプストラム） → 子音の明瞭度、声の輪郭
スペクトル歪み（SD） → 音声の崩れ具合
SNR推定 → ノイズ耐性
VAD（Voice Activity Detection）精度 → 音声区間の安定性

期待される傾向

RADE2は MFCC が最も安定
SSBはフェージングでMFCCが崩れやすい
RADE1は中間

🧠 3. 意味理解系LLM評価（Semantic Similarity）

WhisperのようなASRではなく、LLM（GPT系）や埋め込みモデル（Sentence-BERTなど）で評価する方法。

評価できる項目

意味がどれだけ正しく伝わるか
文脈が崩れていないか
音声の自然さが意味理解に影響していないか

期待される傾向

RADE2は意味の崩れが最も少ない
SSBはノイズで意味が飛びやすい
RADE1は中間

🔍 まとめ：WER以外で最も優れたAI評価方法

最も信頼できるのは「AI音声品質モデル（PESQ/POLQA）」＋「音響特徴量」＋「意味理解AI」の三点セット。

これにより：

音質
自然さ
ノイズ耐性
子音の明瞭度
意味の伝達性

を総合的に評価でき、SSB・RADE1・RADE2の真の性能差が見えるようになります。

このブログを検索

JK1GPC Blog