音声データの解析における特徴量

技術的な用語を解説しながら説明していきます。

メル周波数ケプストラム係数

振幅や周波数だけではなく、音色まで表現した波形をスペクトルと呼びます。音色の違いを表しているのは、スペクトル上の穏やかな変動(共振特性)であるスペクトル包絡です。よって、音を区別するためには、スペクトル包絡を計算する必要があります。この計算で出力されるのは、メル周波数ケプストラム係数(Mel Frequency Cepstrum Coefficients ; MFCC)です。MFCCは人間の聴覚特性を考慮した周波数スペクトルの概形を表しています。その係数列は入力された音声信号のスペクトル包絡にそのまま相当するため、機械学習で音声処理を行うために使う「特徴量」として使われます。

メル尺度

メル尺度は、人間の音高知覚（音の聞こえ方）に基づいた尺度です。心理学者のStanley Smith Stevensらによって提案されました。

メル尺度の差が同じであれば、人間が感じる音高の差が同一であることを意味します。

人間の聴覚には、低い周波数の音に対して敏感で、高い周波数の音に対して鈍感である、という性質から考え方に基づいています。
1000Hzの純音の高さの感覚を1000メルと決めた上で、1000メルの半分の高さに感じた音を500メル、1000メルの2倍の高さに感じた音を2000メルという容量で定めたものです。0 [mel]と可聴域のメル尺度の上限値との間を等分割して得られたメル尺度の値を対応する周波数へ戻すことにより、人間の聴覚に即した周波数スケール（メル周波数）が得られます。

メル周波数スペクトルは音響モデルの特徴量として用いられることがあります。どちらかというと、MFCCの方が多く音声認識で使われます。

フォルマント

スペクトル包絡に観察される、ピークが立っている複数の周波数をフォルマント（周波数）と呼びます。別の言い方をすると、言葉を発してできる複数の周波数のピークのことです。

周波数の低いピークから「第1フォルマント」（F1）、「第2フォルマント」（F2）、と呼ばれ、この「F1」「F2」によって母音の音が作られます。フォルマントは、男性の声、女性の声、子供の声で周波数の高さが違い、低い声や高い声の違いが出てきます。言語に依存せずに人の発声を区別できる音の要素が音韻ですので、音韻が近ければフォルマント周波数も近い値をとります。

多少の個人差があるものの、母音によって「第1フォルマント」と「第2フォルマント」の位置がある程度決まっています。

音声データの前処理を行った後に、いよいよ音響モデルを用いて音声認識を行います。従来から音響モデルとして長く用いられてきたのは、隠れマルコフモデル(Hidden Markov Model ; HMM)です。ここでは音素(母音や子音など) ごとに学習を行います。音素列がどの単語に対応するかを判断するために、事前に用意された、音素列と単語を対応させた辞書を使ってパターンマッチングを行います。