音声認識の仕組みとは？原理やメリット、システムの活用事例を解説

音声認識とは、人が話した内容を解析し、テキストに変換する技術です。自動音声認識を意味する「ASR（Automatic Speech Recognition）」とも呼ばれます。

音声認識技術では、入力された音声から周波数成分や時間的な変化などの特徴を取り出し、学習済みの音声データや言語データをもとに、可能性の高い文字列を推定します。

スマートフォンの音声入力機能や、AmazonのAlexa、GoogleのGemini、AppleのSiriなどにも音声認識技術が利用されています。ただし、これらの音声アシスタントは、音声認識だけでなく、自然言語処理、情報検索、音声合成、生成AIなどを組み合わせたサービスです。

AmazonはASRについて、話し言葉をテキストへ変換し、Alexaなどの音声サービスが発話を処理するための最初の段階になる技術と説明しています。

※参考：Alexa Skills Kit Official Site「What Is Automatic Speech Recognition?」

音声認識と混同されやすい技術に、音声認証、音声合成、自然言語処理があります。

音声認識が主に担うのは「音声から文字への変換」です。要約や感情分析、タスク抽出などは、文字起こし結果を自然言語処理や生成AIで処理することによって実現します。

音声認識を利用すると、会議、通話、商談、講義などの音声をテキスト化できます。生成AIや業務システムと組み合わせれば、その後の処理も支援できます。

ただし、音声認識や生成AIの出力が常に正しいとは限りません。正式な記録や重要な判断に利用する場合は、人による確認が必要です。

音声認識の研究は1950年代に始まり、コンピュータ性能やAI技術の発展とともに利用範囲を広げてきました。

IBMが1961年に発表したShoeboxは、0から9までの数字と6つの命令語を合わせた計16語を認識し、簡単な計算を実行できる装置でした。1962年にはシアトル万国博覧会でも公開されています。

その後、2000年代後半から2010年代にかけて、機械学習とディープラーニングの実用化が進みました。大量の音声データを使った学習と、コンピュータやクラウド基盤の性能向上によって、音声認識の利用が広がりました。

2011年10月4日には、AppleがSiriを搭載したiPhone 4Sを発表しました。音声で質問や操作ができるバーチャルアシスタントが広く知られるきっかけの一つとなりました。

※参考：IBM「Speech recognition」

音声認識の具体例には、次のような商品やサービスがあります。

音声認識では、入力された音声をそのまま文字に置き換えているわけではありません。

音声の特徴を分析し、発音や言葉の並び方に関する情報を組み合わせて、可能性の高い文字列を推定します。

音声認識の代表的な方式には、ハイブリッド方式とEnd-to-End方式があります。

End-to-End方式は、音声から文字や単語の並びを直接推定する方式です。ただし、「一つのモデル」と表現される場合でも、実際には複数の内部モジュールや外部の言語モデルを組み合わせることがあります。

現在はEnd-to-End方式の採用が広がっていますが、専門用語への対応や既存システムとの連携などの要件に応じて、ハイブリッド方式も利用されています。

以下では、音声認識の基本的な流れを理解するため、主に従来型のハイブリッド方式をもとに4段階で説明します。

マイクから入力された音声は、コンピュータが処理できるデジタル信号へ変換されます。録音済みの音声ファイルを利用する場合、この変換はすでに完了しています。

次に、周波数成分や時間的な変化などを表す「音響特徴量」を取り出します。本記事では、この処理を音響分析と呼びます。

システムによっては、雑音の抑制や音声区間の判定も行います。騒音が大きい場合やマイクから話者が遠い場合は、認識精度が低下することがあります。

音響モデルは、抽出した特徴量がどの音響単位に対応する可能性が高いかを、確率やスコアとして推定します。「音素」とは、言葉の音を区別する最小単位です。ただし、実際に扱う単位はシステムによって異なります。

この段階では結果を一つに確定せず、複数の候補を残します。

音響情報だけでは、同じ読み方をする言葉を正しく区別できない場合があります。そこで、発音辞書と言語モデルを利用します。

例えば、「私は自転車に」の後には、「乗る」「乗っている」などが続く可能性が高いと考えられます。言語モデルは、このような言葉のつながりを考慮して文字列を推定します。

最後に、可能性の高い文字列を選び、テキストとして出力します。システムによっては、句読点の付与、数字や日付の表記変換、発言者ごとの区分、タイムスタンプの付与なども行います。

発言者A、発言者Bのように発話を分ける処理は「話者分離」と呼ばれます。登録情報と照合して人物を特定する「話者識別」とは異なります。重要な数値、固有名詞、契約条件などを正式な記録に利用する場合は、原音との照合が必要です。

音声認識では、機械学習やディープラーニングなどのAI技術が利用されています。これらの技術により、多くの評価環境で認識性能が向上してきました。

AIとは「Artificial Intelligence」の略称で、人間が行う認識、予測、判断、生成などに関連する処理を、コンピュータで実現する技術や研究分野の総称です。

ディープラーニングを用いることで、大量の音声データから発音や音響的な特徴を学習できるようになりました。

ただし、実際の精度は、学習データの量と質、収音環境、話者、専門用語、モデルの設計などによって変わります。「AIを利用している」という理由だけで、高い精度が保証されるわけではありません。

End-to-End音声認識で利用される主な枠組みには、CTC、Attention型、RNN-Tなどがあります。

TransformerやConformerは、これらと組み合わせて利用されるニューラルネットワークの構造です。例えば、Transformerを使って音声を処理し、CTCで学習する構成があります。

さらに、音声認識結果を生成AIと組み合わせることで、次のような処理も支援できます。

ただし、文字起こしに誤りがあると、後段の要約や分類にも影響します。生成AIが元の発言にない内容を出力する可能性もあるため、重要な情報は人が確認する必要があります。

AIを活用した音声認識は高性能になっていますが、万能ではありません。

AI技術が進化しても、システムでは測りきれない「顧客のリアルな感情」や「柔軟な対応力」を把握するためには、人が直接調査を行う覆面調査を組み合わせることが依然として重要です。

通話音声や会議音声には、顧客情報や社内の機密情報が含まれる場合があります。

導入時には、次の項目を確認しましょう。

必要な対応は、利用目的、業界、契約、扱う情報によって異なります。法務や情報セキュリティの担当部門と確認してください。

音声認識システムは、処理する場所や導入方法によって複数の種類に分けられます。

API・SDKは機能の提供方法、クラウドやオンプレミスは主に処理場所を表します。例えば、SDKを使って端末内で処理する構成もあります。

AI音声認識をビジネスに導入すると、多くのメリットがあります。ここでは3つを挙げて解説してみましょう。

議事録作成ツールを利用すると、会議の音声をリアルタイムまたは録音後にテキスト化できます。ゼロから文字起こしを行う作業を減らせるため、議事録作成時間の短縮が期待できます。

生成AIと組み合わせれば、要約、決定事項、担当者、期限、アクションアイテムなどの整理も支援できます。ただし、正式な議事録として利用する際は、固有名詞、専門用語、数値、発言者などを確認する必要があります。

ツールの導入によって社内の業務効率化が進みリソースに余裕が生まれた場合は、専門業者による外部調査を取り入れて自社の現在地を客観的に評価する企業も増えています。

音声認識によって手入力や音声の聞き直しを減らせれば、入力漏れや記録方法のばらつきを抑えられる可能性があります。

一方、音声認識にも誤変換は発生します。金額、期日、人名、社名、商品名、契約条件など、業務上重要な情報については原音との照合が必要です。

コールセンターの通話内容をテキスト化すれば、問い合わせ理由の分析、FAQの改善、オペレーターの応対評価などに活用できます。

管理者がすべての通話を最初から聞くのではなく、キーワードや条件で確認対象を絞り込める点もメリットです。

ただし、テキスト化しただけでは応対品質は改善しません。分析結果をフィードバックや研修へ反映する仕組みが必要です。

音声認識システムは、公表されている認識率だけで選ぶべきではありません。認識率は、音声、話者、録音環境、評価方法によって変わります。

選定時には、次の6項目を比較します。

音声認識導入の失敗原因は、「ツールを入れれば解決する」と考えてしまう点にあります。

音声認識は、あくまで課題解決の手段です。導入前に「何の作業を、どの程度削減するのか」「認識結果を何に利用するのか」を明確にする必要があります。

音声認識の導入で起こりやすい失敗と原因を整理すると、次のようになります。

それでは次に、実際にAI音声認識を活用した事例を3つご紹介しましょう。

株式会社JALカードは、2014年に公表された導入事例で、コールセンター向け音声認識ソリューション「AmiVoice Communication Suite」を活用しています。

導入前は、通話内容を確認する際に音声を聞きながら書き起こす必要があり、多くの時間と手間がかかっていました。

導入後は通話のテキスト化やキーワード検索が可能になり、通話をすべて聞かなくても、認識結果を見て内容を確認できるようになりました。これにより、書き起こしや通話確認にかかる作業時間が短縮されています。

※参考：株式会社アドバンスト・メディア「JALカードのコールセンターに音声認識ソリューションAmiVoice® Communication Suiteを提供」

東京都港区では、2018年5月から「AmiVoice 議事録作成支援システム」の本格運用を開始しました。

同システムは、会議音声をテキスト化し、認識結果と音声データをひも付ける仕組みです。専用の編集ソフトを使い、音声を確認しながら誤認識部分を修正できます。

提供元の説明では、従来の文字起こし作業と比べて2〜3倍の速さでテキスト化できるとされており、議事録作成にかかる時間と人的負担の軽減が期待されています。

※参考： 株式会社アドバンスト・メディア「東京都港区役所にて、AI音声認識を活用した AmiVoice® 議事録作成支援システムが採用されました」

名古屋大学の数理・データ科学・人工知能教育研究センターでは、英語の講義動画を日本人向けの教育コンテンツとして活用するため、音声認識と自動翻訳を用いて日本語字幕を作成しました。

英語音声をテキスト化し、その内容を日本語へ翻訳することで、字幕作成を効率化しています。

導入当時の組織名は「数理・データ科学教育研究センター」でしたが、2024年10月1日に「数理・データ科学・人工知能教育研究センター」へ改組されています。

※参考： 株式会社川村インターナショナル「音声認識+機械翻訳を活用して講義動画の翻訳費用を50％低減」

音声認識をコールセンターの応対品質改善に活用するには、文字起こしだけでなく、評価、教育、改善を一体として設計することが重要です。

自動評価は大量の通話を同じ条件で確認しやすい一方、共感や傾聴、顧客の状況に応じた柔軟な対応まで正確に評価できるとは限りません。そのため、自動評価と人による定性評価を組み合わせ、結果をフィードバックや研修へつなげる必要があります。

音声認識を活用すれば、コールセンターの通話内容をテキスト化し、特定のキーワードや応対上の課題を効率的に確認できます。ただし、音声をテキスト化するだけで、応対品質が向上するわけではありません。

応対品質の改善につなげるには、センターの目的に合った評価基準を設計し、分析結果をフィードバックや研修、業務改善へ反映する必要があります。

パーソルビジネスプロセスデザインの「応対品質向上コンサルティング」では、貴社のサービス方針や目的に合わせて評価方法を設計し、現在の応対品質と業務上の課題を可視化します。

評価には、国際的に認知されたサポート標準である「HDI国際スタンダード」に沿った基準を活用します。録音音声を確認するコールモニタリングに加え、自動モニタリング、ミステリーコール、対応履歴を確認するインシデントモニタリング、有人チャットを対象としたチャットモニタリングなど、目的に応じた評価方法を選択できます。

モニタリングに精通した専門スタッフが第三者の視点から応対を評価し、オペレーターごとの強みや課題、センター全体の傾向を分析します。さらに、評価結果に基づく改善提案、電話応対研修、ロールプレイング、改善後の効果測定まで一貫して支援します。

音声認識や自動モニタリングを品質管理に活用したい、評価基準を整備したい、分析結果を具体的な応対改善につなげたいとお考えの方は、パーソルビジネスプロセスデザインへお気軽にご相談ください。