#6 異音検知をみんなの手段に！音が分かるAIを作成するには？音を使った機械学習入門

近年、「スマートファクトリー」や「IoT」という言葉があるように、工場などの製造業現場をはじめ、機械設備の故障および故障の予兆を検知するため、AI(人工知能)を使ったシステムの開発・導入が盛んです。予兆検知のAIを作成するには、一般的にカメラ画像や機械の駆動データなどのデータを使って機械学習を行います。Hmcomm株式会社は音とAIに特化したベンチャー企業として、音を学習データとし、音から機械の故障および予兆を検知する技術「異音検知」を事業として立ち上げ、現場の誰もが見守り手段として使えるシステムになるように日々研究開発しております。今回は異常音検知技術についてわかりやすく解説いたします。
弊社では音とAIの技術ブログを開設しております。音響解析や自然言語処理など、音の技術について詳しく知りたい方はこちらも参照ください。質問や感想、記事テーマのリクエストも受付けております！
→ https://fast-d.hmcom.co.jp/blog/

異音検知で何ができるの？

「異音検知」とは、機械やモノ、生物が正常稼働している場合の音（=正常音）と、異常状態の場合の音（=異常音）を音響解析し、異常音検知AIに機械学習させることで、異常発見や予兆検知を行う技術です。音は時間や環境によって複雑に変化し、マイクや耳の感度によっても変わります。ヒトが音を聞いて正常/異常を判断する場合、判断基準があいまいで品質がばらつく、熟練者の経験や勘が必要になるといった問題がありました。異常音検知AIによる異常音検知は人手によらず、安定した品質で、定量的なモニタリングを実現します。
例えば弊社では、工場インフラの異常検知・機械音検知・非破壊検査をはじめとして、足音や叫び声、心音などヒトの発する音や、動物の特定の鳴き声の検知など、幅広い業種・業態への活用を推進しています。

異音検知活用シーン例

検知したい異音の種類からデータ取得方法・機械学習手法を考える

異常音検知AIは主に下記の流れで作成されます。
(1)対象音の集音 > (2)音響解析 > (3)機械学習アルゴリズム作成
さて、検知してみたい異常音はあるでしょうか？それはどのような場所でどのような時に発せられる音でしょうか？
私たちは大きく下記の二種類のケースに分け、集音のしかたや機械学習の手法を決めています。
① 異音がほとんど生じないケース（工場の設備や機械の故障音など）
異音が生じないケースでは、正常音のみを集音し、「外れ値検知」という手法を用いて「正常音以外の音」を異常とみなすよう異常音検知AIに学習させます。故障した音以外を誤って異音として検知しないよう、十分に正常音が集音できるように集音期間や条件を定めます。
② 特定の音だけを異常音として検知したいケース（動物のくしゃみ、人の足音など）
特定の音を検知するケースでは、正常音の他に、目的の異常音を集音してそれらの違いをよく表す音データの特徴を見つけ、機械学習させる必要があります。誤検知が少なく、感度の良い異常音検知AIを作るためには正常音と異音それぞれのデータをバランスよく、十分な数学習させることが必要です。

以上の他にも異常音が発生する現場に合わせて様々な選択が必要になります。精度の良い異常音検知AIを作成するにはなるべくきれいな音のデータを集めることが不可欠です。現場で音を聞きながら、マイクの指向性、集音範囲、マイク以外のセンサ(振動センサや聴診器)の利用など、条件を選択していきます。

音を耳と目で観察する

マイクやICレコーダ等を使って音を集音したら、異常音（または正常音）を観察します。耳で聞いて正常と異常の違いが分かることは重要ですが、異常音検知AIに学習させるために、その違いが何から生じているのかを把握します。
音の波形や周波数のグラフ（スペクトル、スペクトログラム）を見てみましょう。Pythonなどのプログラミング環境を用いてグラフを表示させてもいいですが、音響解析用のフリーソフトが便利です。
Hmcommのサイト(https://fast-d.hmcom.co.jp/visualization/)では、お手元の音声ファイル(wav形式)をドラッグ&ドロップすることで波形とスペクトログラムがチェックできますよ！
スペクトログラムを見ると、目的の異音だけが比較的高周波数に出ていたり、突発的に生じているなどの特徴を観察できます。それらの特徴から、例えば不要な周波数部分のデータを消したり、突発的な音のみを取り出す処理を加えたりして、異音検知精度低下の原因となるノイズを低減する解析手法を考えることができます。

音響特徴量を取り出そう

高い、低いなどの音の特徴をコンピュータにどう教えればよいでしょうか？コンピュータに渡すためには数値に変える必要があります。音の特徴を表現した数値を音響特徴量といいます。集音して直接得られる数値は音の大きさです。スペクトルやスペクトログラムに変えることで音の高さも得られました。そのほかにも様々な音響特徴量が提案されています。なかには、音の波形やスペクトログラムを一瞥しただけではわからない複雑なものもあります。
それらの音響特徴量から、異常音と正常音の特徴の違いをとらえられているものを取捨選択し、異常音と正常音を分離できる機械学習アルゴリズムを考えていきます。
・音響特徴量の一部は弊社技術ブログでも紹介しています https://fast-d.hmcom.co.jp/blog/
・Hmcommのサイトでは、お手元の音声ファイル(wav形式)をドラッグ&ドロップするだけで複数の音響特徴量で3次元のグラフを生成でき、手軽に凄腕データサイエンティスト気分に浸れますのでお勧めです https://fast-d.hmcom.co.jp/visualization/

機械学習アルゴリズムを適用しよう

音の特徴を数値化出来たら、コンピュータが判定できるように機械学習アルゴリズムを考えます。
前章でうまく音の特徴を数値化できたら、ここから先は画像や機械のログデータなどを使った一般的な異常検知に手法は似ています。キレイなデータがたくさん得られ、人が見て判断しやすい画像データ等では深層学習などの高級な手法が使用されることも多いですが、異音検知の場合、機械学習アルゴリズムはなるべくシンプルに考え、そこに音響特徴量の分析で得られた有益なデータを入力することが重要です。
音に限らず、機械学習による異常検知の分野で使われている一般的な手法は、オートエンコーダ（AE）やガウス混合モデル（GMM）です。異音検知のコンペティションDCASEの基本手法としてもAEが使用されています。異常検知を主題にした機械学習の参考書も多くありますので、具体的なコードなど詳細はそちらも参照してみてください。もちろん弊社の技術ブログでも一部ご紹介しています（https://fast-d.hmcom.co.jp/blog/）。
前章の音響特徴量の取捨選択とアルゴリズムの改良を繰り返しながら、現場で誤検知の少ない異常音検知AIを作成します。
弊社開発中の異音検知システム（FAST-D）では、音データから音響特徴量の取出し～アルゴリズム作成の部分を自動化し、データに合わせて精度の高い異音検知ができる手法が選択されるようになっています。これにより機械学習に詳しくない方でも音データとそれにつけた正常音異常音のラベルさえあれば異音検知が使えるという仕組みです。

異音検知に興味をお持ちの企業様へ

今回は異音検知技術について紹介しました。異常音検知AIを使えるシステムとして工場や施設に取り入れたい！異音検知に関する共同研究を行いたい！場合には、是非ご相談ください。異音検知プラットフォームFAST-Dを提供しております。異音検知コンサルティングからFAST-D導入検討、異音検知可能性の共同研究まで幅広く受け付けております。
本記事に関するご質問も、是非下記よりお問合せ下さい。