#23 異音検知の応用先って? 音AIを利用する現場24時

2022.05.11 By Hayashi

この連載テーマについて

  • 経済産業省が運営する大学発ベンチャーデータベースに登録される企業から有力なスタートアップをご紹介
  • (経済産業省ページ:https://www.meti.go.jp/policy/innovation_corp/univ-startupsdb.html
  • 今回ご紹介するHmcomm株式会社は産業技術総合研究所発のベンチャー企業です

音とAIの産総研発ベンチャー、Hmcomm株式会社です。
音を学習データとしてAIを作り、機械の故障および予兆を検知する技術「異音検知」の事業化を行っています。
連載2回目の今回は、作成した異音検知AIは実際にどのような現場でどのような音を対象として使われているのか?どんなところに親和性があるのだろう?ということについてお話しします。

前回連載#6 異音検知をみんなの手段に!音が分かるAIを作成するには?音を使った機械学習入門では、異音検知AIの基本的な仕組みについて概要をお話ししました。こちらもぜひご参照ください。

Hmcommでは弊社技術者による音とAIの技術ブログを開設しております。
質問や感想・記事テーマのリクエストも、お問い合わせフォームより受付けております!

https://fast-d.hmcom.co.jp/marketblog/

https://fast-d.hmcom.co.jp/techblog/

異音検知の活用シーン

「異音検知」とは、機械やモノ・生物が正常稼働している音(=正常音)と、異常状態の音(=異音)を音響解析し、機械学習させることで、異常発見や予兆検知を行う技術です。
弊社で実際に経験した案件をもとに、下記の4つのシーンに分けてご紹介します。

異音検知は比較的新しい技術ですが、「こんなところに使えるんだ!」という発見や「実はこんなところに使えるのかも?」という新たな着想が、読んでくださった皆様にあれば幸いです。そして弊社まで「一緒にこんなことを実現しないか?」というご連絡があればとても嬉しく思います。

 

プラントや空調設備の故障を見つける [設備のモニタリング]

値によらない安定した見守りができることや情報共有が簡単になるといったメリットがあります。

現場では、見守りたい機械の近くにマイクとエッジコンピュータを設置し、すでに学習した普段の稼働モードの音(=正常音)とは異なる特徴の音の検知を行います。もちろん、「故障して機械が停止し、無音になる」のも異音のひとつです。
見守りコストのかけられない小さな機械室などでは、複数の機械をカバーできる場所にマイクを設置し、一つのマイクで総合的に監視を行うことが多いです。大きな工場やプラントでは周囲がうるさいので、普通のマイクではなく設備に直接取り付ける集音機器を利用することもあります。他にも現場特有の制約は色々あり、マイクやエッジコンピュータの選択を工夫したり、防塵・防水のケースに入れたりして対応しています。

音AIの学習においては、異常の誤検知を防ぐため、たまに来る作業員さんの話し声も含めて学習させたり、
空調設備であれば時節ごとに変わる運転モードの音も正常音として学習させたりしています。工夫の仕方は現場によって様々ですが、Hmcommではこれらの知見を一本化し、いろんな現場で使える標準的なAIモデル作成を目指して日々研究開発を行っています。

異常のあり/なしだけでなく、音が普段の稼働時の音とどのくらい異なるかを表す値(異常度)を常にグラフ等で出力しておくと、異常度の時系列変化からゆっくりと設備が劣化し、故障していく様子がモニタリングできることもあります。このような時系列変化データがたくさんたまると、故障の数ヵ月前や数日前に予兆を検知する音AIを作成できます。

【関連プレスリリース】
[1] 製造業パイプラインのつまり検知 https://prtimes.jp/main/html/rd/p/000000049.000033941.html
[2] 多軸自動盤におけるドリル折損検知 https://prtimes.jp/main/html/rd/p/000000098.000033941.html

 

豚の体調変化の早期発見をアシストする [音響イベント検知]

養豚場における異音検知のご紹介です。非生物を対象とする他のAI事業者様とは少し変わった取り組みかもしれません。
養豚場では一農家当たりの飼養数増加と管理者不足という課題があり、少ない人手でたくさんの豚を管理する必要があります。私たちもいくつかの養豚場を見学させていただいたことがありますが、農家様が豚に声をかけながら作業しつつ、一頭一頭を目視で手早くチェックしていく様子に感動しました。それでも若い豚は体調を崩しやすく、病気が豚舎内に広がる前に早期発見する必要があります。

そこで、豚舎にマイクとエッジデバイスを複数設置して咳やくしゃみの音を検知し、その結果を総合してどのグループに咳やくしゃみを多く発している豚がいるのかを推定する異音検知システムを作成する研究開発を行っています。
結果通知画面をもとに農家様が不調な豚を発見しやすくし、必要な対処を取れるようにするのが目標です。
豚舎内はエサなどが舞いあげられ頻繁に清掃されるので、マイクやエッジデバイスもケースに入れてしっかり保護しておく必要があります。

豚舎は蛍光灯が付いていないこともあるので、異音検知システムによりカメラに代わって夜も見守りができるのがメリットの一つです。照明がいらないため、マイクの設置で豚に不要なストレスを与えることもありません。

その他にも、音を使って発情など豚の状態を農家様が素早く把握できるシステムの研究など、異音検知システムで畜産業に貢献できることを増やすための研究も推進しています。

【関連プレスリリース】
[1] https://prtimes.jp/main/html/rd/p/000000009.000033941.html
[2] https://prtimes.jp/main/html/rd/p/000000031.000033941.html
[3] https://prtimes.jp/main/html/rd/p/000000046.000033941.html

 

不良品を見つける [製品検査]

工業製品をテスト動作させたときの音から、機械の不良品を見つける工程(完成検査と呼ばれることもあります)でも異音検知システムは使えます。

とある精密機器工場の完成検査工程では検査員さんが製品の駆動音から不良品のチェックをしていて、ベテランの検査員とそうでない検査員の間で検査品質にばらつきが出たり、検査項目の定量化が難しいということがありました。そこで私たちの異音検知システムを導入し、学習済みの正常品の音との特徴の差異から不良品を自動的に見つけることをはじめています。結果を画面に表示し、それをもとに作業員さんが対応します。

音AIは音の特徴を「特徴量」という値で捉えるため、音の違いを定量的に表すことができるというメリットがあります。

正常音との違いを見つけるという点においては第2章でご紹介した設備モニタリングシステムと似ています。他にも、特定の異常音を見つけたければその異常音を学習させて特別な異音検知AIを作成するなど、様々な対応が可能です。

【関連プレスリリース】
[1] https://prtimes.jp/main/html/rd/p/000000084.000033941.html

 

不良品検知画面のイメージ(開発中のため実際の画面表示とは異なあります)

 

遠隔で聴診し、患者の不調発見をアシストする [ヘルスケア]

最後に、介護や病院などヘルスケア現場での異音検知をご紹介します。
この分野にはたくさんの有用な音があり、異音検知を使える場面が多いと思っています。例えば叫び声や足音など、介護施設における事故の早期対応につながる音の検知ができます。
他にも、聴診器で取得した音(聴診音)を用いて異音検知を行うことができます。聴診器では人間の心臓や肺の音を聴くことができます。聴診器の音をPCに保存できる「電子聴診器」がすでに市販されているので、これを用いて音データを取得できます。この音データを各種グラフで可視化するだけでも医師が異常を発見しやすくなるというメリットがあります。さらにそこに異音あり/なしを判定してレコメンドする音AIを組み合わせることで、専門の医師でない医療スタッフでも心臓や肺の異常を見つけやすくなるというのが私たちの期待です。
音の可視化や異音検知システム適用は音データさえ送ることができれば可能なので遠隔診療に役立てることができます。

以上のことを目標にして、実際に聴診器での集音にご協力いただきながら研究開発に取り組んでいます。

余談ではありますが、Hmcommでは異音検知の他に音声認識・自然言語処理も事業としております。感情認識などの技術と組み合わせ、ヘルスケア分野で役立てられるソリューションができないか…?という研究開発も同時進行中です。

【関連プレスリリース】
[1] https://prtimes.jp/main/html/rd/p/000000057.000033941.html

 

聴診音の異音検知システムイメージ

 

まとめ

今回は4つの異音検知活用シーンをご紹介しました。
何か意外なものはありましたでしょうか?それとも、全部なんとなく知っているシーンだったでしょうか?
音は画像など他のAIと比較して、まだまだ実用化されていないし、やれることがたくさんあるというのが私たちの考えです。これからも社会実装に向けて邁進してまいりますので、よろしくお願いいたします。

 

関連記事

#6 異音検知をみんなの手段に!音が分かるAIを作成するには?音を使った機械学習入門

 

本連載にて紹介するベンチャー企業情報は経済産業省が運営する大学発ベンチャーデータベースに掲載されております。 これまでにない技術やサービスに触れ、知識拡大やオープンイノベーションのきっかけにしてください!