脳波や心拍で参加する仮想ライブ体験システム

2022.10.13 By 芝浦工業大学

情報

技術概要

没入型ヘッドマウントディスプレイで仮想ライブを視聴しているユーザから、脳波や心拍などの生体信号を測定して興奮状態などの精神的盛り上がりを検出し、生体信号に連動して仮想ライブ映像に視覚的エフェクトを出現させる仮想ライブ体験システム

用途・応用

ハンズフリーで能動的にライブに参加できるバイラフリーなライブ体験システム、バイオフィードバックにより精神的盛り上がりを意識できるシステム

背景

 近年、頭部に表示装置を装着するヘッドマウントディスプレイ(Head Mounted Display)の開発が進められている。そして、このようなヘッドマウントディスプレイは、VR(ヴァーチャルリアリティ)に応用されつつあり、例えばゲームやスポーツの観戦への用途への開発が進められている。

 また、近年、脳活動を測定した信号から信号処理や情報処理により操作命令を抽出して、機器操作やコンピュータ入力を行うブレイン‐コンピュータ・インタフェース(BCI)技術が研究開発されている。なかでも脳波を用いた非侵襲BCI技術は、外科手術を要せず日常で使用できる技術として期待されている。

 BCIとして脳波を用いる例としては、ヘッドマウントディスプレイでVRライブ視聴時の脳波に応じてライブに視覚的効果を生成させるエンターテイメントシステムの開発が行われている(例えば非特許文献1参照)。非特許文献1に記載のシステムでは、ユーザの脳波に連動して仮想ライブ映像に視覚的エフェクトを出現させで仮想ライブシステムを実現している。

 また、コンピュータ・インタフェースに心拍を用いる例としては、ユーザが画像を見た時の心拍に基づいて、画像に対する処理を行う画像処理装置が提案されている(例えば特許文献1参照)。

 今後、ヘッドマウントディスプレイによる仮想ライブシステムは、自宅にいながらライブ参加ができ、コンサート施設の不足や、コンサート施設バリアフリー化の遅れの問題を解決することが期待されている。また、仮想ライブシステムは、新しいライブ・コンサートの形として期待される。

【先行技術文献】
【特許文献】
【特許文献1】特開2015-50614号公報
【非特許文献】
【非特許文献1】和田みなみ,渡部恵梨,堀江亮太、「没入型ヘッドマウントディスプレイと生体信号を用いた仮想ライブ体験システムの開発」、電子情報通信学会技術研究報告、Vol.116、no,520、MBE2016-102、pp.95-98、2017年3月

課題

 しかしながら、従来のライブ体験システムの視聴では、ライブに参加をすることで、演者と複数の観客の相互作用から生じる一体感を感じる体験が得られにくいという課題があった。

 本発明は、上記の問題点に鑑みてなされたものであって、ライブの視聴において、演者と複数の観客の相互作用から生じる一体感を感じる体験を得ることができるライブ演出システム、およびライブ演出方法を提供することを目的とする。

手段

 上記目的を達成するため、本発明の一態様に係るライブ演出システムは、n個(nは2以上の整数)の生体情報測定部であって、ライブに参加するn人それぞれが装着し、生体情報を測定する生体情報測定部と、前記n個の前記生体情報測定部それぞれが測定した前記生体情報と閾値とを比較した結果に基づいて演出効果を生成し、生成した前記演出効果を、前記n人に共有させる制御装置と、を備える。

効果

 本発明によれば、ライブの視聴において、演者と複数の観客の相互作用から生じる一体感を感じる体験を得ることができるライブ演出システム、およびライブ演出方法を提供することができる。

問い合わせ・詳細資料閲覧

特許情報詳細や資料のダウンロード等については無料会員登録後に閲覧していただけます。

本研究に関するご質問や、話を聞いてみたいなどご興味をお持ちになりましたら、是非お気軽に以下のフォームにお問い合わせください。

特許情報

特願2018-127833

JPA 2020009027-000000