開発NOTE：Maisartを用いた骨紋による危険行動検知技術｜人を知る｜研究開発｜研究開発・技術｜企業情報

R&D NOTE

開発NOTE

SCROLL

草野さん、望月さんが並んでいる写真

カメラ映像から公共空間での
暴力の早期発見に役立つ Maisart^※を用いた
骨紋による
危険行動検知技術

情報技術総合研究所：草野勝大
情報技術総合研究所：望月浩平

人の骨格情報の分析技術を、
社会課題解決に活かせるのではと
考えていました

三菱電機には、自社のAI技術「Maisart®（マイサート）」を活用して骨格情報から工場の作業者の動きを分析する「骨紋」というソリューションがあります。カメラ映像から関節の動きを抽出・分析する技術をもとに、1人の作業者にフォーカスして現場作業の効率化と生産性向上を支援するもので、私もその技術開発に携わっていました。

いま社会には「暴行などの犯罪を発生前に見つけたい」あるいは現実に起きてしまったら「可能な限り早く発見して対応したい」というニーズがあります。そうした社会課題の解決に向けて、骨格情報を作業分析に用いる「骨紋」の技術を活かせるのではないか――。その思いのもとで開発をスタートしたのが「骨紋による危険行動検知技術」です。

実はこれまでにも、1人1人の動きに着目して分析し、その結果を組み合わせて行動を検知する技術は存在していました。ですが今回の危険行動検知技術は、映像の中にいる2人の人間の動きをセットで分析して相関関係の有無を判定し、AIによって危険行動を自動検知します。この「複数」かつ「同時」に分析できる技術は三菱電機ならではのものです。

複数人物が起こす動きを定義し、検知・分析する技術開発に苦心しました

開発が始まったのは2020年のことです。「骨紋」は人間の動きを高い精度で分析する点で優れた技術ですが、それを複数の人物の間で発生する危険行動に適用するには、まず危険行動とはどういうものかを規定し、その動きを検知して「骨紋」で分析するモデルを作っていく必要があります。開発は私（草野）が全体の取りまとめ役となり、暴行・恐喝といった危険行動が行われるとき人と人はどのような動きをするのか、それを探るところから踏み出しました。

情報技術総合研究所情報表現技術部
社会安全高信頼化技術グループ望月浩平

暴行と聞くと思い浮かぶのは殴る、蹴る、つかみ合う、もみ合うといった動きでしょう。言葉でいうと簡単ですが、では実際にどういった形で殴るのか、つかみ合うとき人はどのような姿勢をとるのか、具体的なアクションを定義するのはとても難しい課題でした。

殴る動作一つとっても、さまざまな暴行シーンの映像を見るとボクシングのようにストレートパンチを繰り出すケースはほぼありません。

横から叩いたり、相手を押し倒したりといった動きが加わることも多いですし、殴る側と殴られる側双方のアクションが作用し合った総合的な動きになります。そうした多様な動きを網羅してAIに学習させ、分析アルゴリズムを作り上げるのはかなり困難な作業になりました。

分析ツールのプロトタイプを開発し、私たちが暴行や恐喝と考える映像を入力しても「歩いている映像です」「握手をしています」といったように想定と異なる判定が出てくるなど、とにかく思うような結果をなかなか得られませんでした。

正しく判定されない原因を一つ一つチェックし、それを突き止めたら、入力する映像を変える、AIに学習させるパターンを変える、分析アルゴリズムを変えるなど、改善に向けて試行錯誤と評価を繰り返す日々を過ごしました。

人と人が何かをし合うイメージは、言語化するのは難しいのですが、骨格の動きの量や大きさ、速さを計測してグラフ化すると、相手に及ぼす作用とそれを受けた反作用の様子が一つのパターンとして見えてきます。押す動作が起きれば押された側の動きも生まれ、その様子がグラフに表されるということです。

とはいえ、動きの大きなパンチを受けると殴られた側も大きなリアクションをとるかといえばそうでない場合もあり、個人によって異なる挙動も多く見られました。とにかくデータを地道に集めてAIに学習させ、そのうえで危険行動を現実に検知できるか検証するため、小売店で実際に起こり得る行為をヒアリングして模擬店舗で検知を実施し、精度を高めていきました。

社会実装に向けた第一歩を踏み出しつつ、さらなる精度向上を追求します

2022年12月、「骨紋による危険行動検知技術」の開発を発表しました。現在は社会に実装していくため、製品化のスタート地点に立った段階です。発表後、多くの人から技術の意義を評価され、大きなやりがいを実感しました。

INFORMATION TECHNOLOGY
R&D CENTER

この技術を採用したソリューションは、監視カメラが設置されていればどこでも活用できます。大型商業施設や駅、空港のように不特定多数の人間が利用する広い空間はもちろん、コンビニや事業所等の狭い場所でも役に立つ技術だと考えています。社会実装されれば世の中の安心・安全に貢献するのはもちろん、監視業務の負荷を軽減できますし、危険行動を事前に予測して発生を予防するという活用方法も可能になるでしょう。

ただ、課題はまだ残っています。工場の作業分析であればカメラは1人の作業者のみを捉えるので問題ないのですが、公共空間では暴れている人が映像のどこに映っているかわかりませんし、暴行・恐喝の当事者以外にも多くの人が映っています。そうした状況でも危険行動を正しく検知するため、ブラッシュアップを続けていきます。

────三菱電機で研究活動に携わる魅力と、その三菱電機でこれから成し遂げたいことを教えてください。

自ら生み出した技術で世の中への貢献を実現できる三菱電機のポテンシャル

「三菱電機は幅広い分野で事業を展開しているので、新しい技術を開発したいと思い立ったとき、その技術を製品・サービスに適用できる場を必ず見つけられます。そこと連携することで技術を社会実装し、世の中に貢献していけるのが、三菱電機の大きな魅力だと感じています。

私自身はこれまで部門をまたいだ大きなプロジェクトのリーダーを務めた経験がないので、チームを牽引する力や課題発見力をもっと身につけ、いずれは部門横断プロジェクトを率いてみたいと思います」

「ここでは、社会に貢献する技術を研究開発するという大きな目標が前提にあります。社会をより良くするために必要な技術は何かを考え、試行錯誤しながら技術を開発しています。社内やさまざまな事業者に開発した技術を披露して好反応が得られると、やはり社会貢献への手応えと達成感が得られます。

三菱電機は技術や知見が豊富な人材、平たくいうなら “スゴイ” 人が数多くいて、日々刺激を受けるのはもちろん、そういった人たちと連携することで自分の世界も広がっていきます。今後はその “スゴイ” 三菱電機で、ビジネスにつながる開発のプロジェクトリーダーを務められる人材に成長していきたいですね」

────三菱電機を目指す皆さんに、メッセージをお願いします。

「いまは技術の進歩も凄まじく、多岐にわたる製品・サービスが登場する中でクリティカルな社会課題を見つけることが難しくなっています。だからこそ、解決したい社会課題や理想の社会像を持っている人は貴重ですし、そういう人と議論しながら研究開発していきたいと思っています」

「情報技術総合研究所では、新しい技術の開発に向けて積極的に調べ、実際にプロトタイプを作り、その技術で解決できる社会課題を見つけていく力が求められます。社会課題を自ら発見する目は入社してから養われるものでしょうが、そのベースとして「好奇心」と「探究心」が不可欠ですので、とにかくいろいろなことに興味を持って取り組むことのできる人にきていただけるとうれしいですね」

※Maisart（マイサート）:Mitsubishi Electric's AI creates the State-of-the-ART in technologyの略。
全ての機器をより賢くすることを目指した当社のAI技術ブランド。