R&D NOTE

開発NOTE

SCROLL

武井さん、田中さんが並んでいる写真武井さん、田中さんが並んでいる写真

かつてない先進センシング技術で
ドライバーの体調異変や
車内幼児置き去りを検知
ヒューマンモニタリング技術

  • 先進応用開発センター:武井 匠
  • 先進応用開発センター:田中 堅人

自動車は人間の社会生活に欠かせない存在である一方、最近では運転手の体調異変に起因する事故や車内への幼児置き去りなど解決すべき問題も多く発生しており、より安全な仕組みの開発が世界的命題ともなっています。

三菱電機は、それらの課題解決に向け、ドライバーおよび同乗者の情報を検知する「ヒューマンモニタリング技術」を開発しました。その技術開発に挑んだ先進応用開発センターの2人に話を聞きます。

先進応用開発センター 応用開発第二部 武井 匠さんの写真

先進応用開発センター
応用開発第二部
武井 匠

社会課題解決に
貢献できる技術の開発
自由提案を後押しする
風土があっての誕生

先進応用開発センター 応用開発第二部 武井 匠さんの写真

先進応用開発センター
応用開発第二部
武井 匠

武井

三菱電機では以前から、運転手の居眠りや脇見を検知するドライバーモニタリングシステム(DMS)を開発してきました。近年では運転中のドライバーの体調悪化や突然の意識喪失に伴う事故が世の中で注目を集め、身体情報を取得して安全性向上に役立てようというニーズが高まっています。一方で、暑い車内に残された幼児が亡くなるという不幸な事故もしばしば起きており、置き去りにされた子どもを検知できる機能も求められるようになりました。加えて、国際的な安全基準で車内の人をモニタリングして事故防止につなげる仕組みの搭載が高く評価されるようになり、自動車メーカーでもより安全な車の開発を志す機運が高まっていることから三菱電機はヒューマンモニタリング技術の開発に着手しました。

そもそものきっかけは、前身の自動車機器開発センターで自由な技術開発を後押しする取り組みが実施されたことです。若手数人がカメラを使ったHMI技術を提案し、研究をスタート。その後発表したコンセプトカーに同技術が搭載され、多くの自動車メーカーが関心を寄せたことから本格的な開発につながっていきました。

  • HMI:Human Machine Interfaceの略
先進応用開発センター 応用開発第二部 田中 堅人さんの写真

先進応用開発センター
応用開発第二部
田中 堅人

新しい分野の知識を習得しつつ
トライ&エラーの繰り返し
工夫を重ね生み出された
2つの画期的な技術

先進応用開発センター 応用開発第二部 田中 堅人さんの写真

先進応用開発センター
応用開発第二部
田中 堅人

田中

三菱電機のヒューマンモニタリング技術には多種多様な要素技術があり、今回開発したのはその中の2つ。1つはカメラと画像分析技術を駆使し、ドライバーの脈拍や血圧などの変化を推定して身体の異常を検知する「非接触生体センシング技術」、もう1つはミリ波レーダを用いて車内に人がいるかどうか検知する「人の存在・状態センシング技術」です。

私が携わったのは前者の技術開発です。当時すでにカメラで撮影した画像から居眠りや脇見運転を検知する研究は進められていましたが、新たに目指したのは人の生体情報の取得でした。デバイスを体に直接装着すれば心拍や脈拍数をセンシングできますが、ドライバーはデバイスを常に身に着ける必要があり、現実的ではありません。また、手が接触するハンドルに埋め込む方法もありますが、対応機器の開発製造でコストがかかります。その点、DMSで用いるカメラなら「非接触」でデバイス装着は不要。DMSがすでに設置されている車両であれば追加の機器製造コストをかけずに情報を得られるのが大きなメリットとなります。

従来技術と今回開発した技術の比較

田中ポイントはノイズの除去と検知基準となる症状のデータ収集でした。DMSのカメラでドライバーの顔を撮影し、心臓の鼓動に合わせて血液が流れることで生じる顔の肌色の微細な変化を画像解析して、脈拍や血圧などの体調変化を非接触で検知するのですが、ドライバーは運転中に安全確認やハンドル操作などで顔や体を動かしますし、車自体の移動による振動や外光の反射でも撮影画像に変化が生じます。さまざまなケースを想定し検証を重ねることでノイズを除去し、センシング精度を高めました。また、最終的な目標である画像からの心疾患やてんかん発作等の検知に向け患者のデータ収集に取り組みました。医学系大学と共同研究というかたちで、病院での撮影を行いながらデータ収集したのですが、これには苦労しました。これまで触れることのなかった医学分野でしたので、集まったデータを読み解くことが難しく、医師から話を聞き、医学書を読み漁って学びながらの開発でした。

ミリ波レーダ(当社開発品)

武井

私が担当したミリ波レーダによる検知は、製作所からドライバー以外の乗員のモニタリング、中でも車内に置き去りにされた幼児を検知できる技術の依頼を受け、開発に着手したものです。生体センシングと同じくカメラを使う方法も検討したのですが、チャイルドシートにサンシェードをかけるとカメラでは赤ちゃんが見えないなど、さまざまなユースケースを洗い出す中で、布などを透過し死角に強いレーダを使うのが最適との結論に達しました。

武井

実は私が大学時代に研究し、かつ入社後に扱っていたのは音声で、当初はミリ波レーダについてはほぼわかっていませんでした。そこで自ら勉強し、情報技術総合研究所のレーダを専門に扱う部署の協力も仰ぎながら取り組んでいったことを覚えています。ちなみにその部署にとっても車内の狭い空間を対象としてレーダを扱った経験は少なく、複雑な反射がある中で人をどう検知するのか、とにかく手探りでチャレンジングな研究でした。中でもレーダから発せられた電波は車室外まで飛ぶため、検知した幼児が車内外どちらにいるのか区別することが重要なポイントになりました。意外にも結果として生きたのは音声研究の経験で、レーダにも音声に似た性質を見出し、問題を解決することができました。

幼児置去り検知

武井そのほか、雨風が強い場合や虫が車内に入ってきた場合など数々のシーンを工夫しながら再現してデータを集め、より精度の高い技術の確立に努めました。私の3人の子どもと妻にも協力を仰いだり、ペット置き去り検知では、わが家の飼い犬を登場させたりと家族総出(笑)。とにかくデータ収集に駆け回る毎日でした。

車以外の活用シーンや新たな用途。可能性は無限大

田中

自動車向けのヒューマンモニタリング技術が一通り完成し、ドライバーの体調急変と幼児置き去りの検知について量産提供の準備が整ったのは2024年度のことです。加えて、カメラによる非接触生体センシング技術で得られた脈拍数と、眠気の推定および自動車の運転操作の情報を組み合わせ、AIによって飲酒状態を検知できる技術も開発しました。社会課題である飲酒運転の防止に役立てられることを期待しています。

ADVANCED APPLIED
DEVELOPMENT CENTER

武井

今後は自動車以外の用途も探っていきたいと考えています。リビングやオフィス、医療機関・介護施設、工場、鉄道などさまざまなシーンで、例えば転倒している人や危険な場所に取り残された人の検知に応用できるでしょう。ミリ波レーダについては、カメラで撮影するとプライバシーの問題がある場所、例えばトイレなどでのモニタリングにも活用できると考えています。

人を巻き込みながら取り組むための対応力や技術分野の広がり。
研究開発を通じて自分自身の成長を実感

田中

今回の研究開発で得たものは、人を巻き込みながら取り組みを進めていくうえでの対応力です。三菱電機の研究所・製作所に加えて大学や医療機関など外部にも力を借り、開発を進めることができました。組織も専門も異なる人たちとの協業では、使用する用語、言葉自体が通じないことも多々あります。そうした中で勉強し、また相手の理解を得ながら進めていくのは大変でしたが、成長できた実感も得られました。

武井さん、田中さんの写真
武井さん、田中さんの写真
武井さん、田中さんの写真

ADVANCED APPLIED
DEVELOPMENT CENTER

武井

ミリ波レーダという未経験の分野に触れ、技術分野を広げられたのが大きかったですね。併せて、ミリ波レーダを車内に設置すればどのような効果が得られるか理解してもらうため、まずは社内外の関係者と連携し、早期に実車で動く形の試作機を開発しました。客先含めた関係者に、実際に動作する様子を見てもらうことで議論が加速しました。口で説明するだけでなく形として見せることの重要性に気づいた経験でもありました。

────三菱電機の魅力や、三菱電機を目指す皆さんへの思いを教えてください。

新しいことを楽しんで吸収できる人、
自分を高めていきたいと思う人をお待ちしています!

田中 堅人さんの写真
田中

三菱電機は事業分野が幅広いうえ、実績をベースとした強力なブランドプレゼンスがあります。社外に協力を仰ぐ際も「三菱電機だから一緒にできる」と言っていただくことが多く、これは他社にない大きなメリットだと感じます。

新しい仲間としては、新しいことを楽しみ、喜んで取り組める人、そこからさまざまなことを吸収できる人をお待ちしています!

武井 匠さんの写真
武井

三菱電機全社としてはもちろんのこと、当センターも、いたるところに多彩な分野のスペシャリストがいます。いつでも協力を仰げますし、コミュニケーションを取りやすい環境が整っていることも大きな強みです。社内の多様な部署と連携しながら自分に足りないところを補完し、さらに成長して、これからも社会に役立つ技術の開発に力を入れていきたいと思っています。

そして、コミュニケーションを取るのが好きで、いろいろな人と切磋琢磨しながら自分を高めていきたい人と、ぜひ一緒に仕事をしていきたいですね。

PROFILE

武井 匠さんの写真

先進応用開発センター
応用開発第二部
武井 匠

2009年4月入社。大学時代は音声に関する研究が専門で、入社後もカーマルチメディア向け音声インターフェースの開発に携わり、今回の開発では未経験のミリ波レーダを活用した技術開発とその取りまとめ役を務めた。休日は3人の子どもの習い事見学を楽しみにしている。

2009年4月入社。大学時代は音声に関する研究が専門で、入社後もカーマルチメディア向け音声インターフェースの開発に携わり、今回の開発では未経験のミリ波レーダを活用した技術開発とその取りまとめ役を務めた。休日は3人の子どもの習い事見学を楽しみにしている。

田中 堅人さんの写真

先進応用開発センター
応用開発第二部
田中 堅人

2018年4月入社。大学では知識情報工学を専攻し統計処理やAI技術を研究。入社してからはAIを用いた運転手の状態推定に関する先行開発を手掛け、今回はカメラを使った非接触生体センシング技術の開発を取りまとめた。旅行が好きで、機会をつくっては妻との海外旅行を楽しんでいる。

2018年4月入社。大学では知識情報工学を専攻し統計処理やAI技術を研究。入社してからはAIを用いた運転手の状態推定に関する先行開発を手掛け、今回はカメラを使った非接触生体センシング技術の開発を取りまとめた。旅行が好きで、機会をつくっては妻との海外旅行を楽しんでいる。

  • 記事、所属・役職及び写真は取材当時のものです。