開発No.0119
2001年4月24日
　

【概　　要】

　三菱電機株式会社（社長：谷口 一郎）は、当社独自のインテリジェントイメージセンサである人工網膜ＬＳＩ^注１）を利用した似顔絵生成と、その似顔絵を泣き顔・笑い顔などさまざまな表情に変形する技術を世界で初めて開発しました。入力画像から瞬時に似顔絵を生成できるほか、自分の似顔絵を漫画風に加工したり（図１）、素顔を笑顔や泣き顔に変形することができます（図２）。今回、似顔絵生成に必要な、背景からの顔領域切り出し方式を新たに考案し、人工網膜ＬＳＩの画像処理機能を利用して、リアルタイムで線画化することに成功しました。開発した似顔絵生成技術は、専用の画像処理プロセッサを必要としないため、携帯電話をはじめとするカメラ搭載モバイル機器に新しい付加価値を提供するものと期待されます。

注１）人工網膜ＬＳＩ：

画像の高速検出機能と画像処理機能（エッジ検出・射影検出など）を兼ね備えている、当社独自のＣＭＯＳ画像センサ。１９９０年にその概念を発表し、１９９８年から量産を開始。

【開発の背景】

　近年、モバイル機器のマルチメディア化が進み、モバイルカメラを搭載した携帯電話やメール端末が発売され始めています。携帯電話の世界市場規模は２００１年に４億台、２００５年には１０億台と予測されており、将来のカメラ搭載率を３０％と想定しても、数億台規模のモバイルカメラの巨大市場が形成されることになります。また、携帯電話への搭載により、携帯ゲームやモバイルＰＣなどへの波及効果も期待されます。
　当社は、これらのモバイル応用に適した、高画質、低消費電力という撮像性能に加え、画像処理機能を兼ね備えたカラー人工網膜ＬＳＩを開発し、量産しています。モバイルカメラの主な用途は、ユーザーの顔を撮影して相手に送るピクチャーメールやテレビ電話が想定されています。そこで、当社ではモバイルカメラの付加価値を高めるため、（１）通信データ量や保存時のメモリサイズを削減して、限られたハードウェア容量を有効に使うこと（２）単なる顔写真ばかりでなく、ユーザーが楽しみながら顔情報をやり取りすることの二点を目的として、人工網膜ＬＳＩを活用した似顔絵生成技術を開発しました。開発した似顔絵生成技術は、撮像した画像から直接、自然な似顔絵を生成できます。従来の似顔絵生成技術は、ユーザー自身の手操作により、髪型、顔輪郭、目、鼻などのパーツを選び、その組み合わせで似顔絵を作るため、操作が困難、時間がかかる、できた似顔絵が不自然、面白みが少ないなどの問題がありました。

【主な特長と成果】

　今回開発した似顔絵生成技術では、人工網膜ＬＳＩの画像処理機能を利用して顔領域を切り出して似顔絵を生成するとともに、目・鼻・口など、顔パーツの特徴点も検出できます。特徴点は、顔パーツの入れ替えや顔画像を変形する際に必要となります。ユーザーは顔画像を写すだけで、わずらわしい操作もなく、簡単に好みの似顔絵を作ることができます。本技術の主な特長は下記の３点です。

1. 撮像した生画像から、笑う顔・泣く顔・怒る顔などの感情を伴った自然な似顔絵が生成できます。また、目、鼻、口などのパーツを置き換えることにより、漫画風の似顔絵生成も可能です。

2. 人工網膜ＬＳＩの画像処理機能を利用して、アルゴリズムのコードサイズ（ボリューム）を小さく抑えているため、リアルタイムで実行できます。

3. 微少な動き解析技術により、顔領域を安定に切り出すことができます。

【開発の内容】

当社で開発した似顔絵アルゴリズムのポイントは、微少な動きを検出して顔領域を安定に切り出すことができることと、似顔絵生成に必要なエッジ処理等顔画像の線画化を高速に実行できることです。本アルゴリズムは、人工網膜ＬＳＩの画像処理機能を利用しているので、高速な専用プロセッサや大容量メモリが不要であることが大きな特長です。

1. 人工網膜ＬＳＩを利用した動き解析技術による顔領域切り出し方式の考案
   背景が均一でない場合、まず顔領域を背景から切り出す処理が必要です。通常の顔認識手法では、肌色解析により顔領域の切り出しを行いますが、この手法は対象の皮膚の色や背景色に依存するため、顔領域の切り出しが不安定になります。この欠点を補うには、動きを利用した顔切り出し手法が有効ですが、この手法を単に適用しただけでは、対象の静止時に顔領域の切り出しが困難です。
   今回、人工網膜ＬＳＩの画像処理機能を利用した動き解析技術に基づき改良を加えて、安定して顔領域の切り出しが行える方式を考案しました。
   

2. 人工網膜ＬＳＩを利用した線画化処理の高速実行
   顔画像の線画化は、大量の画像処理を伴います。このような画像処理は、通常はパソコンあるいは画像処理プロセッサなどを利用できますが、モバイル用途では高速なＣＰＵや大容量メモリの利用が制約されるため、通常の画像処理形態では処理できません。しかし、画像処理機能をもつ人工網膜ＬＳＩを利用することにより、エッジ処理など顔画像の線画化に必要な処理を高速に実行できるようになりました。

【今後の展開】

　メール交換の場合では、楽しいメール・悲しいメールなど、メール内容に沿った表情の似顔絵を添付したメッセージを送ったり、受信した似顔絵を電話番号・アドレス帳の個人登録情報に利用する例、あるいは彼氏や彼女の顔を笑わせたり、驚かせたりして変形した似顔絵を動画で送るなど、さまざまな応用が考えられます。また、携帯ゲーム、アミューズメント（プリクラなど）分野への展開も有力です。　　 今後、携帯電話メーカー、携帯端末メーカー、ゲーム機メーカー、ペットロボットメーカーなどに向けて、実用化の提案を図っていきます。

【特　　許】

１件出願中

【お問い合わせ先】

報道関係からのお問い合わせ先
　三菱電機株式会社　広報部
　　電話（03）3218-2333／（06）6347-2030〔関西広報室〕
　※ニュースリリースに係わるメールでの
　　お問い合わせはこちらまでお寄せ下さい。

TOP ニュースリリース バックナンバー 　 　 Terms & Conditions COPYRIGHT(C)2001 MITSUBISHI ELECTRIC CORPORATION ALL RIGHTS RESERVED.