私が手掛けた製品で最も印象に残っているのは、話した言葉を指でなぞった軌跡に文字表示するアプリ「しゃべり描きUI」です。お絵描き機能や10言語に対応した多言語翻訳などの様々な機能をもち、聴覚障がいや外国の方との円滑で多様なコミュニケーションの実現に貢献するものです。

このアプリの開発は、耳の不自由なインターン生との出会いをきっかけに始まりました。手話ができない私は、彼女に口元の動きを読んでもらい、筆談を交えながらデザインのアドバイスをしていたのですが、うまく伝えられないもどかしさと、もっと気軽に気持ちを伝えたいという想いを感じていました。

もし話した言葉が見えたら、聴覚障がいの方にも僕の思いが伝わるかもしれない。しかも、言葉が見えたらその文字に触れることができるかもしれない。それはきっと楽しいことが起こりそうだ。そんなイメージです。そこで、「話した言葉を見て触る世界」をテーマに、所内の公募型プロジェクトに応募し、UIやGUI、エンジニアリング、サービスなど様々な分野のデザイナー8名が集まることで、この開発がスタートしました。

プロジェクトを始めるにあたり、まずはテーマとした「話した言葉を見て触る世界」とはどのような世界だろうか、ということをメンバーで体験し感じた感覚を共有するために、ワークショップを行いました。プレイフル・ラーニングをキーワードに、学習環境デザインとラーニングアートの先進的な研究を行っている同志社女子大学の上田信行教授をはじめ多くの方々に協力いただき、様々なプログラムを行いましたが、なかでも印象に残っているのが、「キートーク＋マルチスクライビング」という変換ワークです。これは、上田教授と私がトークテーマ「話した言葉を見て触る世界」について対談し、その内容を全員がそれぞれ違う表現で話し言葉を可視化していくプログラムです。ある人は内容を時系列に羅列して書き、またある人は個人の感情や視点を書き、またある人は議論を総括するまとめを書くといったようにそれぞれ役割が与えられていました。
通常、話した言葉は耳に入れば消えてしまいます。しかし、このプログラムでは話した言葉が次々と文字になって目の前に現れてくるのです。自分が話した言葉が文字として相手にも届き、相手は耳と目で言葉を理解し、さらに自分が話した言葉を自分自身の目で確認できる。
このように話し言葉をリアルタイムに視覚化することは実に新鮮な驚きがあり、話した言葉を文字にして表現することの価値を確信しました。

また、聴覚障がいの方に思いを伝える方法を整理したところ、それぞれ一長一短があることが分かりました。
手話や指文字は話すようにテンポよく伝えられますが、覚えるのが大変で健聴者にはあまり普及していません。筆談は誰でも行うことができますが、書くための負荷が高く時間もかかります。音声認識アプリは、誰でも簡単に話した言葉を文字にすることができますが、文字しか表示しないので筆談のように文字とイラストを組み合わせた豊かな表現ができません。

さらに、聴覚障がいの方やそのご家族の方々にヒアリングを行ったところ、驚きの事実を知ることになりました。それは、聴覚障がいの方に地図を描いて説明しても、実は説明を理解するのが難しいということです。なぜなら、話している人の唇の動きと、指さしている地図を同時に見ることができないからです。この気づきは私たちが進むべき大きなヒントを与えてくれました。

ワークショップやヒアリングから得た気づきを通し、「特別な技術を習得する必要がなく、誰でも簡単に使える」、「文字と手描きイラストを混在させた豊かな表現ができる」、「画面を見ているだけで、指さしているものと話している内容の両方が理解できる」ことが、「しゃべった言葉を音声認識し、指先に文字を表示するユーザーインターフェース」の実現すべき在り方だと仮説を立てました。

ここから様々なアイデアを検討していきましたが、特に音声認識結果の文字を表示するUIには悩みました。指でタッチしたところを文頭に文字を表示するUI、指で四角を描いてその中に文字を表示するUI、指でタッチしたところに吹き出しを出してその中に文字を表示するUIなど様々なUIを考えましたが、どれも無機質な印象でしっくりきませんでした。
悩んで苦み続けているところに、ふと天から舞い降りてきたのが「指でなぞった軌跡に文字を表示する」UIです。
すぐにメンバーが簡易プロトタイプを作成。それを触って試したところ、今までに体験したことのない感動やワクワクがありました。指先から次々に文字が湧き出てくる感覚は鳥肌が立つほどでした。なぞるという行為が文字を綴る作法に似ているため、人に馴染んだUIになることや、アナログ的な手書き感があり自由度の高い形状で文字を表示できること、さらに画面の好きなところに文字を配置できるなど、必要な条件を満たした上での、魅力的な特徴を持っていました。
私たちはこの基本UIを、しゃべった言葉を自由自在に描くという思いを込め「しゃべり描きUI」と名付けました。「しゃべる」、「書く」に続く「しゃべり描く」という3つ目の伝達方法を発明しちゃったかも！と、メンバー同士で興奮して話したのを思い出します。

ここから自信を持った私たちは、一気に開発を加速させました。しゃべり描きUIと親和性の高い「お絵描き機能」、「画像貼り付け機能」、「多言語翻訳機能」、「手書き文字認識機能」、「対面表示機能」などを組み合わせることで、聴覚障がいの方はもちろん、外国人の方とも気軽に思いを伝えられるコミュニケーションツールにまとめ上げていきました。ちょうど東京オリンピック・パラリンピックの開催が決定した時期であったこともあり、聴覚障がいの壁だけでなく、言語の壁をも乗り越えて世界中の人々に使ってもらいたいと、メンバーの想いや夢が広がっていきました。

私はこのプロジェクトに限らず、UIをデザインするときは常に「気持ちよさ」を意識して設計しています。例えば、しゃべり描きUIの気持ちよさのポイントは、文字の表示の仕方と指でなぞった軌跡に表示している青い帯にあります。
文字の表示の仕方については、一文字ずつ順番にぼけた文字からピントが合うようにじわじわと表示しています。これによって、なぞった指の後ろを文字が追いかけるようにふわ～っと湧き出てくるようになります。これは「指で文字を綴っている」という感覚を意識させるための演出でもあります。
また、指でなぞった軌跡に表示している青い帯は、音声認識の文字表示のタイムラグを感じさせないための重要な役割も持っています。つまり、文字が準備できていなくても、常に指の下から青い帯が表示されることによって指への追随性が高まりより気持ちよく操作できるのです。
これらは一例ですが、きめ細やかにデザインし、チューニングすることで、まるで魔法使いになったようなワクワク感と気持ちよさを併せ持ち、心をゆさぶるUIに仕上げることができました。

2016年2月に、プロジェクトを広報発表するに至りました。また同年10月にはCEATECの三菱電機ブースにてメインで展示され、このときは30分待ちの行列ができるほどの人気となりました、のけぞって驚く人や、何度も触って楽しむ人がいたほどです。耳の不自由な方々に、自分たちの生活が変わると期待していただくことができ、大きな手応えを感じました。また、嬉しいことにCEATEC AWARD 2016（暮らしと家でつながるイノベーション部門）でグランプリもいただきました。
発表後は、さまざまな企業や団体から、実証実験の申し込みをいただきました。まず先行導入したのは大学病院や駅、図書館などです。なかでも親和性が高かったのは教育現場でした。特別支援学校にしゃべり描きUIを採り入れたところ、コミュニケーションが苦手だった子どもが積極的に話すようになり、自分の発した言葉の間違いもしゃべり描きの文字を見て理解できるようになったといいます。
世の中の方たちが、私たちが想定していなかった使い方により、しゃべり描きUIの可能性を広げてくれました。
また、グッドデザイン賞・ベスト100など国内外の数々のデザイン賞に選定されるなど、多くの評価をいただくこともできました。

実証実験にとどまらず、1日でも早く製品化したかったものの、正式にリリースするまでには3年もの年月を要しました。社内外の評価は高かったのですが、しゃべり描きUIは当社の既存事業との関係性が少なく、アプリケーションだけを売るという当社の経験がない販売形態のため、思うように事業化が進みませんでした。しかし、当社とライセンス契約した兼松コミュニケーションズ（株）から「しゃべり描きアプリ」として2019年6月にリリースされ、待ち望んでくださっていた方々に何とかお届けすることができて本当に嬉しかったです。

この先しゃべり描きは、さまざまなハードウェアやサービスにも応用展開していく予定です。キーボード入力やタッチパネル入力のように、しゃべり描きも入力方法のひとつだからです。例えば、学校の電子黒板にしゃべり描き入力が内蔵されれば先生の板書の手間を省き、授業の密度を高められます。外国人の生徒がいる場合でもしゃべり描き黒板があればすぐに翻訳できるので、授業で遅れをとることはありません。教育現場に限らず、SNS、医療現場、ビジネスシーンなど活用の場はどんどん広がっていくでしょう。

世の中には優れた技術がたくさんあります。その優れた技術を、様々な人が心と心を通じ合わせ喜びを感じられるモノにデザインしていくことが、デザイナーとしての私の目標です。
「しゃべり描き」は三菱電機株式会社の登録商標です。
「CEATEC」は一般社団法人電子情報技術産業協会の登録商標です。

しゃべり描きアプリ
for iOS

通信状況、 OSのバージョン、機種により正しく表示されない場合がございます。
「iOS」は、Cisco Technology, Inc.の登録商標です。
「App Store」は、米国およびその他の国で登録されたApple Inc.の商標です。