作業者の動きを“骨”で見る！
新たな作業分析ツール「骨紋」とは？

2021年、生産現場の近況

近年、工場のFA（ファクトリー・オートメーション）化が進み、生産過程ではロボットやセンサなどが幅広く活用されている。とはいえ、人間による手作業が皆無になったわけではない。このような製造現場の実情について、三菱電機の郡山工場の福田工場長に聞いた。

福田：郡山工場では生産ラインの自動化は進めていますが、手作業も採用しています。人間が作業する場合、不慣れなうちはどうしても作業に時間がかかります。また、人間には得手不得手、動きのクセがあり、それらに起因する問題は大きいのです。

　仮に、未習熟者がいるラインとそうではないラインとで、1台あたり3秒の作業時間の差が生じるとする。それぞれのラインで1万台を生産する場合、作業時間の差は計3万秒＝約8.3時間。つまり、たった3秒のロスが積み重なると、作業者1名の1日分の労働がムダになるのと同じなのだ。

「作業分析用カメラ」で生産性向上

こうした時間のロスや作業エラーをなくすために、工場ではつねに作業プロセスの改善策を模索している。郡山工場では2013年頃から、自社製のネットワークカメラ「MELOOK」シリーズを作業分析用カメラとして活用してきた。

郡山工場では、生産ラインに作業分析用カメラ を導入し、その映像を使って作業分析を始めてから約3か月で、生産性が飛躍的に向上した。 さらに、2014年11月から教育用資料や作業要領書にカメラ 映像を活用したことで、数値はさらに改善された。 結果として、映像から作業のムダを発見し、標準的なプロセスを確立したことで、2ヶ月間 でタクトタイム（工程作業時間）を約20％短縮できた。

最初はカメラの設置に抵抗を感じていた作業員の方々も、今ではそのメリットを体感しているという。

福田：何か不具合があったときも、カメラ映像を見れば原因がすぐに特定できるので、作業員側も安心できます。また、ある生産ラインの作業者が外観確認で「良か不良か」と迷って時間がかかっていたことを映像で発見し、「そうした場合は生産ラインの作業者はまずはすべて不良と判断していい」と指導したのです。生産ラインの作業者は迷いなく作業できるようになったと喜んでいました。

AIがカメラ映像から「骨の動き」を抽出

カメラ映像を使って、さらに作業プロセスを改善できないか。そんな発想から誕生し、2020年10月に発売されたのが、作業分析ソフトウェアWA-SW1000「骨紋（こつもん）」だ。このソフトウェアはその名の通り、“骨”の動きに着目して作業分析を行う。しかもその分析にはAIが使われている。

松江：近年、映像解析技術が進み、映像から人間の動きを把握できるようになりました。さらにAIによって「骨格情報」を簡単に取得できることもわかりました。この技術を工場の作業分析に役立てられないかと考えたのです。

カメラ映像そのものではなく、そこから抽出した「骨格情報」だけを利用することには2つのメリットがある。

松江：1つは情報処理のスピードです。カメラ映像には背景や製品、器具、作業服など、さまざまな情報が含まれますが、骨格情報は骨の動きだけで人間の動きの特徴をシンプルに表すことができます。余分な情報をそぎ落とすことでデータが軽くなり、情報処理が格段に速くなります。

もう1つは汎用性の高さです。骨格情報には、身長や体格などの差異はほぼ関係ありません。骨格情報だけを見比べることによって、製造工程の繰り返し作業を簡単に比較できるのです。

たった10サンプルで学習モデルが完成

AIといえば膨大なサンプルを用いて学習しないと分析できないイメージがあるが、「骨紋」にはAI技術「Maisart^®（マイサート）」^※が搭載されており、その特徴は当てはまらない。「骨紋」に必要なのは、たったの10サンプルだ。実際に「骨紋」を使っての作業分析を見せてもらった。

※Mitsubishi Electric's AI creates the State-of-the-ART in technologyの略。全ての機器をより賢くすることを目指した三菱電機のAI技術ブランド。

松江：「骨紋」による作業分析は「学習」「分析」「確認」の3ステップに分かれています。最初は「学習」のステップです。

まず、一連の作業をいくつかの「作業要素」に分割する（画面右側の「作業要素」を参照）。この場合は（1）部品取り～シール貼りから（5）カバー取り付けまでの5つに分けた。

次に、サンプル映像を1つずつ再生しながら、「この作業は（1）」「ここからが（2）」という風に、作業要素を設定する。これを10サンプル分行い、最後に右下の学習ボタンをクリックしてAIに学習させれば「学習モデル」のファイルが作成される。

松江：通常のAIの場合、学習モデルを作るまでに何百、何千というサンプルが必要ですが、「骨紋」は骨格の動きから効率よく学習できるため、たった10サンプルで可能です。学習プロセスを大幅に短縮できました。

続いては「分析」のステップ。

「骨紋」で分析したいカメラ映像を指定（上で「分析用映像ファイル」を選び、開く）。その下の欄で、「学習モデル」と「作業要素」のファイルを指定する。あとは「分析」ボタンをクリックするだけで、次のようなデータが出力される。

分析にかかる時間を劇的に短縮

最後のステップ「確認」は、この画面を見ながら行う。

グラフを見ると、ほとんどの作業は80秒前後で完了するのに対し、1台目と12台目だけ110秒以上かかっている。そこで、他と比べて時間がかかっている部分、例えば12台目の最初の作業にあたる青色のバーをクリックすると、その際の映像が再生される。

映像を確認すれば、時間がかかってしまった原因を簡単に発見でき、すぐに対策を取れる。

松江：作業の時間計測は非常に手間がかかるので、スタッフだけではなかなか取り組めません。しかし、「骨紋」ではAIが時間計測・分析をするので、何百人、何千人分のデータでもパソコン任せで自動的に客観的な結果が得られます。スタッフは作業者を観察する作業から解放され、結果だけに集中して改善に取り組むことができるのです。

実際に、郡山工場内のある生産ラインでは数百サイクルにおよぶ組立映像を「骨紋」で自動的に作業時間を計測し、そのデータを分析しました。その結果、今まで見つけられなかったような細かな手待ち時間の発生やわずかな作業の違いに気づき、改善に役立てることができました。

「骨紋」に寄せられる注目と期待

2020年10月に発売された「骨紋」には、さまざまな業種の工場から問い合わせがあると、三菱電機 コミュニケーション・ネットワーク製作所で営業企画を担当する牧野豊司さんは話す。

牧野：発売直後から、「骨紋について詳しい話を聞きたい」、「どんな作業環境に適用できるのか」といったお問い合わせをいただいています。

松江：今後は、骨格情報から通常とは違う動きを検出して通知するなど、予防保全につながる機能にも取り組んでいきます。

「骨紋」はパッケージ化されており、カメラ映像が準備できればすぐに現場に適用できる。また、製造現場の映像があれば、海外工場の作業分析を日本で行い、オンラインで改善策を提案するといった使い方も可能だ。

牧野：製造現場での、作業分析の自動化に対するニーズは高いと感じます。「骨紋」を使っていただくことで、従来手法では手がつけられなかった手作業の時間分析ができるようになり、改善につながる新たなヒントが得られることと思いますので、幅広い業種や作業の現場でご活用いただきたいですね。

三菱電機コミュニケーション・ネットワーク製作所の郡山工場は、画期的な発想と技術により、作業分析用カメラ「MELOOK3」シリーズを活用し、作業分析ソフトウェア「骨紋」とのシナジーにより、さらなる作業現場の効率化を目指している。今後の製造現場で、この作業分析ツールがどのように利活用されていくのかに注目したい。