ファッション通販サイト「ZOZOTOWN(ゾゾタウン)」を運営するZOZOの前澤友作社長は、2018年10月に、話題を呼んだ「ZOZOSUIT(ゾゾスーツ)」を将来的になくす考えを明らかにした。自動採寸技術の世界でも、上には上がいた。
REUTERS/Kim Kyung-Hoon
「ゾゾスーツ?あったね、そういうの」といった会話がこんなに早く聞こえてくるとは思わなかった。
数百個のドットマーカーが配置されたボディスーツを着て撮影した12枚の写真から、全身の精緻な採寸を行い、ぴったりサイズの服を注文できるとの触れ込みで話題になったゾゾスーツ。その後、ふだん着のまま撮影した前後2枚の写真から精度99%で採寸できるツールが他社から発表され、間もなく「ゾゾスーツを将来的になくしていく」という撤退宣言へとつながった。
一連のできごとを通じて明らかになったのは、スマホで撮影した数枚の画像があれば、全身の寸法はかなりの精度で推定できるテクノロジーがすでに存在する、ということだ。
プロと素人の「動きのズレ」を検出する
AnyMotionの開発にあたるNTTPCコミュニケーションズの伊藤大樹さん(左)と組橋祐亮さん。NTTコミュニケーションズのグループ内で開催されたビジネスアイデアコンテストで優勝し、2月末に幕張メッセ(千葉市)で行われた「スポーツビジネス産業展」での一般公開にたどり着いた。
撮影:川村力
実は、この技術を応用した新たなサービスが、2月27日に初めて一般公開された。NTTPCコミュニケーションズ(NTTコミュニケーションズのグループ会社)が開発した、姿勢検出・差異判定AI「AnyMotion(エニーモーション)」だ。
わかりやすく言えば、ある人がお手本となる先生の動きを真似た時、それがいかにお手本に近いか、あるいはかけ離れているかを、スマホなどで撮影した動画を使って判定・評価する技術。
例えば、憧れのプロ野球選手の投球フォームを身につけたい野球少年が、球場に行ってプロ選手のスマホ動画を撮影し、自分のフォームを撮影した動画と合わせてAnyMotionにアップロードすることで、両者の違いを容易に把握できるようになる。
実際に行われている処理は、お手本になる側と真似る側、両者の動画からAIを使って人体のみを抽出。そのうちキーとなる関節18カ所の動きを測定し、両者のズレ(差分)を別のAIを使って判定するというもの。
ゾゾスーツなどの採寸ツールと同じ原理で、測定する関節の数は(やろうと思えば)2倍、3倍と増やすことができるが、データが重くなり処理に時間がかかるし、用途にもそぐわなくなる。プロアスリートが自らのフォームの変化を把握するといった高度な用途には、多数のセンサーを使った高精度のモーションキャプチャのほうが適しているからだ。
投球フォームを真似る実験、やってみた
この「姿勢検出・差異判定」の技術だが、実は、映像から人物を抽出し、関節を検出する部分についてはすでに確立され、誰でもオープンソースで使うことができる。
AnyMotionの技術のミソは「ズレ(差分)」を検出する部分にある。下の2つの動画(いずれも10秒ほど)を見てほしい。
お手本となる野球選手の投球フォーム。
提供:NTTPCコミュニケーションズ
素人(筆者)の投球フォーム。iPhoneXの内蔵カメラで撮影した。
撮影:川村力
一目瞭然、上は上級者によるデモンストレーションで、下は筆者によるもの。おっさんのテキトーな自宅撮影(三脚すら使っていない)で申し訳ないが、AnyMotionがいかにすごい技術かを説明するにはこのくらいがちょうどいいのだ。
2つの動画をAnyMotionにアップロードして分析した結果が、下の動画だ。
お手本となる野球選手の投球フォーム。関節が可視化された。
提供:NTTPCコミュニケーションズ
素人(筆者)の投球フォーム。背景やサイズはまったく異なるが、お手本と同じように関節が可視化された。
提供:NTTPCコミュニケーションズ
さらに、2つの動画解析から導かれた結論が下の画像である。
上部に置かれた2つの動画に、関節がマーキングされているのが見える。緑色はお手本に近い動きをした関節、赤色はお手本とのズレが大きい関節を示している。画面下部には、動画のどの時間帯に、身体のどの部分の動きに、ズレが大きかったかなどを示すグラフ。
提供:NTTPCコミュニケーションズ
もうお気づきの方も多いと思うが、ユーザーが撮影する動画は、被写体までの距離やズレにバラつきがあり、スマホカメラの種類により画像の質も異なる。動きの開始から終了までにかかる時間も異なる。もちろん、体型もそれぞれ違う。そうしたまったく条件の異なる(しかも素人の撮影した)動画を補正して比較できることに驚きを感じないだろうか。
AnyMotionのAIエンジン開発を担当するNTTPCコミュニケーションズの組橋祐亮さんは、こう説明する。
「実は、動画か静止画かはさほど問題ではありません。パラパラ漫画の仕組みと同じで、動画は言わば静止画の集合体。要するに、動画の分析は大量の静止画を分析することなんです。手法は企業秘密ですが、絶対的な座標位置だけでなく、角度などの相対的な指標を用いて、撮影条件の異なる画像を比較できるように(補正)しているのがポイント、ということは言えます」
まだピンとこない方は、ぜひ無料のデモ版(メールとパスワードの登録が必要)を使って試してほしい。
AKB48や乃木坂46など集団動画は今後の課題
「恋ダンス」も、星野源単独の動画があればお手本にできるが……。
YouTube 星野源公式チャンネル
さて、このサービスは何に使えるだろうか。筆者が真っ先に思いついたのは、「恋するフォーチュンクッキー(恋チュン)」「恋(逃げるは恥だが役に立つ)」はじめ、不意に余興を振られた時の最強ツール、バズダンスの習得。動画を見て真似るだけでは絶対に完コピできない、というのが筆者の個人的な見解だ。
AnyMotionのビジネス開発を手がけるNTTPCコミュニケーションズの伊藤大樹さんに、アイデアをぶつけてみた。
「まさに、似たようなニーズがあります。ダンスではありませんが、サッカーイベントで、バロンドール(欧州年間最優秀選手)のメッシ選手のシュートを子どもたちに真似させ、AnyMotionを活用して『メッシ度92点!』などと採点するゲームがつくれないか、というアイデアをイベント関係者からいただきました」
メッシのシュートシーンは、FCバルセロナ公式チャンネルなどでもカンタンに手に入る。
FC Barcelona
最近はYouTubeなど動画投稿サイトのおかげで、歌手でもサッカー選手でも本人動画がカンタンに手に入るので、お手本探しには苦労しない。ただ、技術的にいますぐ実現、というわけにはいかないようだ。
「残念ながら現時点では、複数の人が写り込んだ動画の比較は難しいんです。メッシ選手の単独シュート動画は手に入ると思いますが、AKB48や乃木坂46はグループなので……」(伊藤さん)
となると、「逃げ恥」もガッキーや星野源がひとりで最初から最後まで踊り切るバージョンの動画は見当たらないので、当面は難しいかもしれない。
リアルタイム解析機能も開発中
伊藤さんによると、実際に見えてきている用途として、スポーツの基本動作の習得、フィットネスジムのトレーニング機器や介護施設のリハビリ機器を使う際の動きの改善指導などがあり、すでに具体的な引き合いもあるようだ。
ただし、NTTPCコミュニケーションズとしては、自社でサービス活用のためのアプリを展開することは考えておらず、他社サービスにAPI(=AnyMotionの機能を呼び出して利用するための仕様やインターフェース)を提供し、アップロードされる動画の姿勢検出・差異判定機能を提供する形でのビジネス化を考えているという。
現在公開されているデモ版では、お手本動画とユーザー動画をアップロードすると、1〜2分弱で解析結果が見られる(30秒ほどの動画の場合)仕様になっているが、アプリ内で解析を行い、お手本動画との動きのズレをリアルタイムで確認できるサービスも開発中(下はデモ動画)という。
これからどんな活用法が生まれてくるのか、楽しみでならない。
(文・川村力)