メルカリがスマートグラス向け｢メルカリレンズ｣β版公開へ【最速インプレ】

メルカリは5月24日にも、スマートグラス向けアプリのベータ版｢mercari lens｣（メルカリレンズ）の一般配信を開始することがわかった。

アメリカのカリフォルニア州で現地時間5月29日から開催される世界トップクラスのAR＋VR展示会｢AWE USA 2019｣出展に合わせて公開するもので、米スマートグラスメーカー・Vuzixの最新機種｢Blade｣で動作するアプリだ。

現段階ではあくまでベータ版だが、メルカリが考えるスマートグラス×フリマアプリの世界観を一足先に体験できるものになる。

今回、Business Insider Japanの独自取材で最新アプリを先行体験してきた。

｢メルカリレンズ｣は研究組織｢R4D｣が手がける

メルカリは2017年末に発足した｢R4D｣という研究開発組織をもっている。同組織では、社内外の専門家らが協力し、量子コンピューター活用など複数の技術研究を通して、先進技術の社会実装を目指すことを掲げている。

メルカリレンズは、2019年1月にラスベガスで行われた世界最大級のテクノロジー展示会｢CES2019｣のVuzixブースで展示された。地味ながら世界初披露で、当時は画像認識をベースに、アイテムに紐付いたデータをスマートグラス内に表示するという、デモ版的動作だった。

最新版では機能を強化して、基礎的な物体認識に加えて、3月にiOS版のメルカリが対応した｢写真検索API｣と連携。ネットワーク経由でメルカリのデータベースを参照することで、｢見たモノに近い出品商品を探し出して、視界に表示する｣機能を目指した。

最初に断っておくと、｢ベータ版｣ということからわかるように、アプリの動作は基本的にまだかなり荒削りな部分が多い。バージョン表示もVer.0.xxxという｢1.0未満｣の状態だ。

また、Vuzix｢Blade｣自体も、スマホでいえばiPhoneやAndroidの初期のようなイメージで、まだ不安定さを抱えたハードでもあるようだ（例：発熱で不安定になる場合があるなど）。

とはいえ、Bladeは日本の公式ストアでも約13万円で誰でも買える一般向け製品だから、｢プロトタイプの特別なハードで動かしています｣といったレベルとは、まったく異なる、前向きな意味がある。

世界最速で｢メルカリレンズ｣使ってみた

Bladeは1月のCES2019でも体験済みだが、当時、実機とメルカリを含むデモアプリを体験して非常に驚かされた。

Bladeは右目のレンズにカラー映像を投影できるスマートグラスで、右側のテンプル（つる）部分にタッチパッド、鼻当て付近にマイク、左目のテンプルの根元付近にカメラを搭載。独自のアプリストアも持っている。

つまり、ARスマートグラスのプラットフォームとして、必要十分なセンサーと機能一式を搭載している。

こうした機能を｢かなり普通のメガネに近い見た目｣の中に集積しているのが、他社の似た製品とは違うすばらしいところだ。このパッケージングを（スマホほど大量生産はしていないであろう）Vuzixのようなメーカーが、｢999.99ドル（アメリカ人の物価感覚的には10万円）で普通に販売できるのか……｣。1月に触ったときには、この点にAR技術の低廉化と可能性を強烈に感じた。

アプリ｢mercari lens｣を体験したメルカリ社内には、今回のAWE USA 2019の出展にブランドとして協力しているニューバランスのスニーカーが置いてあった。

スニーカーに顔を近づけて、｢スニーカーのすぐ脇で右人差し指を立てる（指差す）｣ジェスチャーをする。これがいわば｢シャッター｣で、直後に物体認識がはじまり、数秒でメルカリ上に出品されている｢近しい商品｣の写真と価格が回答されてくる。

動作はかなり荒削り、しかし｢メルカリの世界観｣は感じる

ベータ版のため、正直なところ認識精度はまだまだだ。30分ほどの試行錯誤の中で、スニーカーを見て、ちゃんとスニーカーが推薦されてきたのは数回のみ。それ以外は、模様が似た商品やサジェストした理由がわからない商品が出てくることもあった。

それでも、メルカリが思い描く｢ARグラスを使った購買体験｣の雰囲気は伝わる。

自分が見たものに｢なんとなく近いもの｣がスッと右目に表示される体験は、何か不思議な楽しさと気持ち良さがある。文字入力を伴う｢検索｣という行為なしで、自然なジェスチャーの中で情報のサジェストが行われるからかもしれない。端的に｢これは面白いぞ｣と思った。

技術面はグーグルの｢テンソルライト｣と｢物体検出｣を活用して実装

メルカリレンズの開発は2018年10月、栁澤慧さん（XRリサーチエンジニア）と中地功貴さん（xRエンジニア）が入社したことで始まった。2019年1月のCES2019のデモ展示は、実質1カ月強のスピード開発だったという。

開発を主導するR4DのxRリサーチエンジニアでマネージャーの諸星一行さんによると、搭載するセンサーや性能的には、マイクロソフトの｢ホロレンズ｣でも、23億ドル（約2500億円）以上資金調達した｢Magic Leap One｣でも可能だった。特にホロレンズは開発環境が整っているから素人目には良さそうだが、彼らが選んだのはBladeだった。

理由は、Blade以外はいずれも｢普段の生活の中で使う｣イメージがしづらいデバイスだったためだ。

Blade上で動き、メルカリの写真検索APIにつながるメルカリレンズの開発は、開発期間の短さだけではなく、ハードウェア特有の難しい部分もあったようだ。

特にBlade上で動くAndroidは、バージョンが5.1.1という、スマホでいえば5年前のOSのため、開発環境としても癖が強いと言う。既存のメルカリ本体のコード（プログラム）の移植が困難なため、基本的にフルスクラッチでつくっている。

Blade上で動く画像認識まわりの技術は、グーグルの組み込みデバイス向けの機械学習フレームワークの｢TensorFlow Lite｣と、それを使った｢Object detection｣（物体検出）を採用している。

現状、物体検出できる物体カテゴリーは｢スニーカー｣など2種類のみ。それ以外の物体は単純にカメラ映像を切り出して、画像検索する仕組みにしている。

認識できる物体カテゴリーが増えると、検索精度と検索スピードがより早くなる。カテゴリー数を増やすアプローチも、今後進めていきたいと諸星さんは言う。

アップルやグーグルの｢スマートグラス｣を意識

何のためにメルカリはスマートグラス向けのアプリを開発しているのか？ 諸星さんは｢Bladeだけのためにつくってるアプリじゃない｣と語る。

ここ数年、アップルがスマートグラスを開発しているという噂はずっと囁かれているし、グーグルも今週、5月20日にGoogle Glassの最新版｢Google Glass Enterprise Edition 2｣を突如発表したりもしている（諦めてなかったんだ、と驚いた人は多いはず）。

こうした各国テックジャイアントのトレンドの先にある出来事をイメージしながら、メルカリは動いている。

｢（なぜ今、メルカリレンズをやるのかといえば）将来、アップルやグーグルから（一般向けの）スマートグラスが発売されたときに、すぐに対応できるように。ハードが世に出てから動き始めても遅いんです。

（スマートグラスのアプリ開発というと）“遊び”だと思われてしまう部分もあるかもしれませんが、我々はあくまで本気でやってます。

（AWEに出展するのは）小さく、狭く国内でやるより、世界を相手に（xRの最先端の世界で）戦った方が良いんじゃないか、ということです。メルカリの考え方として“Go Bold”ということもありますから｣（諸星さん）

その意味では、Blade向けのアプリをずっとメンテナンスしてアップデートしていきたいというわけではない。

いまBladeに飛びついたような人は、国内外問わず、開発者寄りの人か、自ら進んで最先端を体験したい｢アーリーアダプター｣な人が大半だろう。そういう人に向けて、メルカリの技術と名前を発信し、最先端の動向を｢手を動かして業界内部からキャッチアップしておく｣ことは戦略として一定の意味がある。

諸星さんは、他に有望なプラットフォームが出てきたらそれ用のメルカリレンズを開発していくこともあり得ると語る。

なお、AWE USA 2019のメルカリブースでは、このメルカリレンズ以外に、裸眼立体視デバイス｢Looking Glass（ルッキンググラス）｣を使ってメルカリの出品物を3D表示するデモ体験や、MRゴーグル｢Magic Leap One｣を使って見ただけで服のサイズが推定できるシステムなどの参考展示も行う予定だ。

ともかく一つわかったのは、メルカリは、そう遠くない将来に実現するかもしれない｢スマホの次｣のスマートグラス時代も想定して、即対応できるような準備を進めているということだ。

Bladeをもっているような超アーリーアダプターの人は、ぜひ配信開始をお楽しみに。

もっと知る

実機解説：新型ARグラス｢HoloLens 2｣に見るマイクロソフトの野望

（文、写真・伊藤有）