まるで魔法みたい。Adobeが｢Sneaks｣で研究技術を公開…フォトショなどの未来機能か

アドビは10月19日（現地時間）に、アメリカ・ロサンゼルスで開催中のクリエイター向け年次イベント｢Adobe MAX 2022｣で、開発中の新技術を披露するSneaks（スニークス）を開催した。

Sneaksに登壇するのは、社内のエンジニアたちだ。アドビの研究部門｢Adobe Research｣で生まれたいくつかのAI機能を、エンジニア自らがプレゼンする。MAXでは恒例の人気イベントだ。

Sneaksの内容はあくまで開発中のため、すぐに利用できるわけではない。

だが、過去の例だと｢Photoshop｣や｢Premiere Pro｣などに正式な機能として搭載されたものもあり、今後のアドビ製品の方向性を占うのには必見の催しだ。

2022年のSneaksでは10種類のプロジェクトが公表された。やはり｢動画｣や｢3Dモデル｣といった、パンデミックで需要が高まったジャンルの技術が多かった印象だ。

【動画関連】

動画は家中での時間が増えた昨今、参入する企業や個人が増えた領域だ。

Sneaksで公開された3つの動画に関するプロジェクトはいずれも、写真に比べてやや編集に手間がかかる動画を、いかに効率的に制作するか、という点が重視されていたように思える。

写真の人物が踊り出す｢Motion Mix｣

動画領域の発表の中で、個人的に最も驚いたのは｢Motion Mix｣だ。

Motion Mixは人物の写真とダンスのモーション（動きのデータ）を指定すると、その人物のダンス動画ができる、というものだ。

当然、元の写真はただの画像なので動画化する際に必要な背景などは、AIが生成している。

さらに、AIは人物を認識しているので背景も自由に変えられる。デモでは、別の人物の写真を読み込ませて一緒に同じダンスを踊らせる様子も披露した。

今回は｢ダンス｣のモーションのみだったが、別の動きなども適用できれば、創作の幅が広がりそうだ。

後から静止画やフォントを映り込ませられる｢Instant Add｣

例えば、既に制作した動画の登場人物のシャツに、後からイラストを貼り付けたい、としたら｢After Effects｣などで人物の動きに対して、イラストのサイズや形を微調整する必要がある。

｢Instant Add｣は、そんな時間のかかる作業をほとんど一瞬で終わらせる機能だ。

操作はかんたん、貼り付けたいイラストを、貼り付けたい箇所に配置するだけ。あとはAIが勝手に微調整をしてくれる。

Sneaksでは踊っている人物のパーカーにUFOのイラストを入れたり、その人物の背後にロゴを入れる様子が披露された。

画像自体に大きな制限はないようだったので、表現の幅が広がるだけではなく、撮影後の加工が発生するケースもある企業の動画広告にも活用できそうな機能だ。

テキストエディターのように動画のカット編集ができる｢Blink｣

動画編集は写真やテキストの編集に比べて、｢時間｣の概念がある分、作業時間や手間がかかる。

それに対し、動画に収録された発言内容や話者などを分析して、そのテキストデータをコピー＆ペーストしていくと動画のカット作業からつなげる作業が完了する、というのがBlinkの機能だ。

デモでは、Sneaksの前日に開催されたMAX 2022の基調講演の動画がサンプルとして使われた。

見た目はまさに文字起こしツールと動画編集アプリを組み合わせたかのような操作感だ。

登壇者や発言内容で検索。切り取りたい部分のテキストをコピーしていく……といった操作は一見すると動画編集をしているとは思えない。

デモのような講演や会議などを短いアーカイブとして残したい、そんな身近なビジネスの現場でも役に立ちそうな技術だった。

【3D関連】

今回のSneaksのもう1つの主役と言えるのが｢3D｣だ。

とはいえ、アドビが2019年に買収したAllegorithmic社の製品をベースに開発している3Dツール群｢Substance 3D Collection｣のような、専門知識の必要なものではない。

写真の質感を3Dモデルに当てはめる｢Artistic Scenes｣

Artistic Scenesは、3Dモデルの質感をかんたんに変えられる技術だ。

例えば、前述のSubstanceだと、数千種類のマテリアルデータ（質感を表現するもの）が用意されているが、Artistic Scenesではより一般的な画像素材がマテリアルのような役割を果たす。

デモでは｢鉛筆で描いた似顔絵｣を読み込ませて、スケッチ画風の質感に変える様子などが披露された。

1枚の写真から｢空間｣を推定する｢Beyond the Seen｣

Beyond the Seenは1枚の写真からパノラマ写真や、前述のスキャンアプリをその場で使ったかのようなVR風の空間データをつくる技術だ。

デモでは、窓のある部屋の一方向だけを捉えた写真をアップロードし、そこからパノラマ（全天周）写真と立体感のあるスキャン風データを生成した。

（当然ながら）写真には一方向の絵しかないので、背後などの｢写っていない部分｣はAIが生成し、補完している。

その後、生成したパノラマ写真をSubstance 3Dのバーチャルスタジオアプリ｢Stager｣に読み込ませると、金属感のあるオブジェクトには｢映り込み｣が表現できるようになっていた。

いい感じの写真は手元にあるが、写り込みを表現するために、写真から実際の3D空間をモデリングするのは手間……と考えるクリエイターを助ける技術になるだろう。

2D写真を3Dソフトのように編集する｢Made In The Shade｣

Made In The Shadeは今回のSneaksのトリとなった発表だ。

これは3Dの現場に使える技術ではなく、｢影｣を自在に操り、背景をAIで補完することで｢2Dの写真を3Dソフトのように編集する｣ものだ。

最初のデモでは、道路に赤いスポーツカーが停車している写真が用いられ、そこに3Dの標識を読み込ませていた。

標識を配置する場所によって、影の形は自動で変化する。驚くのは、道路のような平面に落ちた影だけではなく、写真内の車に影が落ちる場合には、きちんと｢車両の形｣に沿った影になっていたことだ。

さらに、驚くべきは別の砂浜の写真に対し、ヤシの木の映像を読み込ませると、ヤシの葉が揺れる影が自動生成された。

車のデモと同様、砂浜にいる子どもにもその影が自然に｢被る｣ようになるなど、写真だけではなく映像にも使える、活用できる幅の広い技術だった。