開発中の技術を「ちょい見せ」する「Sneaks」はAdobe MAXの中でも人気の高いコンテンツだ。
撮影:小林優多郎
アドビは10月19日(現地時間)に、アメリカ・ロサンゼルスで開催中のクリエイター向け年次イベント「Adobe MAX 2022」で、開発中の新技術を披露するSneaks(スニークス)を開催した。
Sneaksに登壇するのは、社内のエンジニアたちだ。アドビの研究部門「Adobe Research」で生まれたいくつかのAI機能を、エンジニア自らがプレゼンする。MAXでは恒例の人気イベントだ。
Sneaksでは毎回芸能人や著名人が登壇し、共同司会を務める。今回は俳優、コメディアン、起業家であるKevin Hart(ケビン ハート)氏(写真右)。
撮影:小林優多郎
Sneaksの内容はあくまで開発中のため、すぐに利用できるわけではない。
だが、過去の例だと「Photoshop」や「Premiere Pro」などに正式な機能として搭載されたものもあり、今後のアドビ製品の方向性を占うのには必見の催しだ。
2022年のSneaksでは10種類のプロジェクトが公表された。やはり「動画」や「3Dモデル」といった、パンデミックで需要が高まったジャンルの技術が多かった印象だ。
【動画関連】
動画は家中での時間が増えた昨今、参入する企業や個人が増えた領域だ。
Sneaksで公開された3つの動画に関するプロジェクトはいずれも、写真に比べてやや編集に手間がかかる動画を、いかに効率的に制作するか、という点が重視されていたように思える。
写真の人物が踊り出す「Motion Mix」
動画領域の発表の中で、個人的に最も驚いたのは「Motion Mix」だ。
Motion Mixは人物の写真とダンスのモーション(動きのデータ)を指定すると、その人物のダンス動画ができる、というものだ。
当然、元の写真はただの画像なので動画化する際に必要な背景などは、AIが生成している。
背景ともう一人の写真を加えることもできる。
撮影:小林優多郎
さらに、AIは人物を認識しているので背景も自由に変えられる。デモでは、別の人物の写真を読み込ませて一緒に同じダンスを踊らせる様子も披露した。
今回は「ダンス」のモーションのみだったが、別の動きなども適用できれば、創作の幅が広がりそうだ。
後から静止画やフォントを映り込ませられる「Instant Add」
動画に映った人のパーカーや背景に後から画像を入れられる「Instant Add」。
撮影:小林優多郎
例えば、既に制作した動画の登場人物のシャツに、後からイラストを貼り付けたい、としたら「After Effects」などで人物の動きに対して、イラストのサイズや形を微調整する必要がある。
「Instant Add」は、そんな時間のかかる作業をほとんど一瞬で終わらせる機能だ。
操作はかんたん、貼り付けたいイラストを、貼り付けたい箇所に配置するだけ。あとはAIが勝手に微調整をしてくれる。
Sneaksでは踊っている人物のパーカーにUFOのイラストを入れたり、その人物の背後にロゴを入れる様子が披露された。
画像自体に大きな制限はないようだったので、表現の幅が広がるだけではなく、撮影後の加工が発生するケースもある企業の動画広告にも活用できそうな機能だ。
テキストエディターのように動画のカット編集ができる「Blink」
動画編集は写真やテキストの編集に比べて、「時間」の概念がある分、作業時間や手間がかかる。
それに対し、動画に収録された発言内容や話者などを分析して、そのテキストデータをコピー&ペーストしていくと動画のカット作業からつなげる作業が完了する、というのがBlinkの機能だ。
デモでは、Sneaksの前日に開催されたMAX 2022の基調講演の動画がサンプルとして使われた。
発言内容を検索しているところ。
撮影:小林優多郎
見た目はまさに文字起こしツールと動画編集アプリを組み合わせたかのような操作感だ。
登壇者や発言内容で検索。切り取りたい部分のテキストをコピーしていく……といった操作は一見すると動画編集をしているとは思えない。
デモのような講演や会議などを短いアーカイブとして残したい、そんな身近なビジネスの現場でも役に立ちそうな技術だった。
【3D関連】
今回のSneaksのもう1つの主役と言えるのが「3D」だ。
とはいえ、アドビが2019年に買収したAllegorithmic社の製品をベースに開発している3Dツール群「Substance 3D Collection」のような、専門知識の必要なものではない。
写真の質感を3Dモデルに当てはめる「Artistic Scenes」
Artistic Scenesは、3Dモデルの質感をかんたんに変えられる技術だ。
例えば、前述のSubstanceだと、数千種類のマテリアルデータ(質感を表現するもの)が用意されているが、Artistic Scenesではより一般的な画像素材がマテリアルのような役割を果たす。
デモでは「鉛筆で描いた似顔絵」を読み込ませて、スケッチ画風の質感に変える様子などが披露された。
1枚の写真から「空間」を推定する「Beyond the Seen」
Beyond the Seenは1枚の写真からパノラマ写真や、前述のスキャンアプリをその場で使ったかのようなVR風の空間データをつくる技術だ。
デモでは、窓のある部屋の一方向だけを捉えた写真をアップロードし、そこからパノラマ(全天周)写真と立体感のあるスキャン風データを生成した。
スマホアプリでの「3Dスキャン結果」のようなものもつくれる。
撮影:小林優多郎
(当然ながら)写真には一方向の絵しかないので、背後などの「写っていない部分」はAIが生成し、補完している。
その後、生成したパノラマ写真をSubstance 3Dのバーチャルスタジオアプリ「Stager」に読み込ませると、金属感のあるオブジェクトには「映り込み」が表現できるようになっていた。
いい感じの写真は手元にあるが、写り込みを表現するために、写真から実際の3D空間をモデリングするのは手間……と考えるクリエイターを助ける技術になるだろう。
2D写真を3Dソフトのように編集する「Made In The Shade」
写真に3Dモデルを配置した時に気になるのが「影」だ。
撮影:小林優多郎
Made In The Shadeは今回のSneaksのトリとなった発表だ。
これは3Dの現場に使える技術ではなく、「影」を自在に操り、背景をAIで補完することで「2Dの写真を3Dソフトのように編集する」ものだ。
最初のデモでは、道路に赤いスポーツカーが停車している写真が用いられ、そこに3Dの標識を読み込ませていた。
標識を配置する場所によって、影の形は自動で変化する。驚くのは、道路のような平面に落ちた影だけではなく、写真内の車に影が落ちる場合には、きちんと「車両の形」に沿った影になっていたことだ。
日傘の影の影響で、右に配置した3Dモデルの砂の城の色も変わっている。
撮影:小林優多郎
さらに、驚くべきは別の砂浜の写真に対し、ヤシの木の映像を読み込ませると、ヤシの葉が揺れる影が自動生成された。
車のデモと同様、砂浜にいる子どもにもその影が自然に「被る」ようになるなど、写真だけではなく映像にも使える、活用できる幅の広い技術だった。
写真の立体構造を分析してロゴなどを配置できる「Vector Edge」
Vector Edgeは一見地味だが、実用性の高い取り組みだ。
通常、Illustratorなどでつくったロゴを写真内の箱にはめ込みたい場合、自由変形ツールなどを使って箱のパース(遠近)に合わせてロゴの形を変えるのが一般的だ。
Vector Edgeはこの作業を1クリックで終わらせることができる。さらに、ロゴを動かして箱の別の面に「被る」場合は、しっかり「折り返した」ような形に自動で変形する。
ピンクのロゴがしっかりと「角」をに合わせて変形されている。
撮影:小林優多郎
デモでは箱のような比較的判別しやすそう直線的なものから、瓶のような円柱状のもの、チューブ状のものにも当てはめることもできていた。
デモのような製品や販促物のデザインサンプルをつくるデザイナーにとっては、今すぐにでも欲しい機能と言えるだろう。
【2D関連】
残り3つの発表は、主に2Dのデザイン現場に使えそうなものだった。
ロゴデザイナーにはピッタリの「Magnetic Type」
この状態のまま字を加えたり、フォントの太さ(ウェイト)を変えることも可能。「I」の上に剣が刺さったままで、ウェイトが変わると剣の太さも変わっていた。
撮影:小林優多郎
映画や本などのタイトルのロゴは、単体でも「文字としての情報」だけではなく、デザインによってはその世界観を表すこともできる。
Magnetic Typeはそんなロゴ制作にぴったりの技術だ。その名の通り「Type(字体)」に対して磁力でくっつくように、デザイン的な要素が字体に沿って自動的に配置される。
字体とデザイン要素の位置関係が保持され、しかも「テキスト」としての編集は引き続き可能になっている。
デモでは「KNIGHT(騎士)」の「I」に西洋剣の柄の部分をくっつけていた。その後、テキスト編集で「THE KNIGHT」と文字を追加しても柄のデザインはIの部分にくっついたままだった。
さらに、Magnetic Typeは比較的自由度の高い技術のようで、テキストとデザインの色を自動で合わせたり、字体の別のところ同様のデザイン要素を変形・配置できるなどしていた。
AI Photoshopとも言える「All Of Me」
一番左が元の写真。真ん中がAIが認識しているもの。そして、右が背景や足を補完した画像。
撮影:小林優多郎
「次世代のスマートポートレートエディター」を称したのはAll Of Meという技術だ。
例えば「Photoshop」は写真編集ソフトの中では代名詞的な存在で、今回も数多くのAI技術を活用したアップデートが施されている。
しかし、一方で「操作」に関わる部分はまだ人力であるところが多い。All Of Meは、ポートレート(人物写真)に特化させ、基本操作や分析はAIに任せてしまい、ユーザーはファイルをアップしたり、クリック操作をするだけで、高度な画像編集を実現できる。
デモでは、「写真からはみ出ている背景や人物の足を補完」したり、逆に「写っている肩掛けカバンを削除」、「ユーザーが手書きで指示した範囲までスカートを伸ばす」といった作業がものの数クリックで実行されていた。
また、AIに被写体の肌の範囲だけ認識させ、さまざまな服に着替え(複数の服のパターンの画像を生成)させていた。
AIと共同で写真編集する「Clever Composites」
Clever Compositesも写真編集を簡易化するツールで「Composites(合成)」に特化している。
デモではハイウェイの写真に対し、車の写真を1クリックで切り抜いて合成、その後「Auto Compose」というボタンを押すと、ハイウェイの写真に違和感のないサイズに車の大きさを調整、その際に必要な影までも自動で生成する。
サイズや影だけではなく、別のデモでは色味の調整も可能。全体に適用するのではなく、調整する項目を個別にオンオフすることも可能。
さらに、ユーザーが範囲指定すると、AIが「元となる写真のこの範囲に入れるべき要素」を提案していた。
まるでAIとクリエイターが共同作業しているかのような技術だった。
(文、撮影・小林優多郎、取材協力・アドビ)