脱炭素とはなにか
Adobe Researchのメンバーが直接｢未公開技術｣をちょい見せする｢Sneaks｣が開催された。
撮影：小林優多郎
アドビは10月11日（現地時間）、アメリカ・ロサンゼルスで開催中のイベント｢Adobe MAX 2023｣で、開発中の新技術の一部を公開した。
MAXでは例年2日目の夕方に、研究部門・Adobe Researchチームの面々が開発中の技術を直接プレゼンする｢Sneaks（スニークス）｣が開催される。
Sneaksで公表された内容は、参加者やSNSの投稿などからフィードバックを得て、いくつかは実際の製品に実装されている。
さまざまなクリエイティブツールを展開するアドビは、クリエイターのどんな問題解決に取り組んでいるのか。その詳細を解説する。
映り込みの写真を撲滅するAI技術
左側が元の写真で、右側が処理後の写真。元の写真だと左上の部分に大きく映り込んで見えなくなっていた室内の机が、処理後の写真では見えるようになっている。
撮影：小林優多郎
MAX 2023のSneaksの中でも会場が最もざわつき、実用性が高いものは｢Project See Through｣だろう。
電車や飛行機、家などで風景を撮ろうとした時、大体の場合は自分や背景が窓に映り込んでしまい思ったような写真にならない。
Project See Throughはそんな映り込みをAIが一発で除去してしまうツールだ。
AIがどの部分が映り込みの画素なのかを識別しているため、ユーザーがやることはほとんどない。
デモでは、ほとんどの領域が映り込みになってしまっている窓越しに撮影した室内写真をツールに入れて、見事に違和感のない｢室内の家具｣や｢被写体の頭の部分｣を生成していた。
次世代Photoshopの原型になるようなツールは完成間近？
同じく静止画向けのAIツールが｢Project Stardust｣だ。
これは写真に写ったすべての被写体をAIが認識し、ユーザーは被写体を自由に好きな場所に動かせるというものだ。
Photoshopなどの画像編集ツールでも最近ではかんたんに写真ないの被写体を選べるようにはなったが、当然その被写体を動かすと、そこは何もない｢下のレイヤー｣もしくは｢背景色｣が出てしまうことになる。
Project Stardustはその部分を自動かつリアルタイムでAIが埋めてくれるため、好きな場所に被写体を動かせる体験が実現している。
Project StardustではAdobe Fireflyの生成機能（テキストから画像生成）が使える。
撮影：小林優多郎
ちなみに、似たような体験のできるAI編集機能は、5月に開催された｢Google I/O 2023｣で｢編集マジック｣として発表されている。
グーグルの編集マジックも、アドビのProject Stardustも、一般公開された機能ではないため、その優劣はわからない。
ただ、Project Stardustの場合は、Adobe Fireflyの画像生成機能を統合しており、そこにはいなかった被写体を追加したり、服の色を変えたりすることも可能になっていた。
Project Stardustは現時点ではWebアプリのようだが、アイコンやボタンなどかなり作り込まれているようだった。
撮影：小林優多郎
また、Project Stardust自体はSneaks前にSNSなどの公式アカウントで予告されていたが、これは歴代のSneaksの中でもなかなかないことだ。
すでにSneaksのデモでも、かなりしっかりとUI（ユーザーインターフェイス）が作り込まれていたため、｢製品化｣も近い機能なのではと期待が高まっている。
AIは動画製品でも本格化。4つの新技術が発表に
2023年のSneaksは生成AIが中心になったわけだが、その範囲は静止画だけではなく動画や音声領域まで拡大していた。
わかりやすいのは｢Project Fast Fill｣だ。
これはPhotoshopの｢生成塗りつぶし｣の動画版と言える機能で、動画に写っている被写体の一部を違和感なく消すことができる。
動画とはかんたんに言えば、静止画（コマ）を高速に連続で表示しているような仕組みになっている。だが、Project Fast Fillでは1コマずつ｢消したい範囲｣を指定する必要はない点が画期的なところだ。
また、会場ではシャツを着た男性が歩いている動画で、胸元を選択してネクタイを生成したり、カップに入ったラテを手で持って歩く動画でラテアートを変更するといったデモが披露されていた。
写真左端が生成範囲を選択しているところ。右側の2つの写真がそれぞれネクタイの生成結果。
撮影：小林優多郎
ネクタイの例では男性の胸元に追尾しているのはもちろん、ネクタイにかかる影や光も違和感なく再現。ラテの例では、コップが揺れてラテの表面が揺れている様子に合わせて生成できていた。
そのほか、以下の技術が公開され、動画編集ソフト｢Premiere Pro｣や｢After Effects｣への搭載が期待されている。
Project Scene Change……被写体と背景の動画をそれぞれ読み込むと、奥行きや目線の高さ、カメラ軌道をAIが考慮して、自動で合成してくれる機能。
Project Dub Dub Dub……動画の音声を多言語に翻訳して吹き替えまでできる。デモでは日本語を喋っている女性の動画から、数秒でヘブライ語、アラビア語、英語、韓国語などのバージョンの動画が生成されていた。
Project Res Up……｢低解像度の動画を2倍にアップする｣という高解像度化技術。古い動画などに使って現代の再生環境でもみやすくできる。その実力は、SNSなどでみるような低解像度なGIF動画を見られるレベルの動画に変換できるほどだ。
3Dやデザイン系にもAI技術、異色の｢絵柄が変わるドレス｣も登場
3Dオブジェクトに合わせて画像を生成できる｢Project Poseable｣。
撮影：小林優多郎
MAX 2023では2022と違って、基調講演でメタバースや3Dといった製品はあまり強調されなかった。
ただ、Sneaksでは3D関連の技術が2つ登場している。
1つは｢Project Poseable｣で、マネキンのような3Dオブジェクトのポーズや画角に合わせて、AIが2D画像を生成するというもの。
同様のワークフローはすでに他社の生成AIでもできるようになっているが、生成AIに命令をするための｢プロンプト｣を考えるだけではなく、3Dオブジェクトを変種するある程度の知識が必要になっている。
Project Poseableでは｢3Dの知識がなくても使える｣点が強調されている。
例えばマネキンを同じ3D空間のソファに座れせる時、ミスするとマネキンがソファを貫通したり座った時のポーズがどこか不自然だったりする。
Project Poseableのデモではクリック操作でマネキンを座らせ、特徴的なポーズが写った静止画を読み込んで、3Dのマネキンに同じポーズを取らせるといった機能が披露されていた。
2つ目の｢Project Neo｣も、比較的｢3Dの知識がなくても使える｣ということにフォーカスした技術だ。
例えば、ポスターなどの2Dデザインでも奥行きのあるオブジェクトを配置したいことはある。ただ、3Dの知識がないと、自分が思い描いているデザインに合わせるための3D側の微調整ができない。
Project Neoで作った3Dオブジェクトは、Illustratorで編集できる形式（デモではSVG）で書き出せる。
撮影：小林優多郎
Project Neoはデザインツール｢Illustrator｣のような操作感で、3Dオブジェクトを作れる。また、オブジェクトとオブジェクトを近づけて粘土のように3Dオブジェクト整形できる機能なども用意されていた。
そのほか、デザイン系の技術が3つ発表されており、｢Project Glyph Ease｣はオリジナルのフォントのスタイルをかんたんに作れる技術。｢Project Draw & Delight｣は走り書きのようなスケッチからイラストを作れる技術になっていた。
フォントのスタイル（見た目）を自由に作れる｢Project Glyph Ease｣。
撮影：小林優多郎
手書きスケッチからイラストが作れる｢Project Draw & Delight｣。
撮影：小林優多郎
最後になるが、Senaksの中盤に登場した｢Project Primrose｣は、歴代Sneaksの中でも異色のものだった。
Project Primroseはソフトウェアではなく、アドビにしては珍しいハードウェアで｢絵柄が変化するドレス｣だ。
詳細な内容は不明だが、ドレスに電磁的に白か反射する材質かが変わる素材を複数つけており、それを制御することで単に絵柄を変えるだけではなくアニメーションのような動きも表現できる。
なお、同じように変化するドレスは、世界に電子ペーパー（E-Ink）技術などを使ったものがあるが、Project Primroseは電子ペーパーではないようだった。
｢Project Primrose｣で使われたドレスと同じディスプレイを近くで撮影したもの。
撮影：小林優多郎
アドビはProject Primroseを｢技術とファッショ ンの境界を融合する可能性を秘めた柔軟なテキスタイルディスプレイ｣と説明しており、各種ツールや生成AI｢Adobe Firefly｣で制作できるクリエイティブの出力先、表現方法の1つとして期待しているようだ。
（取材協力・アドビ）
