NHKの映像カラー化から危険作業まで「相棒としてのAI技術」最新事情:DLLAB DAY 2018

DLLAB DAY 2018 Keynote

「DLLAB DAY 2018 」の開会を宣言する日本マイクロソフト執行役員・最高技術責任者(CTO)の榊原彰氏。

いま、人工知能(AI)の可能性や、AIを使った新サービスの話題は毎週のように報道されている。6月21日、AI関連の最重要技術「ディープラーニング」の最新事例を語るイベント「DLLAB DAY 2018」が開催された。このイベントのセッションの中から「バズワードではなく、現実のAI技術」の特筆すべき最新事例2つを紹介する。

NHKアートの「白黒映像カラー化AI」に見る、AI導入の現実解

「戦後ゼロ年 東京ブラックホール 1945-1946」

NHKアートとRidge-iが共同で開発した「白黒映像カラー化AI」が活用された番組「戦後ゼロ年 東京ブラックホール 1945-1946」。

NHKがモノクロの映像をカラー化する番組は過去にもあったが、最近ではその着色にディープラーニングによるAIを使った事例が出てきた。

番組の美術やCGの制作などを行なうNHKアートと、AI開発企業Ridge-i社によるセッションでは、その開発現場の苦労と「仕事の道具としてのAI」をどう使うべきかの実例が垣間見られた。

NHKアートでは、2017年8月放送の「戦後ゼロ年 東京ブラックホール 1945-1946」でAIを使ったカラー化に取り組んだ。それ以前は、映像を1フレームずつ人力で着色していくという、驚くほど手間のかかる工程でカラー化していた。

NHKアートの伊佐早さつき氏

NHKアートのデジタルデザイン部CG映像CGデザイナーの伊佐早さつき氏。カラー化AIの活用を考えた理由には、戦争関連では悲惨な映像も多く、作業者の精神的負担を軽減する意味もあったという。

想像できるように、人力作業には莫大な時間を要する。例えば、2015年「カラーでみる太平洋戦争 ~3年8か月・日本人の記録~」では、506カット(7万8000枚、約43.6分)を25人体制で約3カ月かかった(それ以前には1年半かかった例もある)。

こうした作業を「コストを抑え、高速化する」ことなどを目的にAIカラー化システムのプロジェクトはスタートした。NHKアートのCGデザイナー・伊佐早さつき氏と、開発を担当したRidge-iのエンジニアJune Sung氏の解説をまとめると、ポイントは、大きく2つある。

  1. 早い段階で、カラー化AIをシーンごとに作り分ける決断をした
  2. AIの学習に「敵対生成ネットワーク」(GAN)という学習手法採用。「教師画像」(人間が着色した画像)作成をシーンあたり1枚〜数枚程度で済ませられた

1. は、例えばシーンがA、B、Cとあったとして、各シーンに特化したカラー化AIを作るという意味だ。こうすることで、早くAIの学習が進められ、結果も早く得られる。

これによって着色した映像は次のようなものだ。

モノクロ素材

オリジナルのモノクロ素材。

出典:日本放送協会(C)NHK

公開されているAIによる着色

一般的なウェブで公開されているAIでカラー化した画像。既存の汎用的なカラー化AIでは、このようにセピア調になってしまったり、シーンによって比較的うまくいく場合とそうでない場合が出てくる。

出典:日本放送協会(C)NHK

専用につくったAIによる着色

NHKアートとRidge-iが共同開発したAIのみでカラー化した画像。極めて艶めかしいカラー映像になっている。着物の色などはNHKの時代考証をもとに、厳密なニュアンスの指定があり、それを再現できる着色システムとして考案されている。

出典:日本放送協会(C)NHK

白黒とカラー画像を見比べるとわかるように、同じ白黒の濃淡でも、カラー化すると赤系や青系などまったく違う色味になっている。再現には高度な映像解釈が必要だ。人間が手作業でプログラミングする従来のルールベースの仕組みでは、コスト的にも実現は困難。素材をもとに自ら学習するディープラーニングだからできた実例といえる。

「白黒映像カラー化AI」により、「東京ブラックホール」の着色作業時間は、従来と比べて約35%短縮した

add1

Ridge-iのAIエンジニア、June Sung氏。

今回のような歴史を扱う映像は、単に“それっぽい色”にするだけでは不十分であり、時代考証や番組責任者の意図を正確に反映する必要がある。

その点で、既存の線画に着色するようなカラー化AIとは全く違うアプローチが必要で、まさにプロ仕様のAIシステムと言える。

伊佐早氏は、これから実作業にAIを導入する企業は、開発企業を(受注社ではなく)パートナーとして付き合うことが不可欠だと語る。以下、そのポイントをまとめた。

  • 「何を改善したいか、実行したいか」という共通の目的をスタッフや開発側と持つ
  • 想定外の問題に対しても負けない姿勢。新しい技術への取り組みは試練しかない
  • 自分たちのワークフローを壊すという決断。技術者がAIに歩みよらないといけない
  • 開発をする企業とフランクに話せる環境。「発注者」と「受注者」という上下関係を超える

AIで送電線点検を高速・安全化する、東電PG「架空送電線画像診断システム」

一方、今後近いうちに本格運用される例として興味深いのは、関東圏内などの電力の送配電などを行っている東京電力パワーグリッドの「架空送電線画像診断システム」だ。

現在、同社では各送電設備に対して6年に1回の点検を行っている。そのうち、電線の点検に関しては担当者が電線に機材をセットし宙づりになる点検方法がメインだった。山間地などではヘリコプターで電線の様子を撮影し、10分の1倍速程度のスローモーション再生で目視で確認をするという方法もとられていた。

しかし、宙づり点検は命に関わる危険な作業であり、ヘリコプターを使ったVTR点検にも、スローで確認をするという方式上、チェックにかなりの時間がかかっていた。

点検の方法

電線の点検にはいくつか方法がある。

そこで、同社は2017年3月からAI導入に関する概念検証を実施、同年11月からシステムの開発をテクノスデータサイエンス・エンジニアリング社(以下、TDSE)に委託して開始した。

TDSEが開発したシステムは2種類のAIが活用されている。ひとつは撮影された電線の映像から電線部のみを抽出するもの。これは設備の設置場所によって多様な背景が映りこみAIの判定の妨げになるからだ。もうひとつは、抽出した電線の異常を検知するためのもの。AIは大きく分けて正常な状態、異常な状態、グレーな状態の3つに分けて担当者に分析結果を知らせ、グレーな状態は担当者による目視で異常かどうかチェックされる。

システムのアウトプットのイメージ

システムのアウトプットのイメージ。

東京電力パワーグリッドの江坂真吾氏

東京電力パワーグリッド 工務部 保全高度化推進グループ 送電担当 課長の江坂真吾氏。

とはいえ、後者のAIの学習には課題があった。

そもそも“異常”とすべき学習画像が正常のものに比べ少なかったからだ。もちろん、すでに実用レベルまでAIの学習は終わっているとのことだったが、東京電力パワーグリッドの送電担当課長・江坂真吾氏はシステムの要求仕様について「失報(異常の見落とし)は5%以内を目標、誤判定(正常を異常と判定)はある程度許容した」と話し、まずは“作業を効率化する”という当初の目的を優先したことがうかがえる。

なお、今回解説されたシステムは、2018年度より上期より本格稼働させる予定。東京電力パワーグリッドは、2017年度はVTRの確認点検に約1330時間もの時間を要しているというが、2018年度ではその半分となる約665時間、2019年度以降では約266時間への短縮化を目指している。

(文、撮影・小林優多郎)

Popular

あわせて読みたい

BUSINESS INSIDER JAPAN PRESS RELEASE - 取材の依頼などはこちらから送付して下さい

広告のお問い合わせ・媒体資料のお申し込み