脱炭素とはなにか
京セラの｢わかりやすい字幕表示システム｣がCotopatとして商用化された。
撮影：石井徹
コロナ禍を象徴するアクリルパネルに、新たな活用法が登場した。
京セラドキュメントソリューションズジャパン（以下、京セラDSJ）は8月8日、対面窓口での説明をすぐに字幕にするサービス｢Cotopat（コトパット）｣を発表した。
販売開始予定は8月17日から。システム導入時の初期費用は機器一式込みで約50万円を想定。月額利用料は約1万円からだ。
窓口案内の利便性向上、キー操作で7カ国語に翻訳
話した内容に沿った図解や写真をスクリーンに表示できる。
撮影：石井徹
Cotopatのもとになった｢わかりやすい字幕表示システム｣は、京セラ本社が2021年に開発したシステムだ。
コロナ禍でよく見られた、アクリル板の仕切り板を挟んだ環境でのコミュニケーションを支援する仕組みとして、京セラのみなとみらいリサーチセンターで開発された。
これまで横浜市役所や同志社大学、JR東日本など10以上のパートナーと実証実験をしており、その知見を反映してサービス化までこぎつけた。
JR東日本で実施された｢わかりやすい字幕表示システム｣実証実験の設置イメージ。
出典：京セラ リリース『ＪＲ新宿駅で｢わかりやすい字幕表示システム｣の実証実験を開始』（2022年10月3日付け）より
Cotopatは、窓口職員が話した言葉をリアルタイムで字幕に変換して表示する。
重要な言葉を強調表示したり、図や動画を使って説明したり、多言語に翻訳したりする機能もあり、説明の質を高められる。
字幕は透明なアクリル板上に表示するため、来場者側は説明者（窓口職員）の表情を見ながら字幕を読める。口元や手振りといった、通常の対面コミュニケーションを妨げることなく、説明内容を伝えられるというわけだ。
また、指向性のマイクで声を認識するため、マスクを着用していたり、小さな声で話す必要がある場所でも活用できる。
職員側の操作は、IT機器に不慣れな窓口職員でも扱いやすいように、基本的な操作は手元のテンキースイッチだけで完結するようになっている。
話した内容を外国語に翻訳して表示できる。
撮影：石井徹
翻訳機能にも対応しており、テンキー上に配置された各言語のボタンを押すだけで、話した言葉を翻訳して表示できる。
言語は英語や中国語（繁体字・簡体字）、韓国語など7つの言語がテンキー上に配置されているが、システム的には134カ国語に対応しており、リモコン操作でウクライナ語やロシア語などへの翻訳も可能。
窓口職員が使うテンキーパット。押しながら話すと文字を表示する。言語ボタンを押して、7カ国語に翻訳できる。
撮影：石井徹
設置される地域や業種によってニーズの高い言語は異なっており、京セラDSJでは今後オプションとして、テンキー上に配置できる言語を入れ替えるサービスを検討している。
実体はプロジェクター上で動くAndroidアプリ
Cotopatのハードウェア。Android TV搭載のスマートプロジェクターと、テンキーパット、指向性マイク。いずれも個人でも入手できるような汎用品だ。
撮影：石井徹
Cotopatのソフトウェア面は音声認識や自然言語処理などの仕組みを活用している。
一方で、ハードウェアは、小型プロジェクター、指向性マイク、テンキーパット、それにスクリーンとなるアクリル板で構成されており、いずれも汎用品だ。
イメージとしては、例えばスマートフォンでSiriやGoogle アシスタントに話しかけた時、自分の話した言葉が文字で表示される仕組みに近い。
スクリーンサイズは300×180mm。すでに設置済みのアクリルパネルへの投影も可能。
撮影：石井徹
具体的には、アプリ上で音声を収録して、クラウド上の音声認識エンジンに受け渡し、テキストで戻ってきた結果を画面に反映し、プロジェクターで表示するという処理で実現されている。
この際に用いるクラウド上の音声認識エンジンや翻訳エンジンは、京セラの自社開発ではなく、社外の製品を採用しているという。
ポイントとなるのは映像を投影するプロジェクターで、これはXGIMI製のAndroid TV搭載スマートプロジェクターを用いている。プロジェクター上でAndroidアプリを動作させて、音声処理から投影までを1台の機器で処理している。
CotopatはAndroid TV上で動作するアプリとして実装されている。
撮影：石井徹
原型である｢わかりやすい字幕表示システム｣の開発当初はAndroidスマホのキャスト機能（スマホの画面やコンテンツをテレビなどに映す機能）を用いて、モバイルプロジェクター投影する仕組みだった。
商用版にあたるCotopatでは、Android TV搭載プロジェクターを用いることで、キャストの設定などを飛ばして、よりシンプルな手順で使えるようになっている。
今後は｢タブレット対応｣と｢双方向対応｣も
現状では単方向の文字・情報表示しか対応していない。
撮影：石井徹
今後の追加機能としては、2つの方向性を検討しているという。
1つは、Androidタブレットへの対応だ。この製品は｢アクリル板に投影することで、コミュニケーションをさまたげない｣という点が価値だが、実証実験のユーザーからは｢タブレットの画面に表示させたい｣という要望も多く受けているという。
10月から11月をめどに提供するアプリのアップデートに合わせて、タブレットとのセット販売を実施する方針だ。
もう1つは、会話の双方向対応だ。現在のCotopatの仕様では、職員から窓口利用者の一方向のみで文字表示や翻訳機能が利用できる。
ただし、利用者の側にはマイクを備えていないため、例えば外国人の利用者が話した内容を表示することはできない。
タブレットでの対応と比べると、会話の双方向対応には時間がかかるようだ。双方向対応では、どちらが話しているのかを判断する必要があるためだ。
現在は職員が話す際にボタンを押して会話のタイミングを認識しているが、窓口利用者に同じ操作をしてもらうと、スムーズなコミュニケーションの妨げになる。
自動で発話者を認識する仕組みなど、何らかの工夫が必要となりそうだ。
