脱炭素とはなにか
ChatGPTに対抗して自社のAIチャットボットBardの開発を急ぐグーグルだが……。
REUTERS/Brandon Wade/File Photo
グーグル（Google）は多くの契約社員を抱えているが、その一部には、同社のAI搭載チャットボット｢Bard｣が生成する回答の質を評価する業務を割り当てられている。ただ、その契約社員たちからは、回答の正確性を評価するのに十分な時間が与えられていないとの声が上がっている。
グーグルは今年3月、Bardを限定ベータ版としてリリースした。Bardは先に公開されたOpenAIのChatGPTと同じく、質問やタスクを入力すると人間が書いたような回答を返すチャットボットだ。
現在、Bardの品質改善を支援しているのは、アッペン（Appen）という企業を通してグーグルの業務を請け負う契約社員だ。彼らは自身が担当する業務がBard関連のものであるとは明確に知らされていないが、この新たな業務が社内で検討され始めたのは2月7日であり、これはグーグルがBardについて初めて発表した時期と符合する。
Insiderが確認した社内文書には、評価者に宛てて、理論上の｢AIチャットボット｣が生成する回答の質を評価するようにとの指示が含まれている。
｢評価者（raters）｣と呼ばれるこれら契約社員は通常、グーグルの検索アルゴリズムや検索結果に表示される広告の関連性を評価したり、有害なウェブサイトが検索結果に表示されないようマークしたりしている。
だが匿名を条件にInsiderの取材に応じた4人の評価者によれば、1月以降、評価者の業務の大半がAI回答の評価にシフトしたという。彼らはチャットボットの回答の評価業務について、十分な時間を与えられていないなかで回答内容を評価して報酬をもらうため、だいたいの見当で評価する時もあると不満を漏らした。
グーグルは今年2月にBardの発表を行ったが、その際にBardが不正確な回答をしたことが発覚し、批判を受けた。グーグルは、Bardは今後改善されていくとしたうえで、検索に代わるものと位置づけられるべきものではないと言っている。
このリリースに向けた準備段階として、グーグルは2月にフルタイム従業員に対しても2～4時間を費やしてBardのテスト作業を実施するよう求めた。これはBardに質問をし、正確性その他に関する同社の基準を満たさない回答をマークする作業だ。作業者はあらゆるトピックにまたがる質問への回答を書き直すことができ、Bardはそれらの回答から学習するというものだ。
時間が足りない
Insiderが確認した評価者向けの指示書には、評価者に提供されるのは｢ユーザーが入力したAIチャットボットへのプロンプト（質問、指示、意見など）と、そのプロンプトに対してAIが生成する可能性のある2通りの回答｣であるとされている。それを受け、評価者がどちらの回答のほうがよいかを評価する。
また、2つのうち一方を選んだ理由をテキストボックスで詳しく説明できるようになっている。これはチャットボットが、期待に沿う回答のどういう特徴に注目すべきなのかを学習するうえで役に立つ。とりわけ、回答は一貫性があり、正確で、かつ最新情報に基づいたものでなければならない。
契約社員によると、彼ら彼女らには各タスク（回答の評価など）を完了するための一定の時間が与えられるが、タスクに割り当てられる時間はわずか60秒から数分までと、大きなばらつきがあるという。ブロックチェーンのような技術的テーマなど、チャットボットが取り上げる話題に自分が精通していなければ、回答を評価するのは難しいと評価者は語る。
評価者の中には、課されたタスクごとに支払請求可能な業務時間が決められているため、チャットボットの回答を正確に評価できないことが分かっていてもタスクを完了すると言う者もいる。
｢60秒の作業であることに変わりはないと言う人もいると思いますよ。そのトピックに明るくなくて何もできなくても時間を取り戻すことはできませんから、報酬をもらって働き続けるために、最大限の見当をつけて評価するつもりです｣（ある評価者）
別の人物も似たような感想を明かす。ファクトを正確に把握し、可能な限り高品質のチャットボット体験を提供したいとは思うものの、その話題について調べる時間を十分に与えられないまま評価しなければならないというのだ。｢正直言って、私たちの大半が限界に達しています｣とこぼす。
またある評価者は次のように語る。
｢60秒のタスクを完了するために3時間の調査が必要。私たちがいま直面している問題は、まさにそういうことです｣
契約社員は労働条件の改善を要求
アウトソーシング会社を通してグーグルの業務に当たっている契約社員たちは、労働条件の改善を求める声を高めている。
評価者らは2月にグーグル本社を訪問し、賃上げを求める嘆願書を検索部門トップのプラバカール・ラガヴァン（Prabhakar Raghavan）へ提出した。検索や広告からの収益の大半を稼いでいる事業の業務を請け負っているにもかかわらず、アッペンで働くグーグル評価者の時給は14～14.5ドル（約1850〜1900円、1ドル＝132円換算）だ。
アルファベット労働組合（AWU：Alphabet Workers Union）は現在、｢連帯組合｣として評価者を代理している。これは、同組合は評価者を支持し活動を支援するが、評価者たちの正式な代理を務めたり団体協約の交渉はしないというものだ。
テキサス州オースティンでは昨年末、ユーチューブ（YouTube）の業務を請け負う契約社員らが、AWUに加入する計画について発表した。AWUの推定では、グーグルは20万人以上を契約社員として雇用しているが、彼ら彼女らは同社の正式な社員数にはカウントされていない。
