AI時代のバーチャル・スラムとは。テクノロジーは格差を拡大するか是正するか

テクノロジーが加速度的に発展するなか、社会にはどんな変化が訪れるのか。中国をはじめ世界で進む、個人のスコアリング化で私たちは自分たちの情報や権利をどう守ればいいのだろうか。果たしてテクノロジーは私たちを幸せにするのだろうか。

Googleや楽天などテクノロジー企業で経験を積んだIT評論家の尾原和啓さんと、慶應義塾大学大学院教授で憲法学が専門の山本龍彦さんが、テクノロジーと個人の幸せや権利について語り合った。

スコアが低いと住宅ローンも借りられない

浜田敬子BIJ統括編集長（以下、浜田）： デジタル化が加速度的にスピードを増し、国家間の｢デジタル冷戦｣が起きているとも言われるなか、個人が置き去りにされている感があります。そういう状況が進むと、デジタル空間での格差が進む、という指摘を山本さんは｢バーチャル・スラム｣という言葉で表していらっしゃいますね。

山本龍彦さん（以下、山本）： 中国では、アリババ・グループ傘下の信用情報機関｢芝麻信用（ジーマ信用）｣が人工知能（AI）を使って、さまざまな個人情報から、個人の社会的信用力を350点から950点で評価付けしています。この信用スコアが官民のさまざまな機関で｢第二の身分証｣のように使われている。

スコアが高い人は住宅ローンを低金利で組めたり、家を借りる時に敷金がいらなかったり、外国ビザを取得する手続を一部免除されたりするなど、非常に快適な生活が送れます。一方で、スコアが低い人は、社会の至るところで差別的な扱いを受ける。

芝麻信用のスコアを考慮する多くの企業によって採用を拒否されたり、芝麻信用と連携する婚活サイトで不当な扱いを受けたり。ロースコアの人は飛行機などのチケットが買えず、移動すら不自由になるとも聞いています。

中国では、AIが行う｢格付け｣によって社会を徹底的に統制する社会信用のエコシステムが完成しつつあり、それによって大きな社会的格差が生じる可能性があります。しかもスコアの評価基準の大部分は｢ブラックボックス化｣していますから、一度低いスコアをつけられると自分で改善がままならず、ロースコアの人は社会の下層で固定されてしまう｢バーチャル・スラム｣が生じるかもしれません。

浜田：そのスコアはどういう基準でつけられているんですか。

山本：電子決済の記録やSNS上の交友関係に関する情報、学歴・資産保有情報など、あらゆる個人情報から評価付けされるようですが、評価基準の詳細は明らかになっていません。

婚活サイトの登録者などはモテるためにスコアを上げようと手を尽くすわけですが、結局はいたちごっこですよね。アルゴリズムの側にアドバンテージがある。ですから、ロースコアの者が這い上がるのはやっぱり難しいわけです。

スコアが中ぐらいから上の人たちも評価基準がわからないので、うかうかしていられない。何をするとスコアが落ちるかわからないから、四六時中、模範的な行動をとる必要がある。

中国政府は人々のお行儀がよくなり、社会が安全になることを狙っているわけですが、評価される側はやっぱり疲れますよね。反政府的な発言がスコアに連動するとなれば、表現活動も萎縮するでしょうから、自由で民主的な空間もシュリンクする。物理的暴力を伴わない恐怖政治が、データ駆動的な社会的信用エコシステムによって可能になるのかもしれません。

次のクラスに上がるためのパスポート

浜田：尾原さんはこうした状況についてどう思われますか？

尾原和啓さん（以下、尾原）：今の話は信用スコアの副作用についてですよね。当然、悪い面もあれば、いい面もあります。いい面としては、このスコアが次のステップに上がるパスポートにもなり得るということ。いい行いをしている人はいい機会をたくさん得られるんです。

例えばアメリカでは｢ウーバー（Uber）｣のドライバーになることが、移民が社会に溶け込むためのファーストステップになっています。言葉が話せなくても、アプリさえ入れておけば行き先が地図に示され支払いもやってくれる。これまでだと英語が話せないために就職差別を受けていたはずの人たちが普通に働ける。

浜田：信用はストックできるから、ちょっと休んでも取り戻せるんですか。

尾原：おっしゃる通りです。例えばウーバーで3年間、レビューが4.5を切ったことがない優秀なドライバーがいたとする。カローラに乗っていたけど、客単価が倍になるレクサスバンに乗り換えたい。これまでは移民のドライバーにローンなんて下りにくかったけど、ウーバーのスコアが与信となってローンが下りる。次のクラスに上がるパスポートにもなるんです。

日本には戦うべき思想がない

浜田：日本でも企業がサービスとしてスコアリングを始めます。

山本： みずほ銀行とソフトバンクが共同で立ち上げた ｢J.Score（ジェイスコア）｣が スコアリングサービスを始め、今後ヤフーや NTTドコモも同様の事業に参入すると発表しています 。日本には曲がりなりにも個人情報保護とかプライバシーという考え方があるので、中国のように一気に広がらないとは思いますし、官民での共有や連携も当面心配しなくてもいいと思います。

ただ、スコアが｢個人情報｣であれば、 本人がコントロール権を持ち、どう使おうと自由だということになる。例えば自分が登録した婚活サイトから信用スコアを任意で求められれば、高い人は出しますよね。

これが連鎖的に起こり始めると、スコアは信用機関の手から離れて、事実上社会全体に広がっていくかもしれません。婚活サイトなどにスコアが載っていない人は｢スコアが低いんだろう｣と思われて毛嫌いされる。結局、AIのつけた点数による社会的格差が生まれる可能性はゼロではない。

浜田：負のスパイラルですね。このスコアリングの問題は、ヨーロッパでは一般の人たちも巻き込んだ議論が進んでいますよね。

尾原：ヨーロッパでは｢このサイトはこういうプロファイリングのシステムを使ってます。あなたの情報を使っていいですか｣というポップアップが自動的に出る。嫌な時は、これに関する情報は出したくないということを選択できる画面に簡単に飛べるんです。

浜田：日常的にそういう選択を迫られると、自分たちのデータがどこで、どこまで取られているのかということに自覚的になれますね。

山本：ヨーロッパでは、自分の情報の取扱いを自分自身で決定できるという｢情報自己決定権｣の発想が強いんですね。この権利はドイツの憲法裁判所で1983年、憲法上の基本権として承認されました。データの行方について自分で手綱を握れるという発想は、ユダヤ人選別のためにナチスによってデータベースが作られ、個人情報が勝手に使われたという苦い歴史のほか、ヨーロッパの貴族文化が関係していると指摘されています。貴族の伝統は、｢尊厳（dignity）｣という価値を生んだ。社会的な体面とか、誇りですね。

EUの一般データ保護規則（GDPR）は、アルゴリズムで個人の趣味嗜好や政治的傾向などを予測・分析する｢プロファイリング｣や、社会的信用力を予測するようなスコアリングについても一定の規律を設けましたが、背景には｢尊厳｣概念と結びついた情報自己決定権の発想があります。

他方で、イエール大学の 比較法学者であるジェイムズ・ホイットマンによれば、貴族の伝統のないアメリカは、政府の干渉からの｢自由（liberty）｣を重視するという憲法文化がある。確かに、政府からの干渉を嫌う｢自由｣な憲法文化が、情報の自由なやり取りを促進してきた部分があり、それがGAFAのような巨大プラットフォームを育てたという側面があります。

EUでは｢尊厳｣概念から、プラットフォームによるユーザー情報の管理にも政府が首を突っ込む。対してアメリカでは｢自由｣概念から、そこは基本的には私的自治で、という発想が強い。欧米間のデータ政策の違いは憲法文化の対抗でもある。さらに共産主義を基調とした中国のデジタル・レーニズムが入ってくる。浜田さんが最初に挙げたデータをめぐる国際間の対立は、大袈裟にいえば、立憲主義のモデルや政治体制をめぐる対立でもあるわけです。それだけ根が深い。

では、日本はどうするのか。日本のデータ政策を支える｢憲法文化｣があるのかというと、それがよくわからない。だからふらふらしている。

Facebook国の住民という生き方

浜田：今後、スコアリングはどういう世界をつくり出すのでしょうか？

山本：私はリスク面を強調する反対派のように思われていますが（笑）、注意しながらやっていきましょうという立場です。 どこに価値を置くのか、境界をどう切るのかがとても重要だと思います。AIの予測精度を重視すれば、効率性や経済合理性はアップし、社会の安全も向上する。しかし、AIに賢い判断を求めようとすれば、たくさんのデータが必要になる。例えば、信用力と相関するデータはすべてAIに食べさせるべきとなり、パブリックな領域とプライベートな領域の境目がどんどん融解していきます。

家の中での一挙手一投足もデータとして収集され、評価の対象となる。AIスピーカーやAI家電はある意味家庭内に自ら引き込んだ監視装置となり、家庭内の行動も捕捉されることになれば、社会だけでなく家庭も安全になる。家でもお行儀よくしなきゃ、と。

他方でプライバシーを守り、データの収集を制限すれば、AIの予測精度は落ち、スコアに対する信頼性も落ちます。｢見られない｣空間ができるので、社会や家庭の安全レベルも落ちるかもしれない。結局、予測精度＝効率性＝安全を重視するのか、自由だけどちょっとヤンチャな社会を重視するのかという選択の問題になる。

前者はAR（拡張現実）メガネに、道路ですれ違う赤の他人の信用スコアが表示され、ロースコアだと危なそうだから少し距離をとって歩こう、という社会になるかもしれません。それは安全だけど重要な何かを失ったような社会のように感じます。 ｢スコアリングがもたらす世界｣は、このような価値観や社会モデルの選択や、それによるデータ収集領域の境界画定によって大きく変わってくると思います。

尾原：僕は今、シンガポールやバリ島を生活拠点にして世界中で働いています。なぜそれができるのかというと、一言でいうと｢Facebook国｣の住人だから。日々何をやっているかということをFacebookでずっと発信しているから｢尾原は最近こういうことに興味を持ってるんだ｣ということがみんなに伝わる。それで、仕事の依頼もいただける。

山本：尾原さん的生き方に私も憧れますが、 個人的にはSNSが評価の対象になることに多少抵抗感を覚えます。Facebookやインスタグラムの｢いいね｣を寝る直前まで、起きしなにもベッドで確認するような生活……。社会的評価の対象が公私をまたぐことで、｢私｣に｢公｣が流れ込み、四六時中、スマホをチェックしなければ、というある種の強迫観念が生まれるように感じます。

浜田：尾原さん、疲れませんか？

山本：尾原さんは疲れないんじゃないですか？

尾原：そうですね（笑）。

人格の使い分けはできなくなる

浜田：スコアリングに関して、若い世代が気になる一つのトピックスは就活だと思いますが、企業は採用活動でどう活かしていこうとしているのでしょうか？

山本：学生の化けの皮を剥がすという方向で利用する企業も現れると思います。ポジティブな言い方をすれば、学生の｢真の姿｣を正しく評価するために利用する、と。

ある企業は、スマホでいくつかの質問に答えさせるときの指の動きも収集する。この質問にはどれぐらい時間がかかっているかなど、無意識的な動きまで見ているわけです。友人の評価をスコアリングに組み込む採用アプリもあります。

今、技術的に開発されつつあるのは、履歴書からプロファイリングした志願者の特徴量を、匿名のTwitterアカウントにぶつけ、履歴書の志願者が普段本音でつぶやいている様子を評価スコアリングに組み入れようとする試みです。これまではサイバー空間とフィジカルな空間で、またサイバー空間の中でもネットワークごとに｢人格｣を使い分けていたのに、これが失効する。

浜田：100％善き人でいないといけなくなったということですね。

尾原：実はインターネットの広告の領域ではこの議論って“終わった”議論なんですね。男性か女性か、何歳くらいか、どんなブログをよく見ているのかといったことから、趣味は車、最近、こういう病気になったなど、どんどん絞り込んでいくと個人まで特定できちゃうんです。そうなれば、その人が今読んでいる記事から｢この人、浮気しようとしてるな｣などとセンシティブなことまでわかってしまう。

なので10年ほど前、アメリカのネットの広告協議会で個人が特定できてしまうところまで追求するのはやめようということになりました（※）。企業も効果的な広告を出したいですが、持続的な関係を作るためにはユーザーをおびやかしたり怖がらせてはいけないと。

※日本でもアメリカの取り組みを参考に、広告ビジネスのために取得される個人情報などの取り扱いに関しては、プライバシーポリシー作成のためのガイドラインや行動ターゲティング広告ガイドラインなどが策定されている。

山本： マーケティングだとその通りかもしれません。しかし、就活の場合、例えば企業があらかじめSNSなどの公開情報を用いてプロファイリングやスコアリングを行いますと伝えており、そのうえで受験すれば、学生の｢同意｣があったとみなされてしまう。そうすると、SNS上の公開情報を使ってプロファイリングされても文句は言えないことになる。

浜田：企業と消費者だと消費者の方が立場が強いけれど、学生と企業の場合だと、学生の方が弱い立場ですものね。

山本：今後は広告やマーケティングの領域と、与信や採用とを区別して議論していく必要があるでしょうね。

尾原：実際、アメリカのHRテックだと、採用試験の時、この質問にこう答えた人がのちのち営業成績がよくなるとか、こっちの回答をした人の方が幹部になりやすいというデータがたまりつつあります。そうなってくると、たった一つの答えで幹部コースを絶たれるかもしれません。

プラットフォームとつくる｢共同規制｣

浜田：キャリアすら絶たれるかもしれないんですね。しかもなぜ採用試験で落とされるのか、自分ではまったく思い当たらない。

少し話を変えたいと思います。ウーバーやAirbnbはもともと人の善意を前提にしたサービスですよね。ですが、サービスが広がっていくと、悪用する人は必ず現れてくる。それは企業だったり国家だったりする。私たちはこの悪とどう向き合っていったらいいでしょうか。

山本：プラットフォームは、｢公｣でも｢私｣でもない｢共｣的な空間として、新たな価値を創造している。プラットフォームの規律に関する現在の議論は、政府による法規制でも、企業の自主規制でもない、その中間にある｢共同規制｣という考えがキーワードになってます。

完全な自主規制はともすると企業側の恣意に陥るので、自主規制のプロセスを政府がうまく枠付けし、さまざまなステークホルダーを平等に参加させる形を促し、支援していこうというものです。こうした共同規制だと、プラットフォームをコントロールポイントにして、プラットフォーム自身にうまくガバナンスしてもらう。政府はこうした自主的なガバナンス体制の構築にインセンティブを与えたり、モニタリングしながら支援したりする。

浜田：ただ、その加減が難しいですよね。Airbnbに不動産投機目的の人がどんどん参入してきた時、スコアリングが有効に使われず、本当に締め出したい人を締め出せなかった。

尾原：それでもスコアリングをアップデートし続けていくしかありません。とはいえ、プラットフォームも営利企業だから儲けるために悪用することもあるんじゃないかという議論もある。その時に今の山本さんの共同規制っていい言葉だなと思いますね。

僕は共同規制ってほかにもあると思っていて、一つは従業員と経営陣との共同規制。例えばGoogleは自分たちの資産はエンジニアだと自覚しているので大切にしています。創業者たちが毎週金曜日、みんなから質問を受ける場を設けています。

中国から撤退するという時、エンジニアたちが何時間も、入れ替わり立ち替わり｢撤退はGoogleがやろうとしている世界中の知識を有機的に使いやすくするという社是にもとるんじゃないか｣と詰め寄った。経営陣はそこから逃げずに、説得したり、自分たちの葛藤をさらして議論した。そんなふうに従業員と経営陣が共同規制を作り上げるというのも一つの形。

もう一つは株主と企業との共同規制。株主から、｢Googleの検索結果が個人にパーソナライズしすぎると、自分の好きなものしか見なくなる。それは『フィルターバブル』なのではないか｣という質問がたくさん出た。Googleは正式な回答はしていないものの、外から見ていてやっぱりちょっとモデレートになったなと思います。

浜田：やっぱり世論や社会を意識しているんですね。

尾原：そうです。日本でもこうして従業員としての監視を強める、あるいは株主としての監視を強めるという共同規制の方法をつくりあげていくべきでしょう。

アルゴリズム設計に求められる思想

山本：アメリカでは、｢コ・デザイン（共同デザイン）｣という議論が出始めています。HRテックなどの設計・開発段階に、女性や障がい者などのマイノリティを参加させ、こうした技術を多様な利害関係者と｢共同｣で設計していこうという議論です。

これまでアルゴリズムなどを設計するエンジニアは、健常者である白人男性が多かった。多くは社会的にマジョリティと呼ばれる人たちよって設計されていたことで、アルゴリズムにバイアスが入り込む危険性があった。先日、AIを使ったAmazonの採用プログラムが女性を不当に排除していたという報道がなされましたが、この問題も、設計者の構成自体の偏りと無関係ではないと思います。

アルゴリズムが法律と同じように私たちの生活に大きな影響を与えるようになると、その設計もある程度民主的（democratic）でなければならないと思うんですよね。ブラックボックス問題によって、AIの予測結果、いわば｢出口｣が説明不能になるとすれば、｢入口｣、つまりアルゴリズムの設計・開発段階がいかに社会に開かれているかがより重要になると思う。

浜田：設計の段階からダイバーシティーの思想を入れていくというのは新鮮です。そこからの思想が問われるって、日本ではあまりないことですよね？

尾原：ないですね。そもそも日本は多様性を前提とした議論をあんまりやってこなかったので、ことのほか自覚的にダイバーシティーを入れて設計していかないといけないですよね。

山本： 医学部の入試で男女に差がつけられていたり、役所が障がい者を目標通り雇用していなかったりということが、ようやく日本でも問題視されるようになってきたので、 ダイバーシティーを設計に組み込むチャンスだと思うんです。それによって、世界に先駆けてAIによるインクルーシブな社会を本当に実現できてしまうかもしれない。一発逆転のチャンスともいえる。

浜田： むしろAIを使ってバイアスを外すこともできるということですね。

国家をニュートラルに見る姿勢

浜田：少し違うテーマをお聞きします。ファーウェイCFO逮捕の一件で、企業間の競争に国家がプレイヤーとして出てきた瞬間、企業はなすすべがない、という印象を持ちました。

尾原：今は国とプラットフォームで見るとプラットフォームの方が力を持っちゃった時代です。国は、プラットフォームをコントロールできないんじゃないかと怯えながら対応していると思うんです。

しかも、アメリカがナンバーワンでなくなってしまう危機感が“掛け算”になっている。アメリカでプラットフォーム側は富んでいるが、そうでない方はあまり富んでいない。中国はプラットフォームと国が蜜月関係で、その中で自分たちの実力を増そうとしている。

そんな時代に個人ができることは、国に対してニュートラリティ（中立性）を持った目で見ていくことだと思うんです。

浜田：どういうことでしょう。

尾原：例えば、ファーウェイの話もドイツはいち早く｢独自に調べて今のところ（問題は）何も見つかってないよ｣と声高に言う。かつて思考停止の中で他の国民を殺してしまったという自省もあると思う。

日本もニュートラルであってほしいけど、きっとそうなるには時間がかかる。だからまず、｢Google国民｣でも動画アプリの｢Tiktok国民｣でもいい、何かのプラットフォームの“国民”になって収益が得られれば、どこの国でも生きられるようになって、｢日本国民も選択肢の一つだよな｣と、国をニュートラルに見られると思うんですよね。

ネットワークのエリートの発言と言われるかもしれないけど、国と企業が抗う時代になったからこそ、国を選択する自由を持つことで、国に対しての監視圧力を強められるのではないかと思うんです。

失われる批判的に捉える視点

浜田：ただ、最初の話に戻ると、その“居住国”を選べない人たちも出てくる。つまりスコアリング社会に乗れなかった人たちはさまざまな国で反旗を翻したり、一部は極右政党を支持したりもする。

尾原：インターネットって本来的に自分の趣味や小さな好きを発信できて、そこに世界中のファンが集まってくれて、そこで生きられるっていうロングテール性が本当の強みだと思うんです。そういうものをテクノロジーの力がエンパワーメントしてくれる。

アメリカで最近言われているのが｢戦う楽観主義｣。権力が“悪”になってきたら、その人たちと戦いながら、でもテクノロジーはいいものだという可能性を信じようと。すみません、僕はこの辺ロマンティシズムでしか語れない（笑）。

山本： ファーウェイを国家が叩いたのは、テクノロジーが国家にとって大きな脅威と感じたからだと思います。いまは、プラットフォームやネットワークの上に国家がある。いつの間にか国民国家はネットワークや情報技術に包摂されているわけですね。ブレグジットの一件やフェイスブック＝ケンブリッジ・アナリティカ事件でもわかるように、プラットフォームやテクノロジーのさじ加減一つで国家の命運が左右されてしまう。

別の言い方をすると、｢外部｣がなくなってきている。今までだったらサイバーの世界の外にフィジカルな世界があって、そこからサイバーの世界を客観的・批判的に見ることができた。ところが、ネットワーク化やプラットフォームの台頭によって2つの世界が横串で刺されることになり、｢外部｣そのものがなくなってしまう。

プラットフォームを批判的に捉えようとしても、その批判自体が、プラットフォームの内部で形成される。都市伝説かもしれませんが、あるプラットフォームでは、そのプラットフォームを批判するニュースが配信されない。国家を批判するのも、プラットフォームの内部でなんです。やろうと思えば、思想を誘導して批判の方向性を変えることができてしまう。

この状況を前提にするとき、重要なのは、いかに｢外部｣を維持するかだと思います。例えば、プラットフォーム間の競争を維持し、それらの間でのチェックス&バランシズ（抑制と均衡）を担保する。これには、やはり国家の介入が必要かもしれません。こう考えると、ファーウェイの事件は興味深いです。

山本：中国政府が｢メイド・イン・チャイナ2025｣でやろうとしているのは、プラットフォームやテクノロジーを抑えて、世界全体を中国色の風呂敷で包んでしまおうということなのかもしれない。中国が脅威なのは、プラットフォーム権力と国家権力とが融合していて、世界から｢外部｣を奪おうと本気で考えているからではないでしょうか。

その意味で、ファーウェイの副会長がアメリカの要請で逮捕されたことは、アメリカという国家が、プラットフォーム権力の肥大化を抑えて｢外部｣を維持しようとした動きとも読める。EUのGDPRも、ヨーロッパ諸国がGAFAのようなプラットフォーム権力をコントロールして、｢外部｣を維持しようという動きとも読める。国家権力とプラットフォーム権力との抑制と均衡をどのように保っていけるかが今後の課題になるといえそうです。

尾原：まさに、そうですね。

山本：複数の国家と複数のプラットフォームとアルゴリズムと個人という諸力の関係性を整えていく必要がある。抑制と均衡を保つために一つの力だけが飛び抜けるとまずい。このグローバルな権力バランスの中でおそらく数年はやっていくでしょう。

尾原：でも適度なカオスの均衡があれば、必ずいろんな選択肢が生まれるはずです。常に｢プランB｣を作り続けるのが大事。個人ができることは、自分がどういう構造の中にいて、どういうバイアスがかかっているのかを冷静に分析すること。

例えば、前回のアメリカの大統領選で、僕みたいななまけもの人間には｢どうせクリントンが勝つから選挙に行かなくてもいい｣っていうバイアスの情報が来る。でも、Facebookの中だけやたらそういう情報が届くから、｢もしかして｣と思って、他のニュースソースを見に行ってみる。こういうバランス感覚が大切なんです。

そうすると、あるプラットフォームが自分にどういうバイアスをかけようとしているのか、ないしは誰かの悪意によってかけられようとしているのか、わかってくる。

浜田：今日、伺った話はあまりニュースになっていないので知らない人も多いと思います。とにかく今、私たちは、こういう世界で生きているということに自覚的にならないといけないですね。

もっと知る

中国に続き日本も突入か｢信用スコア社会｣で起こる大激震 ── キャッシュレス社会で銀行はこう変わる

（構成・宮本由貴子、写真・竹井俊晴）

尾原和啓（おばら・かずひろ）：1970年生まれ。京都大学大学院工学研究科修了。マッキンゼー・アンド・カンパニーを振り出しに、NTTドコモにてiモード事業の立ち上げ支援、リクルート、Google、楽天などで従事。『ITビジネスの原理』はロングセラーに。インドネシア・バリ島とシンガポールを拠点にIT評論家などとして活動。

山本龍彦（やまもと・たつひこ）：1976年生まれ。慶應義塾大大学院法学研究科博士課程単位取得退学。博士（法学）。慶應義塾大学大学院法務研究科教授。慶應義塾大学グローバルリサーチインスティテュート副所長。総務省｢AIネットワーク社会推進会議（AIガバナンス検討会）｣構成員などを務める。専門は憲法学。主な著書に『おそろしいビッグデータ 超類型化AI社会のリスク』、編著書に『AIと憲法』など。