脱炭素とはなにか
撮影：小林優多郎
こんにちは。パロアルトインサイトCEO・AIビジネスデザイナーの石角友愛です。今回はネットフリックスでも活用している｢Quasi Experiment｣（クアジー・エクスペリメント＝準実験。擬似実験とも呼ばれる）に関してご紹介します。データネイティブカンパニーがいかにABテストの枠を超えてあらゆる効果検証をしているか、そのこだわりと徹底ぶりを紹介します。
皆さんがご存知のABテストは、インターネット業界でよく使われる効果検証の手法の一つです。例えば、サイトのランディングページのデザインを変えて、クリック率や登録数などのコンバージョンにどう影響を及ぼすか見たいとき、デザインAとデザインBを完全無作為に選んだユーザーグループに見せて、その効果を検証します。
｢ABテストが万能ではない｣理由
Shutterstock
このABテストですが、ビッグデータを扱い何億人ものユーザーをかかえる会社になると、検証したい事柄によっては不向きな点があるのをご存知でしょうか。
例えば、ネットフリックスで、こんな課題を抱えていたとします。
｢新しいビデオのプロモーションをネットフリックス上で行うと同時に屋外広告（ビルボードなどを含む。いわゆるOOH＝Out of Homeの広告）で行った場合、それぞれのプロモーションの効果は相加的なものなのか、それともカニバリをするものなのか？｣
どうしてこの課題の場合、ABテストでは不向きなのでしょうか。
まず一つが、
（1）個人レベルで誰がビルボード広告を見るかを無作為に選ぶことが不可能
そして、
（2）無作為に選べて二つのグループに分けられたとしても、そのグループがどんな経験をするか（口コミを聞く、CMを目にする、またはネットフリックス独自のランキングシステムで違う結果が表示される可能性など）をコントロールできないので、因果関係が分からなくなるというものがあります。
ネットフリックスがニューヨークで実施した屋外ビルボードの様子。データネイティブ企業があえて旧来的なマーケティング手法を使うのには、もちろん理由がある。
Shutterstock
先ほどの課題に対して、例えば、新しいビデオの屋外広告を見る人と見ない人を無作為にグループ分けすることはできません。誰がどこにいるか、広告を目にするかはコントロールできないからです。
でも、どの地域で屋外広告を見せるかをコントロールすることはできます。そして、屋外広告を出した街とそうでない街で｢登録率｣などにどんな変化があるのか見る手法を、準実験と呼びます。
もともと、準実験は医療や心理学の実験などで多く用いられる手法です。データネイティブな会社であるネットフリックスが、ABテストにこだわらず医学や行動科学の世界の実験手法も活用していることは面白い事実です。
※写真はイメージです
Shutterstock
｢効果測定がしにくい｣と懸念されがちなビルボード広告なども、準実験という手法を取り入れ過去のデータを活用して解析すれば、相関性を検証するのに近いところまで到達できるということなのです。
また、ネットフリックスは独自のCDN（Content Delivery Network、Open Connectというストリーミングを可能にするネットワーク）を開発、運用しています。
そのCDNに改善を加えたときの効果測定にも、ABテストではなく準実験を使うそうです。ユーザーレベルでランダムに改善点に触れる人とそうでない人を選ぶより、｢このサーバーには改善点を実装して、このサーバーには実装しない｣というグループ分けをして効果測定をするのです。
ネットフリックスが組織する｢実験チーム｣の姿
撮影：小林優多郎
このような準実験を可能にしている背景として挙げられるのが、ネットフリックスには横断的にさまざまなプロダクトの実験を行う｢実験プラットフォーム｣チームがいることです。このチームが色々な実験ツールを開発しています。
準実験を限りなくシームレスに行えるように、｢Quasimodo（カジモド）｣という独自のツールを開発したそうです。今回、私はその｢実験プラットフォーム｣のPMの話を直接聞きました。
面白かったのが、プロダクトチームにはそれぞれ（1）ビジネスステークホルダー（2）データサイエンティスト（3）データエンジニアがいて、彼らが自分たちでこのようなツールを使って実験を行い、効果検証に関するデータを自動的に集められるようになっていることです。
実験のデザインや検証結果の読み取りに関して、｢実験プラットフォーム｣チームの人が手伝いをすることはあるけれども、｢仮説設定や最終的な意思決定はプロダクトチームにすべて任せる｣というスタンスなのも面白いと思いました。
出典：Netflix Tech Blog
効果検証や意思決定はすべてAIで自動化されるべき、と考えている人も多いかと思いますが、データネイティブ企業のネットフリックスでは（データネイティブだからこそ？）そのように考えていないようです。
以下のダイアグラムは｢実験プラットフォーム｣チームのPMであるMichael Pow氏の話を参考に私が訳したものです。効果検証に必要なデータを収集する作業は、ツールを開発して自動化を実現させ、最善な分析はツールとデータサイエンティストが協業する部分、そして最終的な意思決定は人間が行っています。
Michael Pow氏が講演で見せた図を筆者が翻訳したもの。
小さな改善点でも、小さなマーケティング実装でも効果検証をする。
自分たちが培ってきた勘や感覚のみを頼りにせずに実験結果を元に判断する。
そのためにはオンラインの実験手法にとどまらず、可能な実験手法を異なる領域から取り入れ、自動化ツールを開発する —— そのような意思決定のプロセスと組織づくりこそが、データネイティブ企業らしさだと私は考えています。
（文・石角友愛）
石角友愛：2010年にハーバードビジネススクールでMBAを取得したのち、シリコンバレーのGoogle本社で多数のAIプロジェクトをリードする。後にHRテックベンチャーの立ち上げや流通系AIベンチャーを経て2017年パロアルトインサイトを起業。日本企業に対してシリコンバレー発のAI戦略提案からAI実装まで一貫した支援を提供する。新著に｢いまこそ知りたいAIビジネス｣（ディスカヴァー・トゥエンティワン）がある。
