スタートアップ
インターネット上で旋風を巻き起こしている新たなAIツールといえば、ChatGPTと呼ばれるチャットボットだ。ChatGPTはほとんどの場合、思いつく限りどんな質問に対しても非常に詳細で人間に近い応答を返す。
しかし、ChatGPTやプリズマ・ラボ（Prisma Labs）のLensa（レンザ）といった人気ツールが話題をさらう一方で、この新しいジェネレーティブAI革命の進化を陰で支える分散型フレームワークについては、それほど話題になっていない。
ユニコーン企業のエニースケール（Anyscale）は、アンドリーセン・ホロウィッツ（Andreessen Horowitz）の出資を受けたスタートアップ企業だ。同社が開発したフレームワーク｢Ray（レイ）｣こそ、OpenAIがChatGPTや同様モデルのトレーニング能力を増強する上での鍵だったのだ。
エニースケールの共同創業者である（左から）フィリップ・モリッツ、イオン・ストイカ、ロバート・ニシハラ。
Anyscale
RayはOpenAIの最新大規模言語モデルのすべてを支えているばかりか、同社待望の次世代モデル、通称GPT-4のフレームワークにもなりそうだ。まるで人間が作ったかのようなコンテンツを生成するGPT-4は、10億ドル規模のビジネスの新しい波を引き起こすかもしれないと業界関係者は考えている。
Rayはすでにこの分野で最高評価を得つつある。Rayが導入される以前、OpenAIはカスタムツールを寄せ集めて初期のモデルやプロダクトを開発していた。しかしその弱点が明らかになってきたためRayに切り替えたのだと、同社の代表取締役グレッグ・ブロックマン（Greg Brockman）は2022年のRayサミットで語っている。
AI業界で注目の新星と目されているのがウェイツ＆バイアシズ（Weights & Biases）だ。企業が機械学習の実験を追跡するためのサービスを提供している同社のCEOルーカス・ビーワルド（Lukas Biewald）は、OpenAIをはじめ、同社の顧客の中でも最も先進的な思考を持つ企業に好まれるRayを有望視していると語る。
｢個人のノートパソコンと巨大な分散型サーバー群のどちらでも同じコードを走らせることができるというアイデアは、非常に重要です。機械学習モデルが大規模になるにつれて、その重要性は増します。私は細部こそ注意すべきだと思いますが、彼らはうまくやってのけたようですね｣（ビーワルド）
Rayに賭けた10億ドル
エニースケールが類まれな｢商品｣であることが判明したことから、アンドリーセン・ホロウィッツのベン・ホロウィッツ（Ben Horowitz）は同社の役員に名を連ねている。エニースケールが10億ドル（約1兆3300億円、1ドル＝133円換算）以上と評価されたシリーズCに次ぐ直近のラウンドはわずか数日でクローズされたと、このディールに詳しい関係者らは語る。
エニースケールを、ホロウィッツ期待の｢次なるデータブリックス（Databricks）｣だと評する投資家もいる。エニースケールの共同創業者であるイオン・ストイカ（Ion Stoica）が、評価額310億ドル（約4兆1200億円）のデータ大手、データブリックスの共同創業者でもあったことを考えれば、適切な表現だ。
エニースケールのCEOロバート・ニシハラ（Robert Nishihara）はInsiderの取材に対し、次のように語る。
｢AIは進歩が速く、新しいアプローチですし、人々は常に新しいアプローチを試しています。ChatGPTは、大規模言語モデルにおけるこれまでの取り組みをさまざまに組み合わせ、同時に強化もしました。
その基礎として必要なのは、インフラの柔軟性、迅速な変革、さまざまなアルゴリズムやアプローチのスケーリングなどです。Rayが提供するフレキシビリティの多くは、Pythonにおいてタスクとアクターの両方を使用できることから来ています｣
ChatGPTのような話題の新ツールに必要な学習モデルはますます巨大化しているため、企業はその開発方法をその都度見直さなければならない。Rayは、こうした巨大モデルのトレーニングを容易にし、またすべての応答に人間のようなニュアンスを与えられるよう、莫大な数のデータポイントを包含させることで、そのギャップを埋めている。
Rayはなぜ機械学習の定番ツールとなったのか
Rayは、機械学習モデルのトレーニング作業を分散させるという複雑なタスク管理のための基礎インフラだ。
例えば顧客が商品の購入をやめるかどうかを予測するモデルなど、限られたデータセットを使用する小規模モデルなら、機械学習の専門家が自分のノートパソコン上で走らせることも可能だろう。しかし、ノートパソコンはChatGPTのようなものには向いていない。そうしたモデルはツールをトレーニングするのにサーバーの｢大軍｣を必要とするからだ。
しかしそのトレーニングを、さまざまなハードウェア全体で調整することこそ、最大の難関になる。プログラマーにとってRayは、さまざまなハードウェアを単一のユニットとして管理するためのメカニズムとなる。どのデータがどこに行くか、不具合をどのように処理するかなどを決定するのだ。
Rayは、他の言語における主要なプログラミング概念｢アクター｣を、機械学習の一般的な使用言語であるPythonに拡張する。
ときには、同じハードウェアですらないこともある。GoogleクラウドやAWSなど、同じ問題に取り組むプロダクトの組み合わせが含まれる場合もある。
Rayの導入以前、OpenAIは｢ニューラル・プログラマー・インタープリター（NPI）｣モデル上に構築されたカスタムツールを寄せ集めて使用していた。同社が規模を拡大するにつれ、デベロッパーツールやインフラに新たなカスタム調整を加えるようになったと、代表取締役のブロックマンは言う。
ブロックマンはRayサミットでの講演で、NPIモデルの導入について次のように話している。
｢不満がない範囲で必要最小限の投資でした。得意分野ではないものを扱う場合、『なぜ自分はこまごまとしたものをいじくり回したり、TCPストリームにピクルスを挟んだりしているのだろう』などと考えてしまいます。情熱を燃やせる対象ではないですからね｣
Rayを使用すれば、巨大な層のように重なり合った複雑さはなくなる。OpenAIのような企業にとっては、主力分野に割ける時間もエネルギーも増える。
新世代AIには新たなデベロッパーツールが必要
急速に普及した一連の次世代機械学習ツールは、開発のあり方をまたたく間に一変させている。Rayはそうしたツールの一つにすぎない。
例えば、グーグル（Google）のフレームワーク｢JAX｣も大きな支持を集めている。JAXはすでに同社の子会社ディープマインド（DeepMind）やグーグル・ブレイン（Google Brain）チームで広く採用されており、同社の主要な機械学習ツールを支える柱となるだろうという見方が多い。
こうした問題に着目したツールはJAXに限らない。ファーストマーク・キャピタル（FirstMark Capital）とベッセマー・ベンチャー・パートナーズ（Bessemer Venture Partners）が出資するスタートアップ企業コイルド（Coiled）は、この分散問題に対処するためのフレームワーク｢Dask｣を開発している。
RayやJAXをはじめとするこうしたツールはどれも、インターネットの新世代の燃焼エンジン、つまりは大規模言語モデルを助けるためのものだ。膨大な数のデータポイントでトレーニングされたこうしたツールは、文章構造を予測し、反応し、入力されたクエリに対して人間によるものに近いテキスト応答を出力しようとする。メタ（Meta）、ハギングフェイス（Hugging Face）、OpenAI、グーグルなど、スタートアップも大手も含め、独自の大規模言語モデルを構築している企業は多い。
AIチップスタートアップ企業セレブラス・システムズ（Cerebras Systems）のCEO、アンドリュー・フェルドマン（Andrew Feldman）は次のように語る。
｢仕事（大規模モデル）を分割して、多数の小さなチップに分散させることがいかに難しいか。これを理解することが極めて重要です。これは誰にとっても非常に骨の折れる難題です｣
