Aleph Alpha が W&B でヨーロッパの最先端 LLM を構築
W&B では、すべてのプロジェクトを簡潔に把握できます。実行を比較し、それらをすべて 1 か所に集約し、何がうまく機能し、次に何を試すかを直感的に決定できます。
サミュエル・ワインバック
テクノロジー担当副社長
EUにおけるAIの加速
主要な大規模言語モデル開発者のほとんどは米国に拠点を置いていますが、ドイツには西側諸国に匹敵する可能性のある有望な企業が少なくとも 1 社あります。そう、アレフ・アルファについて話しているのです。
ハイデルベルクに本拠を置くこのスタートアップは、独自の大規模言語モデル ファミリを開発しました。 Aleph Alpha の最新のベンチマーク結果では、彼らのモデルは OpenAI の GPT-3、Big Science の BLOOM、Meta の OPT に匹敵するという結論に達しました。
ご想像のとおり、LLM のトレーニングには、かなりの量のリソース、時間、実験が必要です。 Aleph Alpha にとって、ML の取り組みを拡大し加速する方法を見つけることが優先事項になりました。 Weights & Biases の拡張性が高く、堅牢で協調的な環境により、最先端の LLM の構築を目指す Aleph Alpha を支援する明白なソリューションとなりました。
.
.
説明可能性を解き放つ
Aleph Alpha を競合他社と区別するユニークなセールス ポイントは、パフォーマンスの向上に加えて、透明性とトレーサビリティに注力していることです。今年の初めに、Aleph Alpha は、LLM の結果をユーザーがより解釈しやすくすることを目的とした「Explain」機能を導入しました。この新しい機能により、システムがその出力について推論し、モデルの意思決定プロセスについてユーザーに洞察を与えることが可能になります。
新しい操作モード
Aleph Alpha の初期の頃、チームは創設者と他の数人の研究者で構成されていました。当時、オープンソース プラットフォームはニーズを満たしていましたが、より多くの実験を実行し、大規模なモデルをトレーニングし始めると、それらのツールはすぐに不十分になってしまいました。これは、Aleph Alpha が当時最大のモデルである 13B パラメーター モデルをトレーニングしていたときに特に顕著でした。これは現在、実際にはファミリーの最小モデルです。
.
.
“以前のソリューションは、実行していた多数の実験にうまく対応できませんでした」と、Aleph Alpha のテクノロジー担当副社長である Samuel Weinbach 氏は述べています。 「それらを管理するのは遅くて面倒になり、実験を比較する能力も限られていました」
.”
.”
Samuel は、同僚からの強い勧めを受けて、大規模な実験の追跡と全体的な管理を改善するために W&B を選択しました。 W&B プラットフォームのインタラクティブな視覚化とカスタマイズ可能な UI により、チームはエンドツーエンドの LLM 運用の全体像を簡単に把握できるようになりました。モデルのパフォーマンスについてこのレベルの洞察が得られたため、仮説を迅速に繰り返し、どのハイパーパラメーターとモデル アーキテクチャが最も優れたパフォーマンスを発揮しているかをリアルタイムで確認できるようになりました。
“W&B では、すべてのプロジェクトを簡潔に把握できます。実行を比較し、すべてを 1 か所に集約して、何がうまくいき、次に何を試すかを直感的に決定できます」とサミュエル氏は言います。
その後、システム全体の使用状況を可視化することで、ハードウェアの最適化に非常に役立ちました。チームは、GPU リソースの使用量が多すぎないか、トレーニングのボトルネックはどこにあるのか、最適なバッチ サイズはどれか、などの質問に答えることができます。 LLM トレーニングはリソースを大量に消費する取り組みであるため、W&B は Aleph Alpha がコンピューティング インフラストラクチャを効率的に最大限に活用できるようにしました。
現在、Aleph Alpha は、十数人の志を同じくする人々からなるチームとして成長しています。コラボレーションを促進し、奨励することが、LLM トレーニングを加速する鍵となります。結果やフィードバックを共有でき、プロジェクトのすべての知識が集中する単一の場所が必要です。 W&B 共有ワークスペースを使用すると、すべての作業の中心ハブが作成され、シームレスなコミュニケーションが可能になり、アイデアの生成が促進され、LLM 開発ライフサイクルのすべての段階で透明性が生まれます。
“プロジェクトに関しては全員が同じ認識を持っています」とサミュエル氏は言いました。 「グラフ、メモ、調査結果を簡単に共有できます。
”
”
LLM のランドスケープを再考する
LLM は人工知能の世界に旋風を巻き起こしていますが、ほとんどの企業にはこれらのモデルをトレーニングする手段がなく、テクノロジーのプロバイダーとして確立されたテクノロジー企業に依存しています。しかし、生成 AI スタートアップの新たな波が LLM の分野で独自のスペースを切り開いており、Aleph Alpha は間違いなく、それらの新興プレーヤーの 1 つです。
LLM のトレーニングに関する運用上の課題に対処するために、Aleph Alpha は、進化する実験を管理し、効率的なトレーニングを可能にし、有意義なコラボレーションを促進するための包括的なプラットフォームを必要としています。現在までに、チームは W&B を使用して 271,000 時間にわたって 62,000 のモデルをトレーニングしており、最長トレーニング実行時間は 960 時間でした。 W&B の選択は、LLM トレーニングを効率的に拡大し、Aleph Alpha を国際的な AI 環境の最前線に確立するための鍵でした。