Wayve は W&B を使用してエンドツーエンドの MLOps を実装します

最高速で前へ 

自動運転の未来に向けた競争は熾烈だ。ハイテク大手と従来の自動車メーカーが支配する市場で、ある AI 企業が競争に打ち勝つために全力で取り組んでいる。 

英国ロンドンに本社を置き、カリフォルニアに第 2 オフィスを構える Wayve の使命は、具現化されたインテリジェンスを通じて自律走行モビリティを再考することです。これは、複雑な現実世界の環境で車両が学習し、対話し、運転に適応できるようにする AI システムを開発することを意味します。 

そこに到達するのは簡単なことではありません。Wayve は、機械学習 (ML) エンジニアが実験から実稼働まで効率的に移行するための堅牢なソリューションとインフラストラクチャを必要としています。社内ツールが効果的であることが証明されていますが、エンドツーエンドの ML ライフサイクルが確実にサポートされるように、Wayve は Weights & Biases と提携しています。 

開発者エクスペリエンスの最適化 

モデルを本番環境に導入するには、多大な忍耐、努力、リソースが必要です。 

Wayve には、ML エンジニアの生産性向上に専念するチームがあります。Wayve のエンジニアリング マネージャーである Peter Matev が率いるこのチームは、社内ユーザー向けのツールとパイプラインの開発に重点を置いています。そして、そのすべてはデータ探索から始まります。 

データの準備は、ML ワークフローの重要なステップです。しかし、データセット内のパターンや関係性を簡単に見つけることは、特に大量のデータセットの場合は困難です。「私たちが構築しているツールは、ML エンジニアがさまざまな方法でデータをすばやく分析するのに役立ちます」とピーターは説明します。「これにより、データをより深く理解できるため、高品質のトレーニング データセットを簡単に生成できます。」 

データが処理されると、Wayve はモデルのトレーニングに移行します。ここで W&B が役立ちます。 

ML は本質的に反復的です。複数の変数を注意深く追跡する必要があります。W&B を使用すると、ハイパーパラメータ、メトリック、アーティファクトなどの進化する情報が自動的に記録され、1 か所に保存されるため、トレーニング中に実行を比較したり、問題のある領域を特定したりすることが容易になります。

「私たちは、W&B を積極的に活用してすべての実験を追跡しています。これにより、比較を深く掘り下げ、トレーニングで何が起こっているかをリアルタイムで正確に監視できるようになりました」とピーター氏は語ります。 

さらに、W&B は Wayve がシステム使用率 (GPU、CPU、ネットワーク、IO など) を監視し、それを複数のグラフで表示するのに役立っています。これらの視覚化により、トレーニングのボトルネックの可能性についての洞察が得られ、チームがコンピューティング リソースを効率的に使用できるようになります。 

「W&B により、GPU とコンピューティング ノードを最大限に活用できます」とピーター氏は言います。「インフラストラクチャ全体にわたって一定レベルの監視が提供されるため、大規模なモデルを継続的にトレーニングできます。」 

Wayve は、舞台裏で起こっていることをすべて記録し、作業の背景を説明するために、W&B レポートを広範に使用しています。この動的なツールは、うまくいったこと、うまくいかなかったこと、改善が必要なことなど、チームが実行した実験の全体像を伝えるのに役立ちます。 

「私たちのチームはレポート機能をかなり頻繁に使用しています」とピーター氏は言います。「実行した特定の実験について話し合ったり、詳細をより大きなグループと共有したりするのに役立っています。」 

重みとバイアスのある Azure 

Wayve は、トレーニングと推論の両方のワークロードの ML ワークフローを強化するために、Microsoft Azure を活用しています。チームは、AzureML、Azure Kubernetes Service、Azure ネイティブ データベースとネットワーク インフラストラクチャを組み合わせて使用​​しています。Microsoft Azure により、Wayve は柔軟かつ安全に、そして大規模なモデルを展開できます。 

W&B は、AzureML で実行されるすべてのトレーニングおよび推論ワークロードを含む、Microsoft Azure で実行される ML ワークロードとシームレスに統合されます。この統合により、Wayve は ML ワークフロー全体を通じて W&B を迅速かつ簡単に活用できます。 

前方の道路 

AV 競争が激化するにつれ、Wayve にとって AI システムの開発と導入に関わるプロセスの合理化と最適化がますます重要になっています。Wayve は、社内ツールとともに W&B を利用して、ML ライフサイクル全体の運用上の必要性をサポートしています。W&B をワークフローに統合することで、Wayve は実験をリアルタイムで記録して視覚化し、リソース消費を改善してコストを削減し、AI 開発者のエクスペリエンスを最適化して生産性を向上させることができます。 

「W&B を使用することで、間違いなく大きなメリットを実感しています」とピーター氏は語ります。「並行して実行できる実験の数は飛躍的に増加しており、それらの実験から適切な洞察を確実に得る上で役立っています。」