Aleph Alpha baut mit W&B Europas fortschrittlichste LLMs auf
„W&B gibt uns einen kompakten Überblick über alle Projekte. Wir können Durchläufe vergleichen, sie alle an einem Ort zusammenfassen und intuitiv entscheiden, was gut funktioniert und was wir als Nächstes ausprobieren sollten.“
Samuel Weinbach
Vizepräsident für Technologie
KI in der EU beschleunigen
Während die meisten der führenden Entwickler großer Sprachmodelle in den USA ansässig sind, gibt es in Deutschland zumindest ein vielversprechendes Unternehmen, das mit dem Westen konkurrieren kann. Genau, wir sprechen von Aleph Alpha.
Das Heidelberger Startup hat eine eigene Familie großer Sprachmodelle entwickelt. In den jüngsten Benchmark-Ergebnissen von Aleph Alpha kamen sie zu dem Schluss, dass ihre Modelle mit OpenAIs GPT-3, Big Science‘s BLOOM und Meta‘s OPT vergleichbar sind.
Wie zu erwarten, erfordert die Schulung von LLMs eine beträchtliche Menge an Ressourcen, Zeit und Experimenten. Für Aleph Alpha wurde es zur Priorität, einen Weg zu finden, ihre ML-Bemühungen zu skalieren und zu beschleunigen. Die hochgradig skalierbare, robuste und kollaborative Umgebung von Weights & Biases war die naheliegende Lösung, um Aleph Alpha bei ihrem Bestreben zu unterstützen, hochmoderne LLMs zu entwickeln.
Erklärbarkeit freisetzen
Ein Alleinstellungsmerkmal, das Aleph Alpha – neben der verbesserten Leistung – von der Konkurrenz abhebt, ist der Fokus des Unternehmens auf Transparenz und Nachvollziehbarkeit. Anfang des Jahres führte Aleph Alpha die Funktion „Explain“ ein, die die Ergebnisse von LLMs für Benutzer leichter interpretierbar machen soll. Diese neue Funktion ermöglicht es dem System, über seine Ergebnisse nachzudenken und Benutzern Einblick in den Entscheidungsprozess des Modells zu geben.
Ein neuer Betriebsmodus
In den Anfangstagen von Aleph Alpha bestand das Team aus den Gründern und einigen anderen Forschern. Während Open-Source-Plattformen damals ihren Bedürfnissen entsprachen, reichten diese Tools schnell nicht mehr aus, als sie begannen, mehr Experimente durchzuführen und größere Modelle zu trainieren. Dies wurde besonders deutlich, als Aleph Alpha zu dieser Zeit ihr größtes Modell trainierte – ein 13-Milliarden-Parameter-Modell -, das heute tatsächlich das kleinste Modell der Familie ist.
„Unsere vorherige Lösung war für die große Anzahl von Experimenten, die wir durchführten, nicht gut skalierbar“, sagte Samuel Weinbach, VP of Technology bei Aleph Alpha. „Die Verwaltung wurde langsam und mühsam, und die Möglichkeiten zum Experimentvergleich waren begrenzt.“
Auf wärmste Empfehlung eines Kollegen entschied sich Samuel für W&B, um die Nachverfolgung und das Gesamtmanagement seiner groß angelegten Experimente zu verbessern. Die interaktiven Visualisierungen und die anpassbare Benutzeroberfläche der W&B-Plattform erleichterten es dem Team, einen ganzheitlichen Überblick über seine End-to-End-LLM-Operationen zu erhalten. Dieser Einblick in die Leistung ihres Modells ermöglichte es ihnen, Hypothesen schnell zu iterieren und zu sehen, welche Hyperparameter und Modellarchitekturen am besten funktionieren – in Echtzeit.
„W&B gibt uns einen kompakten Überblick über alle Projekte. Wir können Durchläufe vergleichen, sie alle an einem Ort zusammenfassen und intuitiv entscheiden, was gut funktioniert und was wir als Nächstes ausprobieren sollten“, sagte Samuel.
Darüber hinaus half die Transparenz über die gesamte Systemauslastung enorm bei der Hardwareoptimierung. Das Team konnte Fragen beantworten wie: Verwenden wir zu viele GPU-Ressourcen, wo liegen unsere Trainingsengpässe, was ist die optimale Batchgröße? Da das LLM-Training ein ressourcenintensives Unterfangen ist, stellte W&B sicher, dass Aleph Alpha seine Computerinfrastruktur effizient maximierte.
Heute ist Aleph Alpha ein wachsendes Team mit mehr als einem Dutzend gleichgesinnter Personen. Die Erleichterung und Förderung der Zusammenarbeit ist der Schlüssel zur Beschleunigung ihrer LLM-Ausbildung. Sie müssen in der Lage sein, Ergebnisse und Feedback auszutauschen und einen einzigen Ort zu haben, an dem das gesamte Projektwissen zentralisiert ist. Mit ihrem gemeinsamen W&B-Arbeitsbereich wird ein zentraler Knotenpunkt für die gesamte Arbeit geschaffen, der eine nahtlose Kommunikation ermöglicht, die Ideenfindung anregt und Transparenz in allen Phasen des LLM-Entwicklungslebenszyklus schafft.
„Bei Projekten sind alle auf dem gleichen Stand“, sagte Samuel. „Wir können Diagramme, Notizen und Ergebnisse problemlos austauschen.“
Die LLM-Landschaft neu gestalten
Während LLMs die Welt der künstlichen Intelligenz im Sturm erobert haben, verfügen die meisten Unternehmen nicht über die Mittel, diese Modelle zu trainieren, und sind auf etablierte Technologieunternehmen als Anbieter der Technologie angewiesen. Doch eine neue Welle generativer KI-Startups erobert sich ihren eigenen Platz in der LLM-Landschaft, und Aleph Alpha ist zweifellos einer dieser aufstrebenden Akteure.
Um die operativen Herausforderungen der Ausbildung von LLMs zu meistern, benötigt Aleph Alpha eine umfassende Plattform, um die sich entwickelnden Experimente zu verwalten, effizientes Training zu ermöglichen und eine sinnvolle Zusammenarbeit zu fördern. Bisher hat das Team W&B verwendet, um 62.000 Modelle über einen Zeitraum von 271.000 Stunden zu trainieren, wobei der längste Trainingslauf 960 Stunden dauerte. Die Entscheidung für W&B war der Schlüssel zur effizienten Skalierung des LLM-Trainings und zur Etablierung von Aleph Alpha an der Spitze der internationalen KI-Landschaft.