Wie wir die Lieferung eines GPU-Servers für die Implementierung von KI und maschinellem Lernen organisiert haben: von der Kundenanfrage bis zur Miete mit Kaufoption

Innovative, auf künstlicher Intelligenz (KI) basierende Lösungen können für Unternehmen große Vorteile bringen. Automatisierung von Routinevorgängen, Verbesserung des Kundendienstes, Hochleistungsrechnen, Codegenerierung, Erstellung von Virtual-Reality-Anwendungen, Durchführung komplexer Aufgaben – in welcher Funktion auch immer künstliche Intelligenz eingesetzt wird, sie bietet zusätzliche Vorteile und hilft, einen Wettbewerbsvorteil zu erzielen. Mit einem solch mächtigen Instrument kann ein Unternehmen nicht nur seine Position auf dem Markt stärken, sondern auch einen großen Sprung nach vorn machen.

Da viele Unternehmen das Potenzial erkannt haben, haben sie bereits damit begonnen, künstliche Intelligenz in ihre Geschäftsprozesse zu integrieren. Folglich ist es notwendig, spezielle Hardware zu kaufen oder zu mieten – leistungsstarke KI-Server, die mit leistungsstarken, energieeffizienten Videoprozessoren (GPU) ausgestattet sind und komplexe Aufgaben wie die Verarbeitung komplexer KI-Algorithmen oder die Analyse großer Datenmengen bewältigen können.

CloudKleyer wurde bereits von Unternehmen angesprochen, die dedizierte GPU-Server konfigurieren und mieten möchten, um das maschinelle Lernen und das Training tiefer neuronaler Netze zu beschleunigen. Dieser Fall befasst sich mit einem der ersten Projekte im Zusammenhang mit KI-Servern. Er wurde erfolgreich abgeschlossen und der Kunde war zufrieden und plant, die Kapazität mit unserer Hilfe weiter auszubauen.

Über das Projekt und die Ziele

Wir arbeiten seit vier Jahren mit einer großen Glücksspielplattform zusammen, die sich auf Online-Casinos spezialisiert hat. Die IT-Infrastruktur wird in unserem Rechenzentrum gehostet und von unserem Unternehmen gewartet. Kürzlich musste ein Kunde einen KI-Server für die Modellierung interner Geschäftsentscheidungen einsetzen und trat mit einer Anfrage an uns heran.

Der Antrag war für ein Glücksspielunternehmen unkonventionell, da dessen Kerngeschäft bisher nicht mit dem Einsatz von Geräten der künstlichen Intelligenz verbunden war.

"Das Projekt war klein und nicht sehr komplex, aber es war der nächste Schritt in einer langfristigen Partnerschaft und gab uns eine neue Gelegenheit, die professionelle Herangehensweise unseres Teams und das Fachwissen unserer Spezialisten zu demonstrieren" - Olga Buyanova

Ursprünglich sollte dieser Server der erste sein und für den eine spezielle Testplattform angeschafft werden sollte. Bei erfolgreicher Erprobung und Integration plant das Unternehmen, die Kapazitäten zu erweitern und eine eigene IT-Infrastruktur für die Arbeit mit künstlicher Intelligenz zu schaffen.

Die Grafikkarte ist ein Schlüsselelement eines KI-Servers

Besonderes Augenmerk musste auf die Auswahl der Grafikkarten gelegt werden, da diese eine Schlüsselrolle bei der Berechnung der Kosten und der Leistung des KI-Servers spielten. Da NVIDIA-Produkte derzeit auf dem Höhepunkt ihrer Popularität sind, wollte der Kunde NVIDIA-Grafikkarten verwenden. Außerdem hat er einige vorläufige Tests mit älteren NVIDIA-Modellen durchgeführt, und selbst diese haben gut abgeschnitten.

Wir erhielten eine grobe Spezifikation des KI-Servers, zu der wir ein Grafikkartenmodell hinzufügten, das unseren Anforderungen in Bezug auf Leistung und Kosten entsprach. Da das Modell etwas veraltet war, beschlossen wir, uns an HPE zu wenden, wo wir die Hardware für dieses Projekt kaufen wollten. Der Anbieter empfahl aktuellere und leistungsfähigere Grafikkarten, darunter die NVIDIA L40 48GB PCI Express.

Auswahl der Konfiguration

Nach Rücksprache mit dem Anbieter stellten wir fest, dass die von dem Unternehmen vorgelegte Spezifikation ihren Zweck nicht ganz erfüllte. Deshalb haben unsere Techniker mehrere Ausstattungsvarianten vorbereitet und dem Kunden eine Auswahl angeboten. Nachdem er die Optionen geprüft hatte, entschied er sich für eine Modifikation mit einer 48-GB-Grafikkarte. Dieses Modell gehört zwar nicht zur neuesten Generation, ist aber auf dem neuesten Stand der Technik und in Bezug auf das Preis-/Leistungsverhältnis in dieser bestimmten Situation optimal geeignet.

KI-Serverkonfiguration, die sich am besten für den konkreten Zweck eignet

• Server:  HPE DL380a Gen11 4DW.
• Prozessoren: 2x Intel Xeon-Gold 6444Y 3.6GHz 16-core.
• RAM: 8x HPE (1x64GB) Dual Rank x4 DDR5-4800.
• Speicher: 2x HPE 7.68TB NVMe.
• Netzwerkadapter: Intel E810-XXVDA2 Ethernet 10/25Gb 2-port SFP28.
• Grafikkarten: 4x NVIDIA L40 48GB PCIe.
• Netzteile: 4x HPE 1800W-2200W.

Wir haben die angepassten technischen Anforderungen an unsere kaufmännische Abteilung weitergeleitet, die darauf basierend ein Angebot erstellt hat. Die Leitung des Glücksspielunternehmens stimmte schnell zu, und das Projekt wurde in die Tat umgesetzt.

Gemäß den Anforderungen bestellten wir die erforderlichen Komponenten beim Anbieter und bauten einen leistungsstarken Server auf der Basis von HPE-Hardware mit einer Konfiguration, die den hohen Anforderungen des Glücksspielunternehmens an die Rechenleistung für KI-Modelle gerecht wird.

Warum HPE Server-Hardware gewählt wurde

Der Kunde selbst wählte Server-Hardware von HPE, einem führenden Hersteller von Produkten für die IT-Branche. Ausschlaggebend für diese Entscheidung war vor allem die Notwendigkeit, aktuelle Probleme bei der Geschäftsmodellierung zu lösen. Sie wurde aber auch in der Erwartung entwickelt, dass sie den wachsenden Bedarf an Rechenressourcen in Zukunft decken kann.

Der Hersteller positioniert das neue Produkt in der HPE ProLiant Compute-Familie, den DL380a Gen11 4DW Server, als Equipment für Jobs mit intensiven Arbeitslasten, die mit dem Einsatz von künstlicher Intelligenz, dem Training neuronaler Netzwerke, komplexen Berechnungen, Grafikverarbeitung usw. verbunden sind. Der DL380a ist in der Tat ideal für das KI-Segment, wie die technischen Spezifikationen und die Funktionalität des Servers zeigen.

Technische Innovationen bei der Entwicklung des DL380a

Der HPE DL380a Gen11 4DW verfügt über Intel® Xeon® Scalable-Prozessoren der vierten Generation und ist für GPU-Beschleuniger optimiert. Diese Prozessoren bieten eine außergewöhnlich hohe Verarbeitungsleistung und Performance, darunter mehr Kerne und erweiterte CPU-Funktionen als bei Servern der dritten Generation. DDR5 und PCIe Gen5 RAM erhöhen die Bandbreite und verbessern die E/A-Leistung. In Kombination führt dies zu einer ausgewogenen E/A-Leistung auf allen Prozessoren, so dass ein reibungsloser und effizienter Betrieb auch bei hoher Belastung gewährleistet ist.

Die neueste Version des integrierten Managementsystems HPE iLO ermöglicht Ihnen die sichere Konfiguration, Überwachung und Fernverwaltung Ihrer Serverhardware von jedem Ort der Welt aus. Darüber hinaus liefert HPE iLO alle wichtigen Informationen über die Hauptkomponenten des Servers. Der Systemadministrator kann schnell Gerätebestands- und Energieverwaltungsdaten, Temperaturberichte, Firmware-Berichte und Zustandsberichte abrufen.

Was den HPE DL380a ebenfalls auszeichnet, ist das technische Design der verwendeten GPUs. Der Hersteller bot einen neuen Ansatz zur Unterstützung von Grafikprozessoren an. Sie wurden zur besseren Luftzirkulation und Kühlung an die Vorderseite des Gehäuses verlegt. Um die Betriebszeit zu maximieren, ist jede GPU mit einer separaten Stromversorgung ausgestattet. Das aktualisierte Serverdesign ermöglicht bis zu acht Einzel-GPUs oder bis zu vier Dual-GPUs sowie die direkte Kommunikation zwischen einzelnen Mikroprozessoren über eine Hochgeschwindigkeitsverbindung. Durch die Kombination des verfügbaren GPU-Speichers wird die Kommunikationsgeschwindigkeit erhöht.

Der optimale KI-Server für Ihre Geschäftsanforderungen

Nach Abschluss des Projekts erhielt das Glücksspielunternehmen einen Server, der innovative Technologie  und spezielle Funktionen für den Betrieb von künstlicher Intelligenz vereint.

Die Serverkonfiguration ermöglicht eine erhebliche Leistungssteigerung und die Verarbeitung von KI-Modellen mit über 100 Milliarden Werten. Der Hersteller hat die Besonderheiten welche KI-Anwendungen notwendig sind, berücksichtigt und einen Server mit Parametern entwickelt, die es ihm ermöglichen, ein breites Spektrum von KI-Aufgaben effizient zu erfüllen: von der vorausschauenden Wartung von Geräten bis zum Training neuronaler Netze für die Spracherkennung.

"Ein Server in dieser Konfiguration ist eine extrem skalierbare Plattform, die die spezifischen Arbeitslasten der KI problemlos bewältigen kann - Vladimir Marchenko

Bei den Vorverhandlungen wurde neben dem Hauptanliegen auch die Notwendigkeit erwähnt, parallele Aufgaben zu lösen und große Datenmengen zu speichern. Wir haben dies berücksichtigt und die Möglichkeit geschaffen, weitere NVMe-Laufwerke hinzuzufügen. Was die Anzahl der Grafikkarten betrifft, so hat das besagte Set die Grenze erreicht, da das Hauptaugenmerk auf ihnen lag. Im konkreten Fall wird eine weitere Expansion nur durch eine Erhöhung der Anzahl der Server möglich sein.

Umfassende Dienstleistungen

Neben dem Bau und der Lieferung der KI-Server boten wir dem Kunden eine ganze Reihe von Dienstleistungen an, darunter:

• Colocation in einem Tier-III-Rechenzentrum mit der Miete eines Server-Racks;
• redundante Stromversorgung (eine solche Redundanz gewährleistet den unterbrechungsfreien Betrieb der IT-Infrastruktur auch bei einem Stromausfall);
• Netzwerkverbindung.

Im Rahmen des Projekts übernahmen wir auch die Vorkonfiguration des Standardequipments, die kontinuierliche Überwachung des Status der IT-Infrastruktur und den technischen Support. Der Systemadministrator des Unternehmens erhielt einen unabhängigen Fernzugriff über ein sicheres VPN, was eine bequeme und sichere Verwaltung der Ressourcen ermöglichte.

Dieser Server war der erste Schritt eines langfristigen Plans des Glücksspielunternehmens zur Erweiterung der Rechenleistung. Im Falle einer erfolgreichen Integration plant der Kunde, zusätzliche Kapazitäten zu erwerben, indem er mindestens einen weiteren VPS/VDS-GPU-Server mit ähnlichen Parametern mietet oder in Raten kauft.

GPU-Server-Miete für künstliche Intelligenz und maschinelles Lernen – eine zukunftssichere Lösung

Die von uns angefertigte Custom-Anfertigung stand in vollem Einklang mit den aktuellen Zielen des Glücksspielunternehmens. Für andere Unternehmen kann die Miete eines solchen KI-Servers eine Einstiegslösung sein, die schrittweise erweitert werden kann, indem GPU oder andere Beschleuniger je nach Bedarf hinzugefügt werden, anstatt sofort in einer maximalen Anzahl. Diese Lösung bietet die nötige Flexibilität, Skalierbarkeit und Leistung, um die komplexesten KI-basierten Anwendungen nicht nur heute, sondern auch in Zukunft zu unterstützen.

Nachfolgend finden Sie einige Beispiele für mögliche HPE DL380a Gen11 AI Serverkonfigurationen mit verschiedenen Grafikkarten.

Option 1

• DL380a Gen11 4x DW GPU
• 2U, 4x PSU
• 2x Intel Xeon Platinum 8462Y+
• 8x 64 GB (512 GB RAM)
• NVME-Boot-Karte
• 2x 7,68 NVME
• 4x NVIDIA L40 48GB GPU

Option 2

• DL380a Gen11 4x DW GPU
• 2U, 4x PSU
• 2x Intel Xeon Platinum 8462Y+
• 8x 64 GB (512 GB RAM)
• NVME-Boot-Karte
• 2x 7,68 NVME
• 4x NVIDIA L40S 48GB GPU

Option 3

• DL380a Gen11 4x DW GPU
• 2U, 4x PSU
• 2x Intel Xeon Platinum 8462Y+
• 16x 64 GB (1024 GB RAM)
• NVME-Boot-Karte
• 2x 7,68 NVME
• 4x GPU NVIDIA H100 80GB mit NVLink

Option 4

• DL380a Gen11 4x DW GPU
• 2U, 2 x PSU
• 2x Intel Xeon Platinum 8462Y+
• 8x 64 GB (512 GB RAM)
• NVME-Boot-Karte
• 2x 7,68 NVME
• 8x NVIDIA L4 24GB GPU

Option 5

• DL385 Gen11 GPU 12 EDSFF
• 2U, 4x PSU
• 2x AMD EPYC 9554 3.1GHz 64-core
• 16x 64 GB (1024 GB RAM)
• NVME-Boot-Karte
• 2x 7.68 NVME EDSFF
• 4x NVIDIA L40 48GB GPU

Alle DL380A-Konfigurationen verfügen über 8 SFF NVMe U.3-Slot, die bei Bedarf durch 12x EDSFF NVMe-Slot ersetzt werden können. Es ist auch möglich, Lizenzen für das Betriebssystem hinzuzufügen: Red Hat Linux, SUSE Linux, Windows Server.

Profite, die das Glücksspielunternehmen bei der Durchführung im Projekt erzielt

Das Ergebnis unserer Arbeit an diesem Projekt war ein leistungsstarker KI-Server, der für die heutigen Geschäftsanforderungen und für die Zukunft konfiguriert wurde. Gleichzeitig konnte der Kunde beträchtliche Einsparungen erzielen und profitierte auch in anderer Hinsicht von der Zusammenarbeit.

1. Eine projektbezogene Investition. Der KI-Server wurde auf Leasingbasis erworben. Diese Finanzierungsform sieht eine Ratenzahlung vor, die es den Unternehmen ermöglicht, eine einmalige große Ausgabe zu vermeiden.
2. Equipment Rabatt. Da unser Unternehmen eine mehrjährige Partnerschaft mit HPE eingegangen ist, stellt uns der Hersteller Equipment zu Sonderkonditionen zur Verfügung. Im Gegenzug gewähren wir den Kunden gute Rabatte. Nach der üblichen Preisliste kosten solche KI-Server beispielsweise mehr als 100.000 Euro, in der vom Glücksspielunternehmen vorgeschlagenen Konfiguration ab 140.000 Euro. Dank unserer Partnerschaft mit dem Anbieter konnten wir unserem Stammkunden ein sehr günstiges Angebot machen.
3. Umfassender Service. Zusammen mit dem KI-Server haben wir alle für den reibungslosen Betrieb erforderlichen Dienstleistungen erbracht: von der Vorkonfiguration bis zum technischen Support. Einschließlich der Kosten für die Dienstleistungen kostet die Ausrüstung etwa 20 Prozent weniger als der Grundpreis des KI-Servers des Herstellers.
4. Aktuelle Modelle auf Bestellung. Wir halten die Geräte nicht auf Lager, sondern bestellen sie auf Anfrage, wodurch wir die mit der schnellen Veralterung der Technologie verbundenen Risiken minimieren können. Dies kann zwar etwas mehr Zeit in Anspruch nehmen, aber im Ergebnis garantieren wir die Lieferung moderner und optimal geeigneter Geräte zu einem günstigen Preis. Wir kümmern uns um Probleme bei Lieferverzögerungen und stellen bei Bedarf Ersatzware und Migrationshilfe zur Verfügung.
5. Zuverlässigkeit und Sicherheit in Übereinstimmung mit den Anforderungen für DC der Stufe Tier III. Der erworbene KI-Server wurde in die bestehende IT-Infrastruktur des Glücksspielunternehmens integriert, wo bereits eine sichere Netzwerkverbindung eingerichtet war. Für Neukunden, die zum ersten Mal Racks bei uns mieten, ist zu beachten, dass alle Ressourcen gemäß den Sicherheits- und Rechenzentrumsvorschriften gehostet werden. Dies gewährleistet eine zuverlässige Stromversorgung und einen stabilen Betrieb des Equipments. Was die Netzwerksicherheit betrifft, so erfolgt der Zugang zur Verwaltungskonsole über ein sicheres VPN.

Organisatorische Aspekte und Nuancen

Von CloudKleyer waren ein technischer Ingenieur und ein Projektmanager an der Implementierung beteiligt. Die Arbeiten wurden mit dem Geschäftsführer und dem technischen Architekten abgestimmt. Auch HPE-Spezialisten wurden als Berater hinzugezogen. Auf Seiten des Glücksspielunternehmens waren der CTO IT-Leiter und Mitarbeiter aus drei Abteilungen beteiligt. Die Anfrage für die Lieferung des KI-Servers kam von der Abteilung für Geschäftsentwicklung, zudem waren die Spezialisten der Abteilung für IT-Infrastruktur und der DevOps-Abteilung, die für die Umsetzung der Geschäftsmodellierung im Unternehmen zuständig sind.

Die Umsetzung wurde erfolgreich und pünktlich abgeschlossen. Insgesamt dauerten die Arbeiten vom Antrag bis zur Inbetriebnahme des neuen Servers weniger als 4 Wochen.

Dieses Projekt war überschaubar und es gab keine besonderen Schwierigkeiten, lediglich es gab einige Fragen. Als der Kunde sich beispielsweise an uns wandte, hatte er bereits eine klare Vorstellung davon, was er brauchte, und formulierte die Aufgabe, berücksichtigte aber nicht, dass Technologien und Komponenten an Bedeutung verlieren. Wir halten uns ständig auf dem Laufenden und berücksichtigen die raschen Veränderungen auf dem Markt, so dass wir auf der Grundlage unserer Erfahrungen und der Empfehlungen unserer Anbieter Alternativen vorschlugen. Aus den vorgeschlagenen Optionen wurde die KI-Serverkonfigurationausgewählt, die in Bezug auf Leistung, Lieferzeit und Preis am sinnvollsten war.

Bereit für die Zukunft: starten Sie Ihr KI-Projekt mit CloudKleyer

Wir bemühen uns um Flexibilität und Innovation und halten uns dabei an das für das Projekt vorgesehene Budget. So ist unser Team stets bereit, dem Kunden modernste Lösungen zu bieten, die genau auf seine Ziele abgestimmt sind, auch wenn dies einen zusätzlichen Aufwand für uns bedeutet.

Wenn Sie daran interessiert sind, Ihr Unternehmen mit Hilfe von künstlicher Intelligenz auszubauen, können Sie unsere Unterstützung in Anspruch nehmen. Wir helfen Ihnen bei der Auswahl der perfekten technischen Lösung, die Ihr Unternehmen auf die nächste Stufe von Big Data und maschinellem Lernen bringt. Wir kümmern uns um alle Phasen der Implementierung: von der Organisation der Lieferung bis zur Konfiguration und Inbetriebnahme des Equipments sowie der Anmietung von Platzfür dedizierte GPU-Server zu günstigen Konditionen.