KI-Server mit GPU für maschinelles Lernen zur Miete mit Kaufoption: wie wir einem Kunden geholfen haben, bis zu 20 % der Equipment-Grundkosten zu sparen

Innovative, auf künstlicher Intelligenz (KI) basierende Lösungen können für Unternehmen große Vorteile bringen. Automatisierung von Routinevorgängen, Verbesserung des Kundendienstes, Hochleistungsrechnen, Codegenerierung, Erstellung von Virtual-Reality-Anwendungen, Durchführung komplexer Aufgaben – in welcher Funktion auch immer künstliche Intelligenz eingesetzt wird, sie bietet zusätzliche Vorteile und hilft, einen Wettbewerbsvorteil zu erzielen. Mit einem solch mächtigen Instrument kann ein Unternehmen nicht nur seine Position auf dem Markt stärken, sondern auch einen großen Sprung nach vorn machen.

Viele Unternehmen haben das Potenzial bereits erkannt und haben damit begonnenc künstliche Intelligenz in ihre Geschäftsprozesse zu integrieren. Folglich ist es notwendig, spezielle Hardware zu kaufen oder zu mieten – leistungsstarke KI-Server, die mit leistungsstarken, energieeffizienten Videoprozessoren (GPU) ausgestattet sind und komplexe Aufgaben wie die Verarbeitung komplexer KI-Algorithmen oder die Analyse großer Datenmengen bewältigen können.

cloudKleyer vermietet bereits  dedizierte GPU-Server,  um das maschinelle Lernen und das Training tiefer neuronaler Netze zu beschleunigen. Planen auch Sie mit uns den Ausbau Ihrer KI-Aktivitäten.

Über das Projekt und die Ziele

Wir arbeiten seit vier Jahren mit einem Unternehmen zusammen welches große Glücksspielplattformen implementiert und betreibt, Das Unternehmen hat sich hierbei auf sich hierbei auf die Implementierung von Online-Casinos spezialisiert. Die hierfür notwendige IT-Infrastruktur wird in unserem Rechenzentrum gehostet und von unsgewartet. Kürzlich hatte ein Kunde den Wusch einen KI-Server für die Modellierung seiner internen Geschäftsentscheidungen und Geschäftsprozesse einzusetzen und trat mit einer Anfrage an uns heran.

Die Anfrage war für ein “Glücksspielunternehmen” unkonventionell, da dessen Kerngeschäft bisher nicht mit dem Einsatz von Geräten der künstlichen Intelligenz verbunden war.

"Das Projekt war klein und nicht sehr komplex, aber es war der nächste Schritt in einer langfristigen Partnerschaft und gab uns eine neue Gelegenheit, die professionelle Herangehensweise unseres Teams und das Fachwissen unserer Spezialisten zu demonstrieren" - Olga Buyanova

Ursprünglich sollte dieser Server der erste sein und für den eine spezielle Testplattform angeschafft werden sollte. Bei erfolgreicher Erprobung und Integration plant das Unternehmen, die Kapazitäten zu erweitern und eine eigene IT-Infrastruktur für die Arbeit mit künstlicher Intelligenz zu schaffen.

Die Grafikkarte ist ein Schlüsselelement eines KI-Servers

Besonderes Augenmerk musste auf die Auswahl der Grafikkarten gelegt werden, da diese eine Schlüsselrolle bei der Berechnung der Kosten und der Leistung des KI-Servers spielten. Da NVIDIA-Produkte derzeit auf dem Höhepunkt ihrer Popularität sind, wollte der Kunde NVIDIA-Grafikkarten einsetzen. Außerdem hatten einige vorläufige Tests mit älteren Modellen von NVIDIA-Grafikkarten welche durchgeführt wurden, bereits gute Ergebnisse geliefert.

Wir erhielten eine grobe Spezifikation des KI-Servers seitens des Kunden, zu der wir ein Grafikkartenmodell auswählten, das den vorgegebenen Anforderungen hinsichtlich Leistung und Kosten entsprach. Da das Modell etwas veraltet war, beschlossen wir, uns an HPE zu wenden, wo wir die Hardware für dieses Projekt beziehen wollten. HPE empfahl uns daraufhin aktuellere und leistungsfähigere Grafikkarten, darunter die NVIDIA L40 48GB PCI Express.

Auswahl der Konfiguration

Nach Rücksprache mit dem HPE stellten wir fest, dass die von dem Kunden vorgelegte Spezifikation ihren Zweck nicht vollständig erfüllte. Aus diesem Grund bereiteten unsere Techniker mehrere Ausstattungsvarianten vor und haben Kunden eine Auswahl angeboten. Nachdem er die Optionen geprüft hatte, entschied er sich für eine Modifikation mit einer 48-GB-Grafikkarte. Dieses Modell gehört zwar nicht zur neuesten Generation, ist aber Stand der Technik und in Bezug auf das Preis-/Leistungsverhältnis für seinen Geschäftsfall optimal geeignet.

KI-Serverkonfiguration, die sich am besten für den konkreten Zweck eignet

• Server: HPE DL380a Gen11 4DW.
• Prozessoren: 2x Intel Xeon-Gold 6444Y 3.6GHz 16-core.
• RAM: 8x HPE (1x64GB) Dual Rank x4 DDR5-4800.
• Speicher: 2x HPE 7.68TB NVMe.
• Netzwerkadapter: Intel E810-XXVDA2 Ethernet 10/25Gb 2-port SFP28.
• Grafikkarten: 4x NVIDIA L40 48GB PCIe.
• Netzteile: 4x HPE 1800W-2200W.

Die angepassten technischen Anforderungen f wurden dann intern weitergeleitet und darauf basierend ein Angebot erstellt. Der Kunde stimmte schnell zu, und das Projekt wurde in die Tat umgesetzt.

Gemäß den Anforderungen bestellten wir die erforderlichen Komponenten beim Anbieter und bauten einen leistungsstarken Server auf der Basis von HPE-Hardware mit einer Konfiguration, die den hohen Anforderungen des Kunden an die Rechenleistung für KI-Modelle gerecht wird.

Warum HPE Server-Hardware gewählt wurde

Der Kunde selbst wählte Server-Hardware von HPE, einem führenden Hersteller von Produkten für die IT-Branche. Ausschlaggebend für diese Entscheidung war vor allem die Notwendigkeit, aktuelle Probleme bei der Geschäftsmodellierung zu lösen. Sie wurde aber auch in der Erwartung entwickelt, dass sie den wachsenden Bedarf an Rechenressourcen in Zukunft decken kann.

Der Hersteller positioniert das neue Produkt in der HPE ProLiant Compute-Familie, den DL380a Gen11 4DW Server, als Equipment für Jobs mit intensiven Arbeitslasten, die mit dem Einsatz von künstlicher Intelligenz, dem Training neuronaler Netzwerke, komplexen Berechnungen, Grafikverarbeitung usw. verbunden sind. Der DL380a ist in der Tat ideal für das KI-Segment, wie die technischen Spezifikationen und die Funktionalität des Servers zeigen.

Technische Innovationen bei der Entwicklung des DL380a

Der HPE DL380a Gen11 4DW verfügt über Intel® Xeon® Scalable-Prozessoren der vierten Generation und ist für GPU-Beschleuniger optimiert. Diese Prozessoren bieten eine außergewöhnlich hohe Verarbeitungsleistung und Performance, darunter mehr Kerne und erweiterte CPU-Funktionen als bei Servern der dritten Generation. DDR5 und PCIe Gen5 RAM erhöhen die Bandbreite und verbessern die E/A-Leistung. In Kombination führt dies zu einer ausgewogenen E/A-Leistung auf allen Prozessoren, so dass ein reibungsloser und effizienter Betrieb auch bei hoher Belastung gewährleistet ist.

Die neueste Version des integrierten Managementsystems HPE iLO ermöglicht Ihnen die sichere Konfiguration, Überwachung und Fernverwaltung Ihrer Serverhardware von jedem Ort der Welt aus. Darüber hinaus liefert HPE iLO alle wichtigen Informationen über die Hauptkomponenten des Servers. Der Systemadministrator kann schnell Gerätebestands- und Energieverwaltungsdaten, Temperaturberichte, Firmware-Berichte und Zustandsberichte abrufen.

Was den HPE DL380a ebenfalls auszeichnet, ist das technische Design der verwendeten GPUs. Der Hersteller bot einen neuen Ansatz zur Unterstützung von Grafikprozessoren an. Sie wurden zur besseren Luftzirkulation und Kühlung an die Vorderseite des Gehäuses verlegt. Um die Betriebszeit zu maximieren, ist jede GPU mit einer separaten Stromversorgung ausgestattet. Das aktualisierte Serverdesign ermöglicht bis zu acht Einzel-GPUs oder bis zu vier Dual-GPUs sowie die direkte Kommunikation zwischen einzelnen Mikroprozessoren über eine Hochgeschwindigkeitsverbindung. Durch die Kombination des verfügbaren GPU-Speichers wird die Kommunikationsgeschwindigkeit erhöht.

Der optimale KI-Server für Ihre Geschäftsanforderungen

Nach Abschluss des Projekts erhielt das Glücksspielunternehmen einen Server, der innovative Technologie und spezielle Funktionen für den Betrieb von künstlicher Intelligenz vereint.

Die Serverkonfiguration ermöglicht eine erhebliche Leistungssteigerung und die Verarbeitung von KI-Modellen mit über 100 Milliarden Werten. Der Hersteller hat die Besonderheiten welche KI-Anwendungen notwendig sind, berücksichtigt und einen Server mit Parametern entwickelt, die es ihm ermöglichen, ein breites Spektrum von KI-Aufgaben effizient zu erfüllen: von der vorausschauenden Wartung von Geräten bis zum Training neuronaler Netze für die Spracherkennung.

"Ein Server in dieser Konfiguration ist eine extrem skalierbare Plattform, die die spezifischen Arbeitslasten der KI problemlos bewältigen kann" - Vladimir Marchenko

Bei der ersten Anfrage wurde neben dem Hauptanliegen auch die Notwendigkeit erwähnt, parallele Aufgaben zu lösen und große Datenmengen zu speichern. Wir haben dies berücksichtigt und die Möglichkeit geschaffen, weitere NVMe-Laufwerke hinzuzufügen. Was die Anzahl der Grafikkarten betrifft, so hat die Grenze erreicht, da das Hauptaugenmerk auf ihnen lag. Im konkreten Fall wird eine weitere Expansion nur durch eine Erhöhung der Anzahl der Server möglich sein.

Umfassende Dienstleistungen

Neben dem Bau und der Lieferung der KI-Server boten wir dem Kunden eine ganze Reihe von Dienstleistungen an, darunter:

• Colocation in einem Tier-III-Rechenzentrum mit der Miete eines Server-Racks;
• redundante Stromversorgung (eine solche Redundanz gewährleistet den unterbrechungsfreien Betrieb der IT-Infrastruktur auch bei einem Stromausfall);
• Netzwerkverbindung.

Im Rahmen des Projekts übernahmen wir auch die Vorkonfiguration des Standardequipments, die kontinuierliche Überwachung des Status der IT-Infrastruktur und den technischen Support. Der Systemadministrator des Unternehmens erhielt die Möglichkeit unabhängigen Fernzugriff über eine sicheres VPN Verbindung, was eine bequeme und sichere Verwaltung der Ressourcen ermöglicht.

Dieser Server war der erste Schritt eines langfristigen Businessplans des Glücksspielunternehmens zur Erweiterung der Rechenleistung. Nach einer erfolgreichen Integration, sollen zusätzliche Kapazitäten ausgebaut werden., Dies bedeutet derzeit ist mindestens ein weiterer VPS/VDS-GPU-Server mit ähnlichen Parametern zeitnah in der Planung.

GPU-Server-Miete für künstliche Intelligenz und maschinelles Lernen – eine zukunftssichere Lösung

Die von uns angefertigte Custom-Anfertigung stand in vollem Einklang mit den aktuellen Zielen des Glücksspielunternehmens. Für andere Unternehmen kann die Miete eines solchen KI-Servers eine Einstiegslösung sein, die schrittweise erweitert werden kann, indem GPU oder andere Beschleuniger je nach Bedarf hinzugefügt werden. Diese Pay-as-you-Grow Lösung bietet die nötige Flexibilität, Skalierbarkeit und Leistung, um die komplexesten KI-basierten Anwendungen nicht nur heute, sondern auch in Zukunft zu unterstützen.

Nachfolgend finden Sie einige Beispiele für mögliche HPE DL380a Gen11 AI Serverkonfigurationen mit verschiedenen Grafikkarten.

Option 1

• DL380a Gen11 4x DW GPU
• 2U, 4x PSU
• 2x Intel Xeon Platinum 8462Y+
• 8x 64 GB (512 GB RAM)
• NVME-Boot-Karte
• 2x 7,68 NVME
• 4x NVIDIA L40 48GB GPU

Option 2

• DL380a Gen11 4x DW GPU
• 2U, 4x PSU
• 2x Intel Xeon Platinum 8462Y+
• 8x 64 GB (512 GB RAM)
• NVME-Boot-Karte
• 2x 7,68 NVME
• 4x NVIDIA L40S 48GB GPU

Option 3

• DL380a Gen11 4x DW GPU
• 2U, 4x PSU
• 2x Intel Xeon Platinum 8462Y+
• 16x 64 GB (1024 GB RAM)
• NVME-Boot-Karte
• 2x 7,68 NVME
• 4x GPU NVIDIA H100 80GB mit NVLink

Option 4

• DL380a Gen11 4x DW GPU
• 2U, 2 x PSU
• 2x Intel Xeon Platinum 8462Y+
• 8x 64 GB (512 GB RAM)
• NVME-Boot-Karte
• 2x 7,68 NVME
• 8x NVIDIA L4 24GB GPU

Option 5

• DL385 Gen11 GPU 12 EDSFF
• 2U, 4x PSU
• 2x AMD EPYC 9554 3.1GHz 64-core
• 16x 64 GB (1024 GB RAM)
• NVME-Boot-Karte
• 2x 7.68 NVME EDSFF
• 4x NVIDIA L40 48GB GPU

Alle DL380A-Konfigurationen verfügen über 8 SFF NVMe U.3-Slot, die bei Bedarf durch 12x EDSFF NVMe-Slot ersetzt werden können. Es ist auch möglich, Lizenzen für das Betriebssystem hinzuzufügen: Red Hat Linux, SUSE Linux, Windows Server.

Profite, die das Glücksspielunternehmen bei der Durchführung im Projekt erzielt

Das Ergebnis unserer Arbeit an diesem Projekt war ein leistungsstarker KI-Server, der für die heutigen Geschäftsanforderungen und für die Zukunft konfiguriert wurde. Gleichzeitig konnte der Kunde beträchtliche Einsparungen erzielen und profitierte auch in anderer Hinsicht von der Zusammenarbeit.

1. Eine projektbezogene Investition. Der KI-Server wurde als Dedicated Server gemietet Dadurch ist die Anfangsinvestition gering als bei einem Kauf. Am Ende der Vertragslaufzeit hat der Kunde die Möglichkeit diesen Server zu übernehmen und in seinem Colocation Pool als eigens Equipment zu betreiben.
2. Equipment Rabatt. Da unser Unternehmen eine mehrjährige Partnerschaft mit HPE eingegangen ist, stellt uns der Hersteller Equipment zu Sonderkonditionen zur Verfügung. Im Gegenzug geben wir unseren Kunden diesen Preisvorteil Rabatte. Nach der üblichen Preisliste kosten solche KI-Server beispielsweise beim Kauf mehr als 100.000 Euro, in der vom Glücksspielunternehmen vorgeschlagenen Konfiguration ab 140.000 Euro. Dank unserer Partnerschaft mit dem Anbieter konnten wir unserem Kunden ein entprechend günstiges Angebot anbieten.
3. Umfassender Service. Neben dem angeforderten KI-Server werden alle weiteren Dienstleistungen welche hr den reibungslosen Betrieb erforderlichen Dienstleistungen erbracht: von der Vorkonfiguration bis zum technischen Support. Einschließlich dieser o.g.Dienstleistungen konnten wir das Gesamtpaket 20 Prozent günstiger als der Grundpreis des KI-Servers des Herstellers anbieten.
4. Aktuelle Modelle auf Bestellung. Bei einem solchen Projekt wo IT-Infrastruktur Stand der Technik gefordert ist, verzichten wir auf eine Lagerhaltung. Das Equipment wird in diesem Falle auf Anfrage und Kundenwunsch bestellt um immer die aktuellsten Modelle anbieten zu können. Dieser Bestellprozess kann u.U. etwas mehr Zeit in Anspruch nehmen, aber im Ergebnis erhält der Kunde die Wunschinfrastruktur Infrastruktur mit dem optimalen Preis/Leistungsverhältnis. Wir kümmern uns sollte es Probleme bei der Bestellung geben oder zuLieferverzögerungen kommen und stellen bei Bedarf Ersatzequipment zur Verfügung und biete auch Migrationshilfe an.
5. Zuverlässigkeit und Sicherheit in Übereinstimmung mit den Anforderungen für DC der Stufe Tier III. Der erworbene KI-Server wurde in die bestehende IT-Infrastruktur des Glücksspielunternehmens integriert, wo bereits eine sichere Netzwerkverbindung eingerichtet war. Für Neukunden, die zum ersten Mal Colocation, ist zu beachten, dass alle Ressourcen gemäß den Sicherheits- und Rechenzentrumsvorschriften gehostet werden. Dies gewährleistet eine zuverlässige Stromversorgung und einen stabilen Betrieb des Equipments. Hinsichtlich Netzwerksicherheit, erfolgt der Zugang zur Verwaltungskonsole über ein sichere VPN Verbindung.

Organisatorische Aspekte und Nuancen

Von CloudKleyer waren ein technischer Ingenieur und ein Projektmanager an der Implementierung beteiligt. Die Arbeiten wurden mit dem Geschäftsführer und dem technischen Architekten abgestimmt. Auch HPE-Spezialisten wurden als Berater hinzugezogen. Auf Seiten des Glücksspielunternehmens waren der CTO IT-Leiter und Mitarbeiter aus drei Abteilungen beteiligt. Die Anfrage für die Lieferung des KI-Servers kam von der Abteilung für Geschäftsentwicklung, zudem waren die Spezialisten der Abteilung für IT-Infrastruktur und der DevOps-Abteilung, die für die Umsetzung der Geschäftsmodellierung im Unternehmen zuständig sind.

Die Umsetzung wurde erfolgreich und pünktlich abgeschlossen. Insgesamt dauerten die Arbeiten vom Antrag bis zur Inbetriebnahme des neuen Servers weniger als 4 Wochen.

Dieses Projekt war überschaubar und es gab keine besonderen Schwierigkeiten, lediglich es gab einige Fragen. Als der Kunde sich beispielsweise an uns wandte, hatte er bereits eine klare Vorstellung davon, was er brauchte, und formulierte die Aufgabe, berücksichtigte aber nicht, dass Technologien und Komponenten an Bedeutung verlieren. Wir halten uns ständig auf dem Laufenden und berücksichtigen die raschen Veränderungen auf dem Markt, so dass wir auf der Grundlage unserer Erfahrungen und der Empfehlungen unserer Anbieter Alternativen vorschlugen. Aus den vorgeschlagenen Optionen wurde die KI-Serverkonfiguration ausgewählt, die in Bezug auf Leistung, Lieferzeit und Preis am sinnvollsten war.

Bereit für die Zukunft: starten Sie Ihr KI-Projekt mit CloudKleyer

Wir bemühen uns um Flexibilität und Innovation und halten uns dabei an das für das Projekt vorgesehene Budget. So ist unser Team stets bereit, dem Kunden modernste Lösungen zu bieten, die genau auf seine Ziele abgestimmt sind, auch wenn dies einen zusätzlichen Aufwand für uns bedeutet.

Wenn Sie daran interessiert sind, Ihr Unternehmen mit Hilfe von künstlicher Intelligenz auszubauen, können Sie unsere Unterstützung in Anspruch nehmen. Wir helfen Ihnen bei der Auswahl der perfekten technischen Lösung, die Ihr Unternehmen auf die nächste Stufe von Big Data und maschinellem Lernen bringt. Wir kümmern uns um alle Phasen der Implementierung: von der Organisation der Lieferung bis zur Konfiguration und Inbetriebnahme des Equipments sowie der Anmietung von Platz für dedizierte GPU-Server zu günstigen Konditionen.