Supermicro lanceert drie op NVIDIA gebaseerde, volledig op elkaar afgestemde, kant-en-klare generative AI SuperClusters

Super Micro Computer kondigt zijn nieuwste portfolio aan om de inzet van generative AI te versnellen. Supermicro SuperCluster-oplossingen bieden fundamentele bouwstenen voor het heden en de toekomst van de infrastructuur voor grote taalmodellen (LLM).

“De drie krachtige Supermicro SuperCluster-oplossingen zijn nu beschikbaar voor generatieve AI-workloads. De vloeistofgekoelde systemen van 4U of de luchtgekoelde systemen van 8U zijn speciaal gebouwd en ontworpen voor krachtige LLM-training, maar ook voor grote batches en LLM-inferentie met grote volumes. Een derde SuperCluster, met 1U luchtgekoelde Supermicro NVIDIA MGX™-systemen, is geoptimaliseerd voor inferentie op cloudschaal.

“In het tijdperk van AI wordt de rekeneenheid nu gemeten door clusters, in plaats van alleen door het aantal servers. Met onze uitgebreide wereldwijde productiecapaciteit van 5.000 racks per maand kunnen we onze klanten sneller dan ooit complete generative AI-clusters leveren,” zegt Charles Liang, president en CEO van Supermicro. “Een cluster met 64 knooppunten maakt 512 NVIDIA HGX H200 GPU’s met 72 TB HBM3e mogelijk via een paar van onze schaalbare clusterbouwstenen met 400 Gb/s NVIDIA Quantum-2 InfiniBand- en Spectrum-X Ethernet-netwerken. Supermicro’s SuperCluster-oplossingen, in combinatie met NVIDIA AI Enterprise-software, zijn ideaal voor bedrijfs- en cloudinfrastructuren om de huidige LLM’s te trainen met tot biljoenen parameters. De onderling verbonden GPU’s, CPU’s, geheugen, opslag en netwerken, die worden ingezet op meerdere nodes in racks, vormen de basis van de hedendaagse AI. De SuperCluster-oplossingen van Supermicro bieden fundamentele bouwstenen voor snel evoluerende generative AI en LLM’s.”

“NVIDIA’s nieuwste GPU-, CPU-, netwerk- en softwaretechnologieën stellen systeemmakers in staat om een reeks AI-workloads van de volgende generatie te versnellen voor wereldwijde markten,” zegt Kaustubh Sanghani, vicepresident GPU Product Management bij NVIDIA. “Door gebruik te maken van het versnelde NVIDIA-computerplatform met op de Blackwell architectuur gebaseerde producten, voorziet Supermicro klanten van de geavanceerde serversystemen die ze nodig hebben en die eenvoudig kunnen worden ingezet in datacenters.”

Supermicro 4U NVIDIA HGX H100/H200 8-GPU -systemen verdubbelen de dichtheid van het 8U-luchtgekoelde systeem door gebruik te maken van vloeistofkoeling, waardoor het energieverbruik afneemt en de totale eigendomskosten van datacenters minder worden. Deze systemen zijn ontworpen om de volgende generatie GPU’s op basis van de NVIDIA Blackwell-architectuur te ondersteunen. De Supermicro koeldistributie-eenheid (CDU) en -manifold (CDM) zijn de belangrijkste slagaders voor het distribueren van gekoelde vloeistof naar Supermicro’s aangepaste direct-to-chip (D2C) koude platen. Hiermee worden GPU’s en CPU’s op optimale temperatuur gehouden, zodat ze maximale prestaties leveren. Met deze koeltechnologie kunnen de elektriciteitskosten voor het hele datacenter met wel 40% worden verlaagd en is er minder ruimte nodig in het gebouw.

Systemen met NVIDIA HGX H100/H200 8-GPU-technologie zijn ideaal voor het trainen van Generative Al. De snelle, onderling verbonden GPU’s via NVIDIA® NVLink®, de hoge bandbreedte en capaciteit van het GPU-geheugen zijn essentieel voor het kosteneffectief uitvoeren van LLM-modellen. De Supermicro SuperCluster creëert een enorme pool van GPU-resources die werken als een enkele AI-supercomputer.
Of het nu gaat om het aanpassen van een enorm funderingsmodel dat is getraind op een dataset met biljoenen tokens of het bouwen van een LLM-inferentie-infrastructuur op cloudschaal, de ruggengraat- en bladtopologie met niet-blokkerende 400Gb/s netwerkweefsels maakt het mogelijk om naadloos van 32 knooppunten naar duizenden knooppunten op te schalen. Met volledig geïntegreerde vloeistofkoeling worden de operationele effectiviteit en efficiëntie vóór verzending grondig bewezen in Supermicro’s testprocessen.

Supermicro’s NVIDIA MGX™-systeemontwerpen met de NVIDIA GH200 Grace Hopper Superchips creëren een blauwdruk voor toekomstige AI-clusters die een cruciaal knelpunt in Generative Al aanpakken: de bandbreedte en capaciteit van het GPU-geheugen voor het uitvoeren van grote taalmodellen (LLM) met grote inferentiebatches om de operationele kosten te verlagen. De 256-node cluster maakt het een inferentiekrachtpatser in de cloud voor grote volumes, die eenvoudig inzetbaar en schaalbaar is.

SuperCluster met 4U vloeistofgekoeld systeem in 5 racks of 8U luchtgekoeld systeem in 9 racks
• 256 NVIDIA H100/H200 Tensor Core GPU’s in één schaalbare eenheid;
• Vloeistofkoeling maakt 512 GPU’s en 64 knooppunten mogelijk in dezelfde ruimte als de luchtgekoelde oplossing met 256 GPU’s en 32 knooppunten;
• 20 TB HBM3 met NVIDIA H100 of 36 TB HBM3e met NVIDIA H200 in één schaalbare eenheid;
• Een-op-een-netwerken leveren tot 400 Gbps aan elke GPU om GPUDirect RDMA en opslag te realiseren voor het trainen van grote taalmodellen met tot biljoenen parameters;
• 400G InfiniBand of 400GbE Ethernet switch-netwerkweefsels met zeer schaalbare ruggengraat- en bladtopologie, inclusief NVIDIA Quantum-2 InfiniBand en NVIDIA Spectrum-X Ethernet-platform;
• Aanpasbare AI-datapijplijn opslagstructuur met toonaangevende parallelle bestandssysteemopties;
• NVIDIA AI Enterprise 5.0 software, die ondersteuning biedt voor de nieuwe NVIDIA NIM inferentie microservices die de inzet van AI-modellen op schaal versnellen.
SuperCluster met 1U luchtgekoeld NVIDIA MGX-systeem in 9 racks
• 256 GH200 Grace Hopper Superchips in één schaalbare eenheid;
• Tot 144 GB HBM3e + 480 GB LPDDR5X gecombineerd geheugen, geschikt voor de cloud, grote volumes, lage latency en grote batches, in staat om een 70B+ parametermodel in te passen in één knooppunt;
• 400G InfiniBand of 400GbE Ethernet switch-netwerkweefsel met zeer schaalbare ruggengraat-bladtopologie;
• Tot 8 ingebouwde E1.S NVMe opslagapparaten per knooppunt;
• Aanpasbare AI-datapijplijn opslagstructuur met NVIDIA BlueField®-3 DPU’s en toonaangevende parallelle bestandssysteemopties voor het leveren van hoge doorvoer en low-latency opslagtoegang tot elke GPU;
• NVIDIA AI Enterprise 5.0-software.

Met de hoogst haalbare netwerkprestaties voor GPU-GPU-connectiviteit zijn Supermicro’s SuperCluster-oplossingen geoptimaliseerd voor LLM-training, deep learning en inferentie met hoge volumes en grote batches. Supermicro’s L11- en L12-validatietests in combinatie met de implementatiedienst op locatie bieden klanten een naadloze ervaring. Klanten ontvangen plug-and-play schaalbare eenheden voor eenvoudige implementatie in een datacenter en snellere resultaten.