AWS maakt servers met Nvidia A100-gpu’s beschikbaar

Abonneer je gratis op Techzine!

Amazon heeft een nieuwe serie servers in gebruik genomen, klaar om aan klanten verhuurd te worden. De servers zijn uitgerust met clusters van Nvidia A100-gpu’s, aangestuurd door Intel Cascade Lake-processors.

De servers dragen de naam P4 en volgen de G4-generatie op. Per stuk bestaan ze uit acht Nvidia A100 Tensor Core-gpu’s, die met NVLink met elkaar verbonden zijn. Samen hebben de kaarten 320GB aan grafisch geheugen.

De grafische kaarten worden aangevuld met 48 Intel Cascade Lake-cores (96 virtuele cores), 1,1TB systeemgeheugen en 8TB aan opslagcapaciteit op ssd’s. De servers kunnen via een 400Gb/s-netwerkverbinding met andere servers communiceren.

UltraCluster

De servers kunnen onderling met elkaar communiceren om samen een zogenaamde EC2 UltraCluster te vormen. Hiermee kunnen meer dan 4000 gpu’s met elkaar in contact gebracht worden om in essentie een supercomputer te creëren. Deze clusters kunnen in delen afgehuurd worden.

Machine learning

Amazon belooft dat de servers tot 2,5 keer zo snel zijn in deep learning ten opzichte van de vorige generatie, waardoor het trainen van een model ongeveer 60 procent goedkoper wordt.

Dit is in lijn met de prestaties die onlangs getoond werden in de MLPerf-benchmark. Hieruit bleek dat de Nvidia A100-gpu meerdere malen sneller is in machine learning-taken dan zijn voorganger, de Nvidia T4. Dit was de gpu die AWS in de G4-instanties had verwerkt.

Prijzen

Als je een P4-instantie wilt huren, gaat je dat 32,77 dollar (28 euro) per uur kosten. Lagere prijzen zijn beschikbaar bij langere huurperiodes: 20 dollar (17,09 euro) per uur bij een jaarabonnement of 11,57 dollar (9,89 euro) voor een driejarig abonnement.