Ethernet lijkt de strijd te gaan winnen van de concurrentie en wordt de standaard netwerkfabric. Daarvoor moet het wel blijven evolueren. Dat gebeurt ook zeker. Zo is er een nieuw consortium opgericht rondom Ethernet en zien we ook de bandbreedte sterk toenemen. Jonathan Davidson, EVP en GM Networking bij Cisco, gaat in op deze ontwikkelingen en doet ook enkele voorspellingen rondom Ethernet.
Als het gaat om netwerkfabrics, zijn er niet zo heel veel smaken. Naast Ethernet is er nog InfiniBand, Fibre Channel en Omni-Path. Ethernet en Fibre Channel zijn respectievelijk de oudste (begin jaren ’80 gestandaardiseerd, al eerder in de jaren ’70 door Xerox ontwikkeld) en op een na oudste (eind jaren ’80), terwijl de geschiedenis van InifiniBand in 1999 begon en die van Omni-Path in 2012.
De ontwikkelingen van InfiniBand en Omni-Path lopen ook nog een beetje door elkaar heen, omdat QLogic in 2006 een InfiniBand-product lanceert, maar deze technologie in 2012 verkoopt aan Intel. Samen met een eveneens door Intel overgenomen onderdeel van Cray komt dit dan in 2015/2016 op de markt als Omni-Path. De wortels van beide technologieën zijn op deze manier terug te voeren tot ongeveer dezelfde periode, 1999/2000. Intel ziet vervolgens in 2019 geen heil meer in het zelf verder ontwikkelen van Omni-Path en parkeert het in een nieuwe venture met Cornelis Networks. De laatste onafhankelijke leverancier van InfiniBand-producten, Mellanox, wordt in datzelfde jaar (2019) door Nvidia ingelijfd.
De voornaamste reden voor het bestaan van alternatieven voor Ethernet is dat deze betere prestaties leverden, met name als het gaat om beschikbare bandbreedtes. Met de opkomst van zaken zoals HPC, supercomputers en later ook AI/ML werd dat steeds meer gezien als noodzakelijk. Het is dan ook niet vreemd dat InfiniBand ergens halverwege de jaren ’10 de populairste interconnecttechnologie was voor supercomputers.
Netwerkfabrics in 2024
Na de ruwe schets van de geschiedenis van netwerkfabrics hierboven zijn we nu aangekomen in 2024. Over Omni-Path horen we eigenlijk nooit iets, al is het er nog zeker wel. InfiniBand krijgt vanzelfsprekend vanuit de dominante positie van Nvidia de afgelopen jaren behoorlijk wat aandacht. Ethernet en Fibre Channel zijn eigenlijk nooit weggeweest. Ethernet was en is natuurlijk de standaard netwerkfabric voor de meeste thuisnetwerken en netwerken in zakelijke omgevingen. Fibre Channel heeft in die tweede omgeving ook zijn plek veroverd, met name in datacenters (SAN).
Ethernet maakt inhaalslag
Ethernet staat echter niet stil. Veel lezers die iets doen met en in netwerken, servers of storage zullen ongetwijfeld bekend zijn met de afkortingen FCoE en RoCE. Deze staan voor Fibre Channel over Ethernet en RDMA over Converged Ethernet (RDMA staat voor Remote Direct Memory Access). Met name die tweede is interessant, omdat dit ook door het leven gaat als IBoE, oftewel InfiniBand over Ethernet. Hiermee concurreert Ethernet dus rechtstreeks met InfiniBand. Dat is op zichzelf overigens niet iets van de laatste paar jaar, maar werd vlak na het eerdergenoemde hoogtepunt voor InfiniBand al ingezet. Toen begon 10G Ethernet het langzaam maar zeker te vervangen.
Inmiddels zijn we al ruim voorbij de 10G. 100G is inmiddels al vrij gangbaar. Daar moeten we echter ook voorbij, maken we op uit de voorspellingen van Davidson van Cisco. “Het is niet ondenkbaar dat de industrie binnenkort een omslagpunt bereikt waarbij er hogere prestaties worden gevraagd van de netwerkarchitectuur om zo nieuwe toepassingen, data en workflows (inclusief AI/ML) te kunnen ondersteunen”, geeft hij aan. Deze hogere prestaties komen volgens hem dan in de vorm van 400G- en 800G-netwerken. 400G/800G spine-leaf netwerken kunnen, in combinatie met 100G SerDes op de chips, zorgen voor een grote sprong voorwaarts op het gebied van bandbreedte. Daar profiteren uiteindelijk zowel de server- als de clientkant van.
Ethernet vermindert complexiteit en kosten
De inhaalslag op het gebied van prestaties die Ethernet heeft gemaakt ten opzichte van met name InfiniBand, heeft niet alleen als gevolg dat (grote) organisaties nu ook via Ethernet moderne en veeleisende AI/ML-workloads kunnen draaien. “Met het uitbouwen van hun netwerken om nieuwe types en grotere aantallen workloads aan te kunnen, willen de meeste klanten ook een enkele architectuur”, voorspelt Davidson. De reden hiervoor is dat het hierdoor minder complex wordt om het netwerk in de lucht te houden. Daarnaast scheelt het ook in de kosten die een organisatie moet maken. In de woorden van Davidson: “One network fabric to run them all.”
Zoals het er nu naar uitziet, lijkt het erop dat Ethernet de netwerkfabric is die het gaat winnen. Dat zeggen we niet alleen omdat iemand van Cisco dit zegt. Dit is een vrij breed gedragen sentiment. De belangrijkste reden om voor InfiniBand te gaan was altijd de prestaties die het biedt. Die reden is nu min of meer weggenomen. Dat heeft ervoor gezorgd dat er andere afwegingen gemaakt kunnen worden. De standaardisering die Ethernet met zich meebrengt en de lagere kosten dan InfiniBand zullen de doorslag geven. De samenwerking die Cisco en Nvidia tijdens Cisco Live in Amsterdam aankondigden onderstreept dit ook. De twee spelers gaan samen een AI-infrastructuur bouwen met Ethernet als basis.
De evolutie van netwerkfabrics is overigens nog lang niet klaar, voorspelt Davidson ook nog. Propriëtaire innovatie zoals InfiniBand zal er ook in de toekomst nog zijn. Er zijn nog altijd de nodige I/O-uitdagingen die de industrie “door cycli van propriëtaire innovatie en de ontwikkeling van standaarden” heen zullen duwen. Hij geeft ook een voorbeeld van een dergelijke I/O-uitdaging. “Data sneller en efficiënter tussen modellen en data stores verplaatsen zal de GPU’s dichter bij de primaire opslag brengen”, stelt hij. Om hieraan toe te voegen dat dit “de grenzen tussen interne en externe fabrics bij het ontwerpen van servers zal vervagen”.
Samenwerking is noodzakelijk
Voor een partij zoals Cisco betekent bovenstaande dat het samen met de andere spelers in de industrie ervoor moet zorgen dat klanten netwerken kunnen uitrollen die klaar zijn voor AI. Deze netwerken moeten kunnen worden geconfigureerd op meerdere manieren en met behulp van meerdere fabrics. Alleen zo kunnen we “de belofte van AI ontsluiten”, volgens Davidson.
Het mag duidelijk zijn dat samenwerking nodig is om Ethernet te optimaliseren voor wat eraan komt. In dat opzicht is het vermeldenswaard dat de Joint Development Foundation (onderdeel van de Linux Foundation) afgelopen zomer het Ultra Ethernet Consortium heeft opgericht. Cisco was een van de founding members, samen met AMD, Arista, Broadcom, Eviden (an Atos Business), HPE, Intel, Meta en Microsoft. Dit consortium wil Ethernet samen verder verbeteren om zo over de hele netwerkstack, van de fysieke laag tot de applicatielaag de prestaties te optimaliseren van het netwerk, met name voor HPC en AI-workloads.
Enkele maanden geleden (in november 2023) sloten zich nog eens 27 leden aan bij dit consortium. De volledige lijst kun je hier vinden. Volgens Davidson geeft deze snelle groei aan dat er “sterke interesse is in het gebruik van Ethernet als basis voor netwerkoplossingen die zich richten op AI/ML-workloads”. Het geeft daarnaast ook aan er behoefte is aan een brede samenwerking binnen de industrie om de grote uitdagingen die de bedrijven delen samen op te lossen.
Het mag duidelijk zijn dat Ethernet er goed voorstaat. De ontwikkelingen zullen ook zeker niet stoppen. De alternatieve netwerkfabrics zullen van goeden huize moeten komen om de algemene standaardisering op Ethernet nog wezenlijk tegen te houden, al zullen er altijd ontwikkelingen blijven rondom propriëtaire fabrics. Dat is nu eenmaal hoe innovatie werkt. De kans is echter groot dat ook die na verloop van tijd standaardiseren richting Ethernet, of er in ieder geval bruikbaar naast kunnen bestaan.
19 uur geleden
Expert bijdrage
