GPU’s zijn een groot deel van de tijd niet actief omdat ze wachten op instructies. Dat komt doordat verbindingen in datacenters nog grotendeels bestaan uit koperdraad in plaats van glasvezel.
Dit blijkt uit onderzoek van IBM. “Wij schatten dat GPU’s ongeveer de helft van hun tijd stilstaan,” zegt John Knickerbocker, een vooraanstaand ingenieur bij IBM in SiliconAngle. “Dat is een enorme hoeveelheid energie die wordt verspild.”
IBM beweert nu aanzienlijke vooruitgang te hebben geboekt in het oplossen van dit probleem. Het bedrijf onthult een nieuw proces voor co-packaged optics. Dat integreert optische componenten direct met elektronische chips in één pakket. Dit maakt connectiviteit tussen apparaten in een datacenter mogelijk met de snelheid van het licht.
Minder signaalverlies
Het bedrijf zegt interconnecties te hebben gebouwd en succesvol getest, gebaseerd op polymeren optische golfgeleiders. Deze flexibele en lichte structuren, gemaakt van polymeermaterialen, geleiden licht langs een pad. Ze beperken signaalverlies terwijl ze de signaalintegriteit behouden.
De module verlaagt de energiebehoefte met meer dan 80% in vergelijking met elektrische verbindingen. Daarnaast vergroot het de lengte van kabels die componenten binnen een datacenter kunnen verbinden van de huidige één meter naar honderden meters.
Volgens IBM kunnen grote taalmodellen voor kunstmatige intelligentie hierdoor tot vijf keer sneller worden getraind. Dit terwijl men naar schatting de jaarlijkse energieconsumptie van 5.000 Amerikaanse huishoudens per getraind model bespaart.
Toenemende vraag naar energie
Voor de opkomst van generatieve AI en grote taalmodellen (LLM’s) verdubbelde de vraag naar rekenkracht elke twintig maanden. Dit meldt Mukesh Khare, algemeen directeur van IBM’s halfgeleiderdivisie en vice-president hybride cloudonderzoek bij IBM Research. “Sinds de komst van LLM’s verdubbelt dit elke zes maanden.”
Het elektriciteitsverbruik en de bijbehorende koolstofvoetafdruk is een vaak genegeerd gevolg van AI. Het Internationaal Energieagentschap schatte eerder dit jaar dat het stroomverbruik van datacenters die AI- en cryptografische werklasten verwerken tegen 2026 kan verdubbelen. Tegen die tijd zal het gelijk zijn aan het totale elektriciteitsverbruik van Japan.
Polymeer optische golfgeleidertechnologie wordt al veel gebruikt in telecommunicatie, datacommunicatie en sensortoepassingen. Het was in datacenters nooit economisch haalbaar. Redenen hiervoor zijn onder meer de hoge initiële kosten, fragiliteit van de media, de dominantie van koperdraad in bestaande systemen en de grootte van optische vezels.
Met een diameter van ongeveer 250 micron, of drie keer de breedte van een mensenhaar, nemen deze vezels ongeveer een kwart millimeter ruimte in beslag. Dat is aanzienlijk meer dan de overeenkomstige ruimte die elektronische circuits vereisen.
Forse kloof
“Hoewel de industrie grote vooruitgang boekte in het bouwen van snellere chips, hield de snelheid waarmee deze chips met elkaar communiceren dat tempo niet bij,” zegt Khare. “Er is een kloof van meerdere ordes van grootte.”
IBM-onderzoekers gebruikten PWG-technologie om bundels van optische vezels met hoge dichtheid langs de rand van een chip te positioneren. Dit, opdat deze direct via de polymeervezels kan communiceren. Deze aanpak behaalde toleranties van een halve micron of minder tussen een vezel en de connector. Dit beschouwt men als de maatstaf voor succes.
Volgens het bedrijf maken de nieuwe optische structuren het mogelijk om zes keer zoveel optische vezels te bundelen aan de rand van een siliciumfotonicachip als momenteel mogelijk is. Elke vezel kan slechts enkele centimeters overspannen en terabits aan data per seconde vervoeren. Wanneer geconfigureerd om meerdere golflengtes per optisch kanaal te verzenden, kan de CPO-technologie de bandbreedte tussen chips tot 80 keer verhogen.
Verdere innovatie is mogelijk
IBM zegt dat het proces een verkleining van 80% heeft bereikt ten opzichte van conventionele optische kanalen. Tests wijzen erop dat verdere verkleining mogelijk is, wat een bandbreedteverhoging tot 1.200% oplevert.
De co-packaged optics-modules zijn klaar voor commercieel gebruik en zullen worden geproduceerd in IBM’s faciliteit in Bromont, Quebec.