Een team bij IBM Research heeft een mixed-signal analoge chip ontwikkeld die geschikt is voor AI-workloads. Het project bevindt zich nog in de onderzoeksfase, maar het is veelbelovend. Terwijl generatieve AI momenteel reusachtige hardware-vereisten en energieconsumptie opvreet, lijkt er een alternatief te ontstaan – maar voor wanneer?
Het concept van “analog in-memory computing” werkt deels zoals een biologisch brein. De communicatie tussen onze neuronen wordt gereguleerd door de kracht van elke synaps, dat zich dynamisch aanpast en praktisch niet in digitale signalen te vatten is. Bij de IBM-chip werkt dit eveneens zo, waarbij phase-change memory (PCM) de basis vormt op hardware-niveau. Met deze technologie is het mogelijk om een heel stuk efficiënter AI-berekeningen te maken, specifiek multiply-accumulate operations (MAC-ops).
Nauwkeurig en efficiënt
Om dit te bewerkstelligen moesten de IBM-onderzoekers een vergelijkbare nauwkeurigheid bereiken die we zien in de meest geavanceerde digitale chips, dus met 14 nanometers als kleinste maat. Volgens IBM is de analoge chip met name veelbelovend omdat het veel efficiënter met energie om zou gaan dan bijvoorbeeld GPU’s voor AI-workloads. Ook omzeilt het een aantal gebruikelijke bottlenecks waar klassieke chips mee te maken hebben. Zo benoemt All About Circuits de limieten van de Von Neumann-architectuur, die berekeningen vertraagt wegens latency tussen de processor en het geheugen (inclusief de cache die op een chip zit).
Wat dat betreft valt er in ieder geval veel te winnen: zelfs de allernieuwste AI-geschikte GPU’s van Nvidia vreten stroom en zullen zelfs voor grote techbedrijven schrikbarende kosten opleveren. Voor zeer complexe large language models zoals GPT-4 is een hardware-infrastructuur nodig die continu op de proef wordt gesteld. Dit maakt dergelijke modellen volledig ongeschikt om lokaal te draaien: compacte LLM’s met datasets van hoge kwaliteit zijn daar gebaat.
Overeenkomsten met ‘klassieke’ chips
Hoewel de analoge technologie op veel fronten afwijkt van conventionele chips, zijn er ook overeenkomsten. Zo heeft IBM ervoor gekozen om 64 ’tiles’ samen te voegen op een geïntegreerde siliciumchip. Dit doet denken aan de schaalvergroting die mogelijk is met de huidige computerarchitecturen van o.a. Intel, Nvidia en AMD.
Ook is er nog altijd een stap richting digitaal nodig om de berekeningen te verwerken: elke tile bevat een geïntegreerde analog-to-digital converter. Uiteindelijk gaat het echter om de eindresultaten. Die waren alvast imposant: op de CIFAR-10-dataset die AI test om afbeeldingen te onderscheiden, scoorde de chip 92,81 procent. Dat zou hoger zijn dan welk eerder resultaat dan ook. Toch zal het nog jaren duren voordat een dergelijke chip op grote schaal geproduceerd zal kunnen worden. Net als bij quantumtechnologie is het maar de vraag wanneer dit mogelijk is.
Lees ook: IBM rondt overname Apptio af: meer AI-oplossingen en minder cloudkosten
22 uur geleden
Expert bijdrage
