Deze TU Delft-spinoff bouwt chips die zich gedragen als hersenen

Het menselijk brein verbruikt grofweg 20 Watt. Normaliter kunnen processoren niet aan die efficiëntie tippen, maar Innatera wel. Het geheim: een ‘neuromorfische’ chip, oftewel een halfgeleider die op hersenen lijkt. Wat houdt dat in? En wat heb je eraan?

Sumeet Kumar, CEO van Innatera, vertelt hoe het bedrijf in 2018 werd opgericht als een spin-off vanuit de TU Delft. Het team bouwde voort op jarenlang academisch onderzoek naar efficiënte vormen van compute. Eén van die vormen was mogelijk door het brein zo getrouw mogelijk na te bootsen in een silicium chip. In 2018 zag Kumar’s team een groot gat in de markt: terwijl sensoren steeds slimmer moesten worden, richtten bedrijven zich vooral op Nvidia Jetson-GPU’s voor ‘intelligent edge’. In praktische zin: zoveel mogelijk datacenter-rekenkracht in een zo klein mogelijke vormfactor. Dat blijkt niet de optimale weg, want het vreet stroom en is alsnog beperkt qua rekenkracht.

Een andere aanpak

In 2020 had de industrie volgens Kumar eindelijk door dat er een alternatieve aanpak nodig was. Sindsdien is de ontwikkeling van Innatera in sneltreinvaart gegaan, ondanks (zoals we verder zullen uitdiepen) beperkte middelen. Inmiddels heeft Innatera al zes generaties processoren gebouwd om het edge compute-probleem aan te pakken, en nu is de technologie op een niveau dat het echt klaar is voor grootschalige productie.

Inmiddels is Innatera uitgegroeid tot een bedrijf met 80 medewerkers verspreid over 15 landen. Het product luistert naar de naam T1 en is een zogeheten ‘Spiking Neural Processor’ (SNP). Innatera kondigde deze chip in januari vorig jaar al aan tijdens CES. De T1 is always-on en vereist minder dan een milliwatt. Daar waar conventionele processoren cores en threads hebben, is het hart van een SNP een 500-tal aan ‘processing elements’ samengesteld in een ‘Analog Spiking Neuron Synapse Array’. Met een klein beetje verbeelding is het te zien als een piepklein brein.

De toepassingen variëren enorm, maar hebben de overeenkomst dat er bijna geen energie voorhanden is om een rekentaak uit te voeren. Voorbeelden zijn aanwezigheidsdetectie voor een slimme deurbel, touch-free interactie met hardware, always-on audio en hartritme-meters. Het ligt voor de hand om nu te zeggen dat dit allemaal al lang kan en niet zoveel energie kost. Daarbovenop is de connectiviteit in veel gebieden dermate goed dat er frictieloos kan worden overgeschakeld naar cloudomgevingen voor deze berekeningen.

Dat klopt allemaal, maar Kumar kaart een aantal problemen aan. Allereerst is er sprake van een fundamenteel privacyprobleem: waarom data van slimme deurbellen, audio-apparatuur en hartritmes gevoelig maken voor een datalek? Kan dit niet gewoon lokaal berekend worden? Wie daarvoor kiest, beperkt de schaal van deze smart devices enorm. Innatera belooft simpele berekeningen 10.000 keer efficiënter te maken en lokaal te draaien, waardoor gegevens even veilig zijn als op een offline pc. Als klap op de vuurpijl haalt het druk weg bij datacenters, die anders een eindeloze stroom aan edge-data moeten verwerken.

Neuromorfische architectuur

Daarbovenop sluit de architectuur van deze neurale processor goed aan op eenvoudige toepassingen. “We hebben zelfs al het eerste robuuste presence sensing-systeem gebouwd dat een 60 GHz radar-sensor combineert met onze neuromorfische AI”, vertelt Kumar. Die radar-sensor laat een patroon zien in de data als er een mens is, en dat pikt de T1 gelijk op. Wat het níét oppikt, zijn fladderende vogels of blaadjes, iets wat met normale compute-mogelijkheden wel veel energie kost. Het niet hoeven wegfilteren van false positives is op zichzelf al een enorme compute-winst. Kumar stelt dat neuromorfische chips hun nut hiermee al bewezen hebben. In de toekomst voorziet hij een slimme deurbel die alleen de camera aanzet als er daadwerkelijk iemand is. De tekenen van menselijke aanwezigheid zijn door een T1 zonder problemen te detecteren.

Overigens bevat een T1 SNP nog wel wat gebruikelijke onderdelen. Zo bevat elke chip nog steeds een ‘ultra low power CPU’ die als een verkeersregelaar geldt voor het dataverkeer. Ook zijn er spike encoders en decoders nodig om de verschillende neuron-pieken (de ‘spikes’ in de ‘spiking neural processor’) te onderscheiden van elkaar. Het kan bepalen welke constellatie van neuronen bijvoorbeeld betekent dat er een mens aanwezig is, of een hartritme onregelmatig wordt.

Topje van de ijsberg

Toegegeven, de detectie van audio en menselijke aanwezigheid zijn ietwat minder imposant dan waar menselijke hersenen toe in staat zijn. Een T1 met meer dan een milliwatt en 500 neuronen tot zijn beschikking zou wellicht tot verbluffende zaken in staat zijn. Wie weet wat er mogelijk is met een neuromorfische chip op dezelfde 20W als een menselijk brein?

“We zien slechts het topje van de ijsberg als het om neuromorphic computing gaat”, vertelt Kumar. Deze tak van sport blinkt namelijk ook uit in predictive analytics, het isoleren van geluid en zelfs het hertrainen van het eigen gedrag. Momenteel bevinden AI-spelers zich in een paradigma van een vooraf getraind model dat ze loslaten op de wereld. De volgende stap, zo schetst de Innatera-CEO, is om AI te laten leren in de praktijk.

Desondanks zal neuromorfische AI op menselijk denkniveau nog even op zich laten wachten. De mens weet nog steeds niet hoe hun hersenen exact werken. Kumar: “Regelmatig imiteren we natuurlijke principes op het niveau van wormen of insecten.” Met andere woorden: men zit op dezelfde denkweg als liquid neural networks, een potentiële uitdager of zelfs opvolger van de huidige transformer-gebaseerde AI-modellen. Toch is de potentie enorm, weet Kumar, want organismen lijken grofweg op dezelfde manier te denken. Neuronen met pieken hebben dus evolutionair gewonnen. Het is geen gekke gedachte dat dit net zo goed zal gelden voor computers als voor dieren.

Weinig geld (nodig)

We zijn ook benieuwd naar Innatera’s specifieke werkwijze. Immers is neuromorphic computing groter dan één bedrijf. De TU Delft-spinoff blijkt op veel manieren juist heel traditioneel. Zo is het verre van de eerste startup in de chipsector die uit een academische setting is ontstaan. Ook heeft het al sinds de TU Delft-tijd innige banden met het Belgische imec en de Taiwanese chipmaker TSMC. Laatstgenoemde bedient zowel de groten der aarde (Apple, Nvidia) als beginnende academici, zo illustreert Kumar. Zijn team was dus al na de spinoff in 2018 gewend om op TSMC’s productielijnen een tape-out te doen (lees: een chip te laten maken).

Zelfs na zes generaties bevinden Innatera’s chips zich op het 28 nanometer-procedé van TSMC. Voor wat historische context: de krachtigste AMD-GPU uit 2011 maakte hier gebruik van. Inmiddels bevinden de grotere spelers zich op 5/4/3 nanometer wegens de extra prestaties die het steeds dichter naast elkaar plaatsen van transistoren toestaan. Voorheen zou een bedrijf als Innatera te maken hebben met autofabrikanten die eenvoudige chips op grote schaal vereisen, maar zelfs die partijen zijn opgeschoven tot de nieuwste nodes. In tegenstelling tot die productielijnen is 28 nanometer een zogeheten ‘mature node’, waarvan de efficiëntie torenhoog is en de toepassingen relatief eenvoudig.

Althans, afgezien van een speler als Innatera. TSMC blijkt nog steeds te leren van de innovaties en nieuwe vragen die de startup opwerpt. Het heeft duidelijk een indruk achtergelaten, want tijdens een officiële presentatie medio 2024 haalde de Taiwanese chipreus neuromorphic computing zelfs aan als een unieke, tot de verbeelding sprekende toepassing. Innatera presteert er beter door op 28 nanometer dan concurrenten op kleinere processen.

28nm kent het voordeel dat het relatief goedkoop is. Dat is maar goed ook: de opgehaalde bedragen van Innatera zijn immers niet al te indrukwekkend. In totaal verzekerde het bedrijf zich in 2024 van bijna 20 miljoen euro. Kumar heeft hier een duidelijke uitleg voor. “Wat ons onderscheidt in de chipindustrie is dat Amerikaanse bedrijven 100 tot 200 miljoen dollar inzetten om een eerste chip in de handen van klanten te krijgen. Dat deden wij al met 5 miljoen euro dat werd opgehaald in 2020.” Kortom: efficiëntie reikt verder alleen compute, ook de boekhouding doet mee.

Europese kracht

Ten slotte schenken we nog even aandacht aan de specifiek Europese aard van Innatera. De innovatie die het bedrijf heeft gecreëerd, had niet of elders plaatsgevonden als TU Delft niet een grote aantrekkingskracht kent voor internationale studenten en expertise. Kumar benadrukt dat deeptech-investeringen in Europa dan ook moeten leunen op deze kracht: het uitvinden en innoveren. “Productie is leuk om te hebben”, zo vertelt hij, “maar er moet vooral een IP-ecosysteem zijn”. Daarvoor heeft Europa al lang en breed een basis gelegd en daar kan het op voortborduren. En ook al wil TSMC vooralsnog alleen chipfabrieken voor oudere nodes in Europa bouwen, lijkt dat een minder groot obstakel dan sommigen denken.

Er resten zeker nog vragen. Zelfs als Innatera’s aanpak de juiste is, achten we het waarschijnlijk dat de ingezetenen (Nvidia, Apple, AMD, Intel, et cetera) het kapitaal hebben om neuromorphic computing gewoonweg te integreren in hun toekomstige producten. Momenteel ligt de nadruk al sterk op de energiekosten van AI. Zodra het stroomverbruik van edge-apparatuur echt een probleem wordt, staan de grote chipbedrijven vermoedelijk klaar met een oplossing. Toch kan Innatera profiteren van het welbekende ‘first mover’-voordeel als klanten nu al de voordelen van neuromorphic computing inzien. Makers van slimme sensoren zullen het komende jaar massal geproduceerde T1’s kunnen bestellen. Een dergelijke TSMC-bestelling plaatst Innatera niet zomaar. Alles daarna kan zich snel ontwikkelen.