Een grote variëteit aan AI-pc’s is inmiddels beschikbaar. OEM’s als Lenovo, Acer, ASUS en HP bieden veelal laptops aan met Intel-, Qualcomm- of AMD-chips. Maar waarom is de desktop buiten schot gebleven? Dat heeft vrij logische redenen.
Binnen een paar dagen ziet alweer de tweede generatie aan AI-pc’s met Intel-chips het levenslicht. Lunar Lake is de architectuur achter de Intel Core Ultra 200V-laptops die vanaf 24 september te koop zijn. Aan boord zit de NPU 4 met 48 AI TOPS, een specificatie die Intel ongeveer op gelijke hoogte brengt als Qualcomm met de Snapdragon X-processoren en AMD met Ryzen AI. Een speciaal team was binnen Intel opgestart om deze inhaalslag te voltooien. De dreiging van de concurrentie was te groot om niet een grote prestatiesprong te maken.
Binnenkort krijgen we ook meer details te horen over Arrow Lake, de architectuur van Intel die tevens op desktops zal belanden. Voor het eerst gaat een desktop-pc een NPU draaien, hoewel dat imposanter klinkt dan werkelijk het geval is. Maanden geleden druppelde al naar buiten dat het hier niet zal gaan om een “AI powerhouse“, verwijzend naar de 13 AI TOPS die de NPU aan boord van de nieuwe chip zou gaan krijgen. Echter is dat totaal niet relevant, als Microsoft ten minste meewerkt.
Het Copilot+-probleem
De term “AI-pc” is het afgelopen jaar duizelingwekkend vaak genoemd door vertegenwoordigers van laptopbouwers en chipfabrikanten. Het staat in schril contrast met het relatief bescheiden aantal mogelijkheden op deze computers. Een AI-pc kreeg in mei eindelijk wat meer definitie toen Microsoft het Copilot+-label uitrolde. Een échte AI-pc was volgens Microsoft voorzien van een NPU met minimaal 40 TOPS. Nog altijd stelt het bedrijf dat Paint Cocreator of Windows Studio Effects wellicht niet naar behoren (of totaal niet) werken zonder een dergelijke NPU.
De eerste generatie AI-pc’s vanuit Intel werd op voorhand gediskwalificeerd voor het Copilot+-label, aangezien het met een armetierige 11,5 TOPS vanuit de NPU op de proppen kwam. Als je de CPU, GPU en NPU samen aan het werk stelde, werden er 38 TOPS gekweekt.
TOPS, ofwel een biljoen berekeningen per seconde, is een arbitrair getal. Copilot+ kende 40 TOPS vanuit de NPU vooral als een ondergrens voor genoeg AI-rekenkracht voor relatief basale features zonder de accu binnen korte tijd leeg te plunderen. De features in kwestie zijn onder meer de Copilot-chatbot, het genereren van AI-afbeeldingen in Paint en Windows Recall, dat binnenkort geïntroduceerd wordt.
Dit Copilot+-label was geenszins bedoeld als een teken van AI-spierballen: voor imposantere berekeningen grijpt ook een AI-pc immers naar de GPU, dat bij Lunar Lake bijvoorbeeld 67 TOPS levert. Hoe dan ook is de NPU binnen de nieuwste laptopchips van AMD, Qualcomm en Intel voldoende voor de bescheiden eisen die Microsoft stelt voor Copilot+. Het garandeert een betere accuduur dan het geval was geweest als er enkel een CPU en GPU aanwezig waren.
Waar hebben we het over?
Op desktops gaat dit verhaal niet op. Door de sedentaire, aangesloten aard van een desktop-pc is efficiëntie een veel minder belangrijk begrip. Het is voor de stroomrekening fijn om niet onnodig veel stroom te snoepen, maar de voordelen zijn doorgaans marginaal. Het overstappen naar een nieuwe desktop-computer vindt overwegend plaats vanwege prestatiewinsten en/of het einde van de support-periode, zoals zal gelden voor de miljoenen pc’s die de securityfeatures van Windows 11 niet ondersteunen en de aanstaande sterfdatum van Windows 10 tegemoet zien.
Plug echter een enigszins competente GPU van de afgelopen jaren in de PCIe-slot van een computer, en je maakt zelfs van een decennium oud apparaat een AI-pc. En in principe kan elke GPU dezelfde taken verrichten als een NPU. Dat verloopt weliswaar minder efficiënt, maar is wel vele malen sneller als de paardenkracht aanwezig is.
Ter vergelijking: de NPU’s bedoeld voor Copilot+ hebben tussen de 40 en 48 TOPS, terwijl een instapper-GPU van Nvidia al 100 TOPS biedt. De RTX 4090, momenteel de krachtigste GPU die zomaar te bestellen is als consument, ondersteunt het ronduit absurde aantal van 1300 TOPS. Met wat kunst-en-vliegwerk draai je dus op die chip 32 keer de soort AI-workload waar een “AI-pc” nog net niet onder bezwijkt.
Net zo belangrijk is dat zwaardere AI-taken überhaupt lokaal mogelijk zijn met de juiste hardware. Een LLM op een AI-pc draaien vergt significante compromissen, waardoor de accuratesse van de AI-output verzwakt. Feitelijk gaat het hier om “quantization”, ofwel het versimpelen van de formules achter het AI-model om binnen het systeemgeheugen te passen. Dit hoeft in veel mindere mate op sterkere hardware.
Kunstmatige eis
We hopen dat Microsoft op den duur het Copilot+-label laat voor wat het is. De keuze hiervoor is marketingtechnisch wellicht aantrekkelijk, maar bovenal een schop onder de kont van de chipmakers om aan een harde eis te voldoen. Nu Intel, Qualcomm en AMD hieraan voldoen, is het tijd om verder te kijken. Op desktops is een kunstmatige eis om een NPU te hebben met minimaal 40 TOPS volslagen onzinnig. Het zou logisch zijn als die 40 TOPS voor de GPU als eis overeind blijft, maar dat is een ontzettend lage drempel. Zelfs de iGPU’s in nieuwere AMD- en Intel-chips voldoen hieraan, terwijl dit minder dan twee jaar geleden nog niet het geval was. De desktopwereld is dus overduidelijk klaar om mee te doen aan de AI-pc-trend, het vergt alleen de groene vinkjes binnen Windows en andere software om het toe te staan.
Lees ook: “Iedere organisatie kan iets met een AI-pc”, maar wat precies?