Tijdens het jaarlijkse Computex te Taipei heeft Intel groot uitgepakt met het debuut van Lunar Lake. Deze generatie laptopchips voldoet in tegenstelling tot haar voorganger wél aan Microsofts eisen voor de AI-pc. Hoeveel is dat anno 2024 waard? Is Lunar Lake een stap richting een onmisbare AI-pc?
Intel weet dondersgoed waar elke techjournalist tijdens de Intel Tech Tour Taiwan aan denkt: Copilot+ en Microsofts ‘volwaardige’ AI-pc uitgerust met een Qualcomm Snapdragon X Elite. De recente aankondigingen omtrent deze producten zijn al een tweede schop onder de kont van Intel geweest in een paar maanden tijd. Vanuit hetzelfde Microsoft-adres werd al duidelijk dat de eisen voor een échte AI-pc een tikkeltje hoger waren dan waar ‘Chipzilla’ aan dacht met Meteor Lake.
Meteor Lake, de naam voor de architectuur achter de eerste Intel Core Ultra-chips van eind vorig jaar, omschreven we dan ook met klem als de belofte van de gepersonaliseerde AI-pc. Een computer die alles over je wil, kan en mag weten, waarbij je als gebruiker op je wenken wordt bediend door een AI-assistent die exact weet welke muisbeweging, sneltoets en applicatie je in gedachten had. Intel stipt aan dat er al 8 miljoen Meteor Lake-laptops op de markt zijn onder de naam Core Ultra, hoewel de daadwerkelijke AI-competenties van een twijfelachtige aard zijn. De magische grens van 40 TOPS (’trillions of operations per second’) die Microsoft heeft gesteld wordt zelfs bij het bundelen van CPU, GPU en NPU niet bereikt.
Beloftes zijn er om in te lossen
Van de beloftes omtrent de AI-pc is er überhaupt vooralsnog weinig ingelost. Zelfs Intel lijkt dat door te hebben. Bij monde van Rob Bruckner, CVP en CTO, Platform Engineering Group, zitten we volgens Intel slechts middenin de eerste AI-golf. Die eerste golf werd gedefinieerd door een processorfamilie die vooral op een ‘slimme’ manier energiezuiniger was dan ooit. De daadwerkelijke AI-vaardigheden beperkten zich tot workloads als ruisvermindering voor audio en het upscalen van webcambeelden, beide bijvoorbeeld toegepast in Zoom.
Dit alles bood simpelweg niet de AI-revolutie die veelal gesuggereerd werd. Die suggesties kwamen overigens voornamelijk vanuit OEM’s als HP en Dell die de rampzalige verkoopcijfers van 2022 en 2023 vaarwel wilden zeggen, niet de chipmakers zelf. Intel was en is juist vrij nuchter over het feit dat het nog echt vroeg is in de ontwikkeling van de AI-pc. Uiteindelijk bereiken we een punt dat we het simpelweg weer over de pc hebben, dus zonder AI-voorvoegsel.
Momenteel is het benadrukken van AI echter belangrijk, met name omdat het nog volop in ontwikkeling is. Zo belooft Bruckner dat we van de tweede AI-golf veel meer mogen verwachten. In samenhang met Copilot+ biedt deze fase van ontwikkeling voor het eerst volwaardige AI-assistenten en nieuwe mogelijkheden tot echte samenwerking met AI-tools voor creatie. Dat kan soms ietwat griezelige privacy-gevolgen hebben zoals met de Recall-feature in Copilot+, maar de praktijk moet laten blijken of consumenten daar wel zo mee zitten. Vooralsnog lijken vooral Noordwest-Europeanen irritante vragen te stellen over wat dit allemaal betekent voor de dataprivacy van eindgebruikers.
Tip: Onbekommerd Windows-gebruik voorbij nu Recall alles opslaat wat je doet op je pc
De Lunar Lake-propositie
Met Lunar Lake pocht Intel concreet over 120 TOPS waarvan 48 voor de NPU, een schepje bovenop de 45 van de Snapdragon X Elite die met Copilot+ wordt geïntroduceerd. In totaal zijn er 120 van deze TOPS te vinden bij Lunar Lake, en wel vanuit de optelsom van GPU (67), NPU (48) en CPU (5). Na forse kritiek te hebben gekregen op Meteor Lake’s halfbakken specs voor AI-workloads representeren deze getallen een broodnodige stap voor Intel om competitief te blijven.
Qua P-cores is de algemene verbetering ten opzichte van Meteor Lake 14 procent. De Skymont E-cores overtreffen de voorganger echter met soms 38 procent, maar soms ook 68 procent betere cijfers. Toch legt Intel opnieuw de nadruk op efficiëntie: dezelfde prestaties op de CPU kosten nu de helft van het stroomverbruik van Meteor Lake.
De NPU heeft dus een absurd grote generationele winst behaald. Het is van net boven de 10 TOPS in één klap gelijk naar 48 gegaan. Bijzonder knap, maar dat is volgens Senior Director of Technical Marketing Robert Hallock niet voor herhaling vatbaar. De NPU, ingeburgerd op client-chips vanuit de embedded IoT-wereld, is met deze vierde generatie snel genoeg geworden voor de meeste efficiënte AI-achtergrondtaken (NPU 3 zat in Meteor Lake). Verdere TOPS-verhogingen zou je veel eerder bij de GPU mogen verwachten, waar het eerder gaat om topprestaties dan structurele workloads. Met andere woorden: de NPU kan continu AI-correcties in Word-teksten leveren, terwijl de GPU aangewakkerd wordt als je een reusachtig Excel-bestand wil omzetten in een complexe grafiek. Op die manier lijkt de 40 TOPS van Microsoft niet meer een arbitraire keuze: het lijkt momenteel de sweet spot te zijn voor voldoende prestaties met hoge efficiëntie.
x86 is nog niet dood
Daarbij valt de term ‘x86’ opvallend vaak. Lunar Lake maakt “eindelijk een einde aan de mythe dat x86 minder efficiënt is dan Arm,” aldus Michelle Johnston Holthaus, , EVP en GM, Client Computing Group. We leggen dit later aan Intel-fellow Tom Petersen uit als een claim dat x86 niet op sterven na dood is. Hij schrikt wat van de verwoording, maar benadrukt dat we nog helemaal niet weten of AI om een specifieke ISA (Industry Standard Architecture) gaat vragen. “AI gebeurt momenteel eigenlijk een laag boven de ISA en zit in je gehele stack.”
Aan die afhankelijkheid van cloud computing moet een einde komen, en niet omdat dat nou zo prettig is voor gebruikers. On-device AI voor praktisch alle inferencing is onvermijdelijk, zegt Petersen. De energiekosten voor het draaien van de cloud zijn op termijn zelfs voor AWS, Microsoft en Google niet uit te leggen. Voor het trainen van foundation models wellicht wel, dat vereist simpelweg de krachtigste AI-hardware die beschikbaar is. “De echte vraag is waar inferencing [op den duur] gaat plaatsvinden,” aldus Petersen.
“Mijn assertie is dat er een onophoudelijke economische motivatie is om [AI] naar de edge en client te drukken, want geen enkele dienstverlener wil zoveel blijven betalen voor inferencing in de cloud als het ook voor hen gratis kan op de client.” Client móét en zal volgens Petersen genoeg prestaties leveren om AI-inferencing te doen. Dat vraagt niet alleen om snelheid, maar ook om efficiëntie. Niemand wil AI lokaal draaien als je accuduur erdoor rampzalig is.
Krachtige cores
Lunar Lake biedt zowel een nieuw ontwerp performance-core (p-core) als efficiency-core (e-core), bekend onder de namen van respectievelijk Lion Cove en Skymont. Het centrale onderdeel van de architectuur, de compute tile, bevat 4 van deze p-cores en 4 e-cores. Let wel: elke core heeft tegenwoordig één thread, dus hyperthreading is verdwenen. Door hogere core counts zou dit geen probleem moeten zijn voor de prestaties. Aan de single-core vaardigheden zou het Arm-aanbod volgens Johnston Holthaus niet kunnen tippen.
Deze hybride core-architectuur bestaat sinds Alder Lake op desktop uit 2022. Diens functionaliteit rust op een innige band met Microsoft, dat veel sleutelde aan de Windows-scheduler om optimaal van de verschillende cores gebruik te maken. Inmiddels draaien workloads bij voorkeur enkel op de e-cores, totdat de eisen te fors zijn en de p-cores aan bod komen.
Voor de eindgebruiker zou niet te merken zijn qua latency als er geswitcht wordt tussen deze kwartetten aan cores. Als de GPU en NPU hard aan het werk zijn, is het soms zelfs zo dat de e-cores beter presteren onder druk dan de p-cores. Dit ‘weet’ de chip ook door een aanzienlijk verbeterde telemetrie aan boord. Daarom raadt Intel ontwikkelaars af om zogeheten hard affinities in te bouwen in hun software, een mechanisme om de hardware te dwingen om de p-cores aan te spreken. Dat kan zoals gezegd juist averechts werken. Met ‘OS containment‘ zorgen Windows en Intel er tevens voor dat bepaalde workloads niet onnodig naar p-cores switchen. Dit levert een reductie in verbruik binnen Microsoft Teams op van 35 procent. We horen geen andere voorbeelden, maar de boodschap is dat deze aanpak bij alle lichte workloads helpt.
De aanpak van Intel is bij Lunar Lake beduidend anders dan voorheen, ook al is het een doorontwikkeling van Meteor Lake. Zo is er voor het eerst sprake van memory-on-package, dat LPDDR5X in directe verbinding plaatst met de processor. Het is een vergelijkbare keuze als waar Apple vanaf de M1 voor ging. Voor AI, waar de bandbreedte voor geheugen cruciaal is, is dit een logische keuze. Het voorkomt onnodige bottlenecks voor AI-inferencing die de verbeteringen elders teniet zouden hebben gedaan.
Andere, wat meer conventionele, vereisten zijn ook van de partij. Wifi 7 zit in Lunar Lake, met alle voordelen van dien. Daarnaast is er Bluetooth 5.4-support en Thunderbolt 4.
Lees hierover: Wifi 7 speelt sleutelrol voor providers met grote bandbreedtebeloftes
Gretige agressie
Dat is allemaal goed en wel, maar waar gaat Lunar Lake landen? Wordt dit hetzelfde verhaal als Lakefield, Intels eerste hybride chiparchitectuur met de geavanceerde Foveros-packaging? Processoren van die aard verschenen in slechts 2 daadwerkelijke producten. In dit geval zouden we toch zeker circa 80 laptops kunnen anticiperen vanaf Q3 2024. Denk hierbij aan thin-and-lights waar een pittig prijskaartje aan zit. Het zullen dus niche, high-end opties zijn.
Toch is er meer aan de hand. Meteor Lake, dat tevens niet álle eerdere Intel-laptops verving (zo had het een lagere IPC dan voorganger Raptor Lake), was een soortgelijk verhaal. Daarin debuteerden Redwood Cove p-cores en Crestmont e-cores, die inmiddels hun weg naar Intel Xeon 6 gevonden hebben. De nieuwste serverchips lanceren dus op een bewezen architectuur.
Uit de Tech Tour-keynote blijkt een opvallende houding van Intel, te omschrijven als een gretige agressie. In de eeuwige tweestrijd tussen Intel en AMD is geen van beide partijen vies van een potje moddergooien, maar deze keer verwoordt Intel haar concurrentiepositie tegen de meerdere uitdagers uiterst precies. Johnston Holthaus wil eerst maar eens zien of Qualcomm, AMD (en wellicht volgend jaar Nvidia) ook echt een vuist kunnen maken op de markt. “Microsoft heeft Intel nodig om AI op schaal te introduceren,” constateert ze. Lunar Lake voldoet ruimschoots aan de Copilot+ vereisten en zal dus met onder meer Recall verschijnen in het derde kwartaal van dit jaar. Dat Microsoft inmiddels een hernieuwde aandacht voor Arm heeft, doet daar niets aan af.
We zouden graag meer van deze houding zien bij Intel. Het bedrijf is als overweldigend leider qua marktaandeel op laptop en desktop in staat om echte verandering teweeg te brengen in de techindustrie. Dat deed het eerder met ultrabooks, zodat krachtige laptops niet meer logge bakstenen waren maar handzame producten. Nu haalt het de eigen schaal aan als essentiële aanjager voor AI-ontwikkeling. Als er daadwerkelijk een AI-pc-revolutie plaatsvindt, kan dat niet zonder Intel. Dat, meer dan de ijverige concurrentie van Qualcomm, AMD en (mogelijk in 2025) Nvidia, is wat het bedrijf in klare taal uitspreekt deze keer.
Lees ook: Nvidia-concurrenten stimuleren ontwikkeling AI-hardware voor datacenters