Hoe mobile AI werkt

De discussie over AI op mobiele apparaten zal nog lang doordenderen. Mobile World Congress 2024 ligt net achter ons, het is daarom nu een goed moment om een diepere duik te nemen hoe mobile AI werkt. Waar heeft het invloed op bij het gebruik door bedrijven (en consumenten)? En hoe verandert het daadwerkelijk de manier waarop we ons leven leiden?

Andrea Mirabile, Global Director of AI Research bij Zebra Technologies denkt dat AI op mobiele apparatuur nog veel vooruitgang vereist. Pas na langere tijd zal het echt intelligente interacties mogelijk maken en de gebruikerservaring verbeteren. Dit geldt voor zowel hardware- als softwarecomponenten van het mobiele ecosysteem.

“Een cruciaal aspect is het integratiepunt van AI met mobiele besturingssystemen. Het diep inbedden van AI-mogelijkheden in iOS en Android maakt interactie mogelijk tussen AI-agenten en services op systeemniveau. Daarnaast is het standaardiseren van protocollen en interfaces voor AI-agenten om te communiceren met diensten en apps van derden essentieel voor soepele interacties. Deze standaardisatie kan inhouden dat er industriebrede normen worden aangenomen. Denk hierbij aan standaardisering van gegevensuitwisseling, communicatieprotocollen of beveiligingsmechanismen,” aldus Mirabile.

Hij herinnert ons eraan dat, omdat AI-agenten het potentieel hebben om interacties aan te gaan met allerlei diensten en apps, het waarborgen van privacy van het grootste belang is. Robuuste maatregelen zoals data-encryptie, anonimiseringstechnieken en permissies voor gebruikers zijn cruciaal voor het beschermen van gevoelige informatie. Bovendien, zegt hij, moeten mobile AI-systemen voldoen aan strenge beveiligingsprotocollen. Alleen dan kunnen ze ongeautoriseerde toegang en kwaadaardige aanvallen voorkomen. Dit omvat maatregelen zoals veilige authenticatie, veilige communicatiekanalen en regelmatige security-updates.

Het evolutionaire pad van apparaten

“In het verleden vertrouwden mobiele telefoons op fysieke toetsenborden. Daarna maakte de iPhone touchscreen interfaces populair, wat leidde tot prettige ervaringen met functies zoals multi-touch en virtuele toetsenborden,” legt Mirabile uit, nadenkend over de veranderende rol van wat we in het verleden gewoon onze ’telefoons’ noemden.

“Voortbouwend op de vooruitgang in touch interfaces, kunnen toekomstige mobiele apparaten zich richten op spraakinteracties, met slanke ontwerpen en navigatie voornamelijk via spraakopdrachten. Deze hardware zou zich bewust zijn van de context, de voorkeuren, gewoonten en omgeving van de gebruiker. Apparaten dienen dit te begrijpen om gepersonaliseerde en relevante antwoorden te geven en te helpen met taken, informatie te verstrekken en interacties met andere apparaten en diensten te coördineren”, voegde hij eraan toe.

Gelukkig (of in ieder geval zijn er signalen uit de industrie dat we dankbaar moeten zijn) geven de AI-gemeenschap en de industrie steeds meer prioriteit aan de ontwikkeling van security-functies in virtuele assistenten. Daarnaast zorgen ze ervoor dat ethische richtlijnen worden nageleefd, terwijl de privacy van gebruikers wordt gerespecteerd en potentiële risico’s zoals verkeerde informatie of schadelijke suggesties worden beperkt.

Modelarchitectuur is belangrijk

Mobiele apparaten zijn natuurlijk sterk geëvolueerd sinds het debuut van de eerste generatie iPhone, maar ze missen nog steeds de rekenkracht die nodig is om de huidige Large Language Models (LLM’s) volledig te benutten. De sleutel tot het ontsluiten van het potentieel van mobile en edge AI ligt niet in pure rekenkracht, maar in een strategische benadering van modelarchitectuur, gegevensbeheer en het benutten van de eigen rekencapaciteiten van een apparaat. Dit is de mening van Rahul Pradhan, VP product en strategie voor AI, ML & data bij Couchbase.

“Echte mobile AI kan niet alleen afhankelijk zijn van cloudgebaseerde oplossingen. Dit is niet alleen een kwestie van connectiviteit, maar ook van efficiëntie, snelheid en dataprivacy. AIles afhankelijk is van het verzenden van data naar een centrale server kan niet real-time reageren. Latency introduceert vertragingen die de betrouwbaarheid van AI-inzichten in gevaar brengen. Dan zwijgen we nog over de bandbreedtekosten die gepaard gaan met constante gegevensoverdracht,” aldus Pradhan.

Hardware-resources verminderen

“Cloudservers zijn het meest geschikt voor high-computationele taken, zoals het trainen van deep learning-modellen en het opdienen van LLM’s. Omgekeerd worden taken die directe interactie tussen de AI en gebruikers vereisen, samen met andere processen voor machine learning, efficiënter afgehandeld op de hardware zelf, oftewel: ‘op de edge’. Deze aanpak verbetert de prestaties. Ook waarborgt dit tegelijkertijd de privacy van de gebruiker door de gegevensoverdracht tot een minimum te beperken.”

Pradhan legt verder uit dat het verminderen van de vereiste hardware-resources een apparaat een andere kritieke stap is. Technieken zoals ‘quantisation’, die AI-modellen vereenvoudigen door de precisie van hun berekeningen te verminderen, zijn essentieel voor het behouden van prestaties zonder afbreuk te doen aan de functionaliteit.

Innovaties zoals GPTQ (een PTQ-methode (post-training quantization) voor 4-bits quantisatie die zich voornamelijk richt op GPU-inferencing en -prestaties), waarmee modellen na de training worden gecomprimeerd; LoRA, waarmee kleinere matrices binnen een voorgetraind model worden verfijnd; en QLoRA, waarmee het GPU-geheugengebruik wordt geoptimaliseerd voor meer efficiëntie, vertegenwoordigen opties die zijn afgestemd op specifieke toepassingsbehoeften. Uiteindelijk moet AI simpelweg passen binnen het RAM-budget, dat op smartphones veelal neerkomt op 4, 6, 8 of 12 GB. Dat is een grote uitdaging, aangezien de grootste modellen van nu talloze gigabytes aan GPU-geheugen vereisen.

Lees ook: Apple laat zien hoe LLM’s op smartphones kunnen draaien

Privacy, beveiliging en gegevenssynchronisatie

“Andere belangrijke factoren voor mobile AI zijn dataprivacy, -beveiliging en -synchronisatie. Het implementeren van sterke data-encryptie en privacy-gerichte technieken zorgt ervoor dat gebruikersdata worden beschermd. Dat versterkt een van de belangrijkste voordelen van het lokaal verwerken van gegevens. Ondertussen zorgen mechanismen om gegevens te synchroniseren tussen edge en de cloud of centrale servers voor data-integriteit en -consistentie in het hele netwerk,” verduidelijkt Pradhan.

Hij pleit voor een uniform platform dat in staat is om verschillende datatypes te beheren. Ook zou dat AI-modellen in staat stellen om toegang te krijgen tot en te communiceren met lokale datastores, zowel online als offline, iets dat geldt als een belangrijk voordeel. Couchbase praat graag over ‘unified data platform’-technologie in relatie tot zijn vermogen om dit te bieden, maar dat is niet al te verrassend.

Pradhan evangeliseert rond deze aanpak en zegt dat het niet alleen de prestaties verbetert, maar ook de gebruikerservaring verbetert. Dit dient ervoor te zorgen dat AI-applicaties responsief en betrouwbaar zijn en in verschillende omgevingen kunnen werken.

Tot slot minimaliseert de beste architectuur voor mobile AI – en uiteindelijk elke vorm van AI – de complexiteit. Hoe eenvoudiger de architectuur, hoe meer kracht er aan de AI zelf kan worden besteed – vooral belangrijk in een mobiele omgeving.

Zorgen over de veiligheid van mobile AI?

Als we kijken naar de veiligheid van mobile AI, is het grootste punt van zorg de securitymiddelen tegen hackers. Zullen we op het punt komen dat we virtuele assistenten onze gegevens, onze bewegingen of zelfs onze diepste, donkerste gedachten toevertrouwen? Het is nu nog relatief eenvoudig om te weten wanneer een oplichter tegen je praat bijvoorbeeld: je kunt het mogelijk zien aan hun toon en maniertjes. In de toekomst, wanneer we met machines praten, zullen ze letterlijk allemaal hetzelfde klinken.

“Mensen zullen denken dat ze met een stemassistent praten, maar het kan ook een hacker zijn die deze bestuurt”, waarschuwt Hakim Akayour, Head of Revenue Assurance bij Sagacity. “Dit kan enorme commerciële gevolgen hebben voor een organisatie als zo’n inbreuk plaatsvindt, dus we zien dat bedrijven miljarden pompen in security. Als dat vertrouwen namelijk wordt geschonden, is het heel moeilijk om dat te herstellen. Niets is echter bulletproof. De verschillende aanrakingspunten en API’s waarmee een virtual machine moet communiceren, zullen veel mazen in de wet creëren die bijna onmogelijk te omzeilen zijn.”

Stijgende klantverwachtingen volgen

Het Sagacity-team suggereert dat we keer op keer hebben gezien dat als er eenmaal een standaard is ingesteld, de verwachtingen van de klant stijgen en iedereen moet volgen. Het ligt dus voor de hand dat spraak- en conversatieachtige interacties gemeengoed zullen worden in apps, waarbij zoeken en spreken samensmelten tot één geheel.

“Neem Alexa als voorbeeld. Als ik meer batterijen nodig heb, kan ik tegenwoordig gewoon ‘Alexa, bestel batterijen’ zeggen. Ik specificeer niet welk merk, maar we hebben onlangs gezien dat Amazon zijn eigen assortiment batterijen creëert waar het standaard naar zal verwijzen. Spraakassistenten gebruiken machine learning om te identificeren welke ‘merkloze’ producten – d.w.z. producten waarbij mensen gewoon naar het artikel zoeken – populair zijn en kunnen er dan voor zorgen dat ze producten verkopen via hun eigen toeleveringsketens en een hoop markup toevoegen,” voegde Akayour toe.

AWS: het uitzicht vanuit de (mobiele) cloud

Voor de telco-industrie ziet AWS generatieve AI en machine learning een centrale rol spelen in het verhogen van de operationele efficiëntie en bedrijfsprestaties. Ook zou het moeten helpen met het verbeteren van de klantervaring en het stimuleren van innovatieve nieuwe aanbiedingen. Sameer Vuyyuru, die de bedrijfsontwikkeling voor de telecomsector bij AWS in goede banen moet leiden, zegt dat generatieve AI, net als andere industrieën, telco’s kan helpen de efficiëntie op veel vlakken te verbeteren. Denk bijvoorbeeld aan het invullen van RFP’s, het inzetten van chatbots om te helpen bij de verkoop en het personaliseren van marketing op schaal.

Het telco-team van AWS verwacht een enorme groei op dit gebied. Het bedrijf voorspelt dat tegen 2026 95 procent van alle telco’s data, analytics en AI-initiatieven zullen inzetten om hun klantervaring te verbeteren en hun productplanning te verbeteren. Dit tegenover 50 procent in 2022, volgens het magische analistenhuis Gartner.

Er zijn echter een paar branchespecifieke toepassingen waarvan AWS denkt dat ze echt transformerend zullen zijn.

“Veel telco’s maken al gebruik van AI om menselijke interacties te vergroten en de consistentie van de ervaring en de oplossingssnelheid te verbeteren. Generatieve AI kan deze activiteiten een stap verder brengen, met interactieve voice response. Dit is in feite een evolutie van vroege chatbots-implementaties, die al klanten hielpen problemen op te lossen of antwoorden te krijgen op vragen. Daarnaast kan generatieve AI helpen bij het analyseren van real-time gespreksdiscussies om agenten aanwijzingen en hulpmiddelen te geven die vragen van klanten helpen oplossen. Klantenservicemedewerkers zullen een belangrijke rol spelen in dit proces, maar we geloven dat generatieve AI elke klantervaring en -toepassing opnieuw kan uitvinden en verbeteren,” aldus Vuyyuru.

De AWS-telco-directeur vervolgt hier zijn strategische draad en suggereert dat generatieve AI ook een sleutelrol kan spelen in alle aspecten van de netwerklevenscyclus.

Mobile AI op infrastructuurniveau

“Tijdens de installatie van netwerkelementen vertrouwen ingenieurs op handleidingen en gedocumenteerde processen. Generatieve AI kan deze gegevens opnemen en interactieve begeleiding en aanwijzingen bieden om installatietaken te versnellen en te vereenvoudigen. Foundation models kunnen ook worden getraind op netwerktopologie en configuratiegegevens om suggesties te doen voor de configuratie van netwerkelementen. Wanneer er een netwerkstoring optreedt, kunnen generatieve AI-gebaseerde toepassingen probleemoplossende acties en procedures aanbevelen aan netwerkbeheerders,” merkt Vuyyuru op.

Tot slot zegt AWS dat generatieve AI telco’s kan helpen om eenvoudiger gebieden te identificeren waar ze inkomsten mislopen of onnodig uitgaven hebben. In bedrijfsprocessen kan generatieve AI winst, inkomsten, verschillende consumentenplannen, uitgaven en klantkosten onderzoeken. Dit maakt het mogelijk aanbevelingen te doen over hoe het aanbod kan worden aangepast om de winst te optimaliseren.

Dit alles laat de complexiteit zien rondom de vraag: “hoe werkt mobile AI?” Het antwoord hangt af van het feit of we de vraag stellen vanuit een infrastructuurperspectief, vanuit een netwerk- en integratieperspectief, vanuit het oogpunt van applicatiefunctionaliteit of zelfs vanuit een visie gericht op gebruikerservaring. In de meeste gevallen moeten we alle factoren samenbrengen om een echt robuust en afgerond antwoord te krijgen. Als we willen weten welke innovaties tegen het einde van dit decennium een impact zullen hebben op mobile AI, hoeven we ook niet lang te wachten. Met andere woorden: even geduld nog.

Afbeelding: Adrian Bridgwater