Qualcomm heeft de AI-startup Edge Impulse overgenomen. De startup biedt onder andere een AI-platform voor het trainen van LLM’s voor edge devices. Ook biedt het ondersteuning voor de Qualcomm Dragonwing-processors.
Het recent door Qualcomm overgenomen Edge Impulse biedt specifiek een cloudgebaseerd platform waarmee eindgebruikers LLM’s kunnen trainen die draaien op (IoT- of IIoT-)devices aan de rand van het (bedrijfs)netwerk, bijvoorbeeld in industriële omgevingen.
Deze specifieke LLM’s worden vaak getraind op (meet)gegevens die afkomstig zijn van sensoren in het netwerk. Het Edge Impulse-cloudplatform helpt deze data te transformeren, zodat ze in trainingssets voor LLM’s kunnen worden gebruikt.
Daarnaast helpt specifieke tooling bij het maken van datapipelines voor het automatiseren van workflows, met name workflows die sensordata samenvoegen tot een dataset voor het trainen van het model. Denk aan het filteren, dedupliceren en verwijderen van foutieve records.
Overige platformmogelijkheden
Het platform biedt ook tools voor feature engineering. Dit houdt in dat ruwe sensordata wordt gecondenseerd tot een format dat makkelijker door LLM’s kan worden verwerkt. Bijvoorbeeld het samenvoegen van een verzameling temperatuurmeetgegevens in een enkele waarde die eenvoudiger te analyseren is.
Het Edge Impulse-platform helpt verder met het identificeren van het juiste LLM voor een specifiek project, nadat een trainingsdataset is aangemaakt.
Ook helpt het platform, vanwege de beperkte verwerkingscapaciteit van edge devices, bij het vaststellen van de juiste hardwarevereisten voor verschillende AI-architecturen. Op deze manier wordt het voor bedrijven eenvoudiger om de juiste LLM’s te selecteren die op hun edge devices kunnen draaien.
Onder de motorkap wordt een in Edge Impulse getraind LLM-algoritme verpakt in een C++-library in plaats van bijvoorbeeld Python. Dit is omdat de ‘oude’ programmeertaal meer hardware-efficiëntie biedt. Uiteindelijk zou hiermee het geheugengebruik van een LLM met 60 procent kunnen worden teruggebracht, stelt Edge Impulse.
Inmiddels zouden wereldwijd al meer dan 170.000 ontwikkelaars het platform gebruiken.
Brick ML-device
Naast het cloudgebaseerde softwareplatform biedt Edge Impulse ook een specifiek edge device: de Brick ML. Deze compacte rechthoekige rekenmodule is speciaal ontworpen voor het draaien van LLM’s. Het device kan in edge-omgevingen aan apparatuur worden gekoppeld, sensordata verzamelen en deze lokaal analyseren met de onboard LLM’s.
Steun voor Qualcomm Dragonwing-processors
Voor Qualcomm zelf biedt de overname van Edge Impulse nieuwe mogelijkheden, zoals voor de recent gelanceerde reeks Dragonwing-processors voor edge devices. Binnen deze reeks bevinden zich GPU’s voor het draaien van LLM’s, evenals processors die bij extreem lage temperaturen kunnen opereren.
Edge Impulse ondersteunt inmiddels de Qualcomm Dragonwing-processors QCS6490 en QCS5430. Beide processors zijn geschikt voor robuuste mobiele devices. De laatste Dragonwing-processor is daarnaast ook geschikt voor robotics-oplossingen en -toepassingen.
De AI-startup wil later meer Qualcomm Dragonwing-processors gaan ondersteunen. Ook is het van plan edge-hardware van andere partners te ondersteunen, zoals MCU’s, CPU’s, GPU’s en NPU’s.
Over de overname zijn geen financiële details bekendgemaakt.
Lees ook: Qualcomm rekt levensduur van Snapdragon 8 Elite op: acht jaar aan steun