Chipsetfabrikant Arm heeft onlangs zijn Ethos U65 AI accelerator op de markt gebracht. In combinatie met de diverse processors van de fabrikant kan deze micro Neural Processing Unit (microNPU) worden ingezet voor het offloaden van complexe AI-workloads in edge-omgevingen.
AI en machine learning worden steeds vaker in edge-omgevingen en op endpoints toegepast. Dit stelt behoorlijke eisen aan de in deze omgevingen gebruikte devices en systeemvereisten. Dus zijn systemen nodig met hogere prestaties en meer on-device mogelijkheden voor machine learning, terwijl de energievoorziening zo efficiënt mogelijk moet zijn.
De komst van microNPU’s moet wat verandering brengen. Om in edge-omgevingen en -devices efficiënt te kunnen blijven werken, kunnen CPU’s de diverse AI en machine workloads naar deze ‘AI-accelerators’ offloaden. Zowel de CPU als de microNPU bevinden zich hierbij op een system-on-chip (SoC).
Introductie Arm Ethos-U65
De nu door Arm uitgebrachte microNPU Ethos-U65 werkt in principe samen met de eigen Arm Cortex-M-, Arm Cortex-A- en Arm Neoverse-chipsets. Deze zijn respectievelijk geschikt voor onder meer microcontrollers, smartphones, laptops en servers. De Ethos-U65 microNPU is vooral geschikt voor hoge resolutie slimme camera’s, smart home-oplossingen en -toepassingen en infrastructuurapplicaties als sensors en controlesystemen voor bandbreedte en energiebeheer.
De nu uitgebrachte microNPU maakt het mogelijk om verschillende soorten neurale netwerken te draaien. Denk hierbij aan convolutional neurale netwerken (voor het analyseren van beelden), recurrent neurale netwerken en lange- en korte termijn geheugennetwerken. Dit soort neurale netwerken worden vooral in computer vision en natural language-netwerken gebruikt. Toepassingen die hierdoor binnen bereik komen, zijn onder meer realtime gezichts-, object- en spraakherkenning.
Technische specificaties
De Ethos-U65 microNPU is een 16-namomenter node. De microNPU kan tot maar liefst 1 biljard aan OPS afhandelen. De Ethos-U65 heeft een intern SRAM-geheugen van 55 tot 104 KB aan boord en kan 256 of 512 multiply-and-accumulate operaties per klokscyclus afhandelen. Dit laatste is belangrijk voor de zogenoemde ‘vector math’ wat de basis vormt voor hedendaagse algoritmes voor neurale netwerken.
Klanten kunnen AI-data van de Arm Ethos-U65 inzien en gebruiken via het TensorFlow Lite Micro-framework van Google. Ook kunnen zij meer kant-en-klare oplossingen gebruiken als Google Inception versie 3 voor objectherkenning of de Wav2Letter-technologie van Facebook voor spraakherkenning. De Arm Ethos-U65 is per direct beschikbaar voor licentiegebruik.
Tip: Waarom de overname van ARM door Nvidia moet worden verboden
6 uur geleden
