Apple ontwikkelde een systeem dat ongebruikte GPU-capaciteit op Macs beschikbaar maakt voor AI-toepassingen. Apple noemt de technologie Minions. Het systeem verdeelt rekenopdrachten over meerdere apparaten die zijn uitgerust met Apple’s eigen chips. Door gebruik te maken van Minions kunnen bedrijven hun hardware beter benutten en zijn ze minder afhankelijk van speciale GPU-servers.
Zes Apple-onderzoekers leggen in een artikel uit hoe ze de rekenkracht van verschillende Macs bundelden tot een virtuele cloud. Uitgangspunt van het project was het feit dat GPU’s in veel Macs tijdens normaal gebruik grotendeels onbenut blijven. Deze vrije capaciteit zouden gebruikers kunnen inzetten voor het uitvoeren van AI-workloads.
Minions identificeert beschikbare rekenkracht en verdeelt opdrachten automatisch over de devices. Het systeem houdt daarbij rekening met het feit dat sommige Macs tijdelijk niet beschikbaar zijn, of op dat moment hun maximale capaciteit benutten.
AI-inferentie zonder extra GPU-servers
Apple richt zich met Minions vooral op inferentie. In tegenstelling tot het trainen van LLM’s kunnen veel inferentietaken onafhankelijk van elkaar worden verwerkt. Dit maakt ze geschikt voor een gedistribueerde infrastructuur. Apple gebruikt Ollama voor de lokale uitvoering van taalmodellen. Daarnaast zet het bedrijf PostgreSQL in voor de coördinatie van opdrachten en Amazon S3 als opslagcomponent.
De onderzoekers geven aan dat al meerdere interne teams van Apple gebruikmaken van Minions. In de praktijk zouden de wachttijden voor GPU-bronnen zijn teruggebracht van meer dan tien uur tot slechts enkele minuten.
Uit het artikel blijkt dat Minions niet meerdere Macs in één krachtige GPU met gedeeld geheugen veranderen. In plaats daarvan verdeelt de software onafhankelijke rekenopdrachten over verschillende apparaten.
Een uitdaging is volgens de onderzoekers gegevensbeveiliging. Wanneer berekeningen worden uitgevoerd op apparaten van andere teams, moet gevoelige informatie immers goed worden beschermd.
Apple onderzoekt nog of de technologie kan worden gebruikt voor het trainen van AI-modellen. Op de lange termijn zouden apparaten van verschillende organisaties mogelijk hun ongebruikte GPU-bronnen kunnen bundelen.