Meta heeft in slechts twee jaar tijd vier generaties van zijn eigen MTIA AI-chip uitgebracht, in samenwerking met Broadcom. De MTIA 300, 400, 450 en 500 zijn in minder dan twee jaar geproduceerd, waarbij de chips al in productie zijn of gepland staan voor implementatie in datacenters in 2026 en 2027. De focus verschuift van workloads gericht op contentranking naar GenAI-inferencing.
Meta heeft details onthuld over vier opeenvolgende generaties van zijn eigen AI-chip, de Meta Training and Inference Accelerator (MTIA), ontwikkeld in samenwerking met Broadcom. Vier generaties, MTIA 300, 400, 450 en 500, zijn in minder dan twee jaar geproduceerd, waarbij verschillende al in productie zijn en andere gepland staan voor massale implementatie in 2026 en 2027.
Het hoge tempo is bewust gekozen. In plaats van in te zetten op één chipgeneratie en jarenlang op resultaten te wachten, heeft Meta gekozen voor een cadans van ongeveer zes maanden per generatie, waarbij gebruik wordt gemaakt van modulaire chipletarchitectuur om geleidelijke upgrades mogelijk te maken zonder hele racksystemen te vervangen. MTIA is niet Meta’s enige chip voor AI-workloads: in februari kondigde Meta bijvoorbeeld een overeenkomst aan met AMD voor 6 gigawatt aan Instinct GPU’s. Het bedrijf is ook sterk afhankelijk van de hardware van Nvidia.
Van rangschikking en aanbevelingen tot GenAI
MTIA 300 is gebouwd voor Meta’s ranking- en aanbevelingswerkzaamheden (R&R) en wordt momenteel geproduceerd voor R&R-training. Naarmate generatieve AI groeide, evolueerde MTIA 300 naar MTIA 400, met een 72-accelerator scale-up domein en 400% hogere FP8 FLOPS ten opzichte van zijn voorganger. Meta zegt dat MTIA 400 de laboratoriumtests heeft doorlopen en op weg is naar implementatie in datacenters.
MTIA 450 is specifiek gericht op GenAI-inferencing, verdubbelt de HBM-bandbreedte ten opzichte van MTIA 400, overtreft volgens Meta toonaangevende commerciële producten en levert 6x de MX4 FLOPS van FP16/BF16. De massale implementatie staat gepland voor begin 2027. MTIA 500 voegt vervolgens nog eens 50% HBM-bandbreedte toe, tot 80% meer HBM-capaciteit en 43% hogere MX4 FLOPS ten opzichte van MTIA 450. Van MTIA 300 tot 500 groeit de HBM-bandbreedte 4,5 keer en de rekenkracht FLOPS 25 keer.
Meta presenteerde MTIA voor het eerst op ISCA 2023 en heeft sindsdien honderdduizenden chips in productie ingezet.
Inference-first, PyTorch-native
De strategie van Meta rust op drie pijlers: snelle ontwikkeling, een focus op inference-first en een soepele implementatie. Waar gebruikelijke GPU’s voornamelijk zijn gebouwd voor grootschalige pre-training, zijn MTIA 450 en 500 in de eerste plaats geoptimaliseerd voor inference. De softwarestack hanteert een PyTorch-native benadering en is geïntegreerd met vLLM en Triton, zodat ontwikkelaars torch.compile en torch.export kunnen gebruiken zonder MTIA-specifieke herschrijvingen.
MTIA 400, 450 en 500 hebben allemaal hetzelfde chassis, rack en netwerkinfrastructuur, waardoor elke nieuwe generatie in dezelfde fysieke voetafdruk past. MTIA 450 en 500 staan beide gepland voor massale implementatie in 2027.