Meta is van plan open-source versies uit te brengen van zijn volgende generatie frontier AI-modellen. De modellen zijn vermoedelijk afgeleid van twee nieuwe propriëtaire modellen die Meta intern ontwikkelt onder de codenamen Avocado en Mango. Beide gesloten versies staan gepland voor een release dit jaar.
Dat stelt Axios op basis van bronnen. Meta werkt volgens Axios aan twee propriëtaire frontier-modellen: Avocado, een groot taalmodel, en Mango, een generator voor multimediale bestanden. De open-source varianten worden naar verwachting op een later moment beschikbaar gesteld en maken deel uit van Meta’s streven om zijn modellen zo breed mogelijk wereldwijd te verspreiden.
In december vorig jaar berichtte Bloomberg nog dat Meta zou overstappen op een gesloten distributieaanpak voor toekomstige LLM’s. Nu lijkt het bedrijf toch vast te houden aan zijn open-source traditie, zij het naast propriëtaire varianten. Llama 4, dat Meta een jaar geleden lanceerde, is gebouwd op een mixture-of-experts-architectuur met 128 afzonderlijke neurale netwerken die elk geoptimaliseerd zijn voor specifieke taken.
Open-source, maar niet volledig
De open-source versies zullen naar verwachting niet alle functies bevatten die in de gesloten edities beschikbaar zijn. AI-security speelt daarbij een rol, wat erop wijst dat Avocado bekwaam zal zijn in het genereren van cybersecurity-gerelateerde code. Voor die categorie betracht Meta extra voorzichtigheid bij publieke beschikbaarstelling.
Wat er precies weggelaten wordt, is nog onduidelijk. Mogelijke beperkingen zijn een lager aantal parameters, het ontbreken van bepaalde neurale netwerken of het overslaan van post-training stappen. Dat laatste is bij open-source modellen geen uitzondering: ontwikkelaars brengen vaker afgeslankte varianten uit zonder volledige post-training.
Daarbij is het ook nog niet duidelijk of de open-source versies tegelijk met de gesloten varianten verschijnen of pas daarna.
Volgens Axios verwacht Meta niet dat zijn modellen de concurrentie op alle fronten zullen verslaan. Toch zouden de modellen meerdere “sterke punten” hebben. Eén potentieel voordeel: hardware-efficiëntie. Veel huidige frontier-modellen zijn te zwaar voor gewone pc’s. Meta zou zijn modellen kunnen optimaliseren voor toepassingen als persoonlijke gezondheid en huiswerkbegeleiding.