Het tempo zit er in bij Google Deepmind, het komt na de lancering van Gemini 1.0 binnen enkele maanden al met Gemini 1.5. Het klinkt als een nieuwe versie van een bestaand model, maar niets is minder waar. Google kiest voor een Mixture-of-Experts architectuur die veel intelligenter en geavanceerder is dan voorgaande modellen. Gemini 1.5 is voorlopig in enkel in preview beschikbaar.
Bij Google laten ze er geen gras over groeien. Het tempo waarin Google zijn AI-modellen ontwikkelt is hoog, net als de innovatie die erbij komt kijken. Google presenteert vandaag Gemini 1.5, een nieuw model, dat anders werkt dan voorgaande modellen.
Gemini 1.5 architectuur
Google kiest voor een zogenaamde Mixture-of-Experts architectuur. Dat is een fundamenteel andere methodiek dan bij voorgaande foundation models. Bij Gemini 1.5 bestaat het foundation model uit een set van kleinere neurale netwerken, waar normaliter een foundation model uit één groot neuraal netwerk bestaat. Eigenlijk kunnen we stellen dat Gemini 1.5 bestaat uit honderden kleine foundation models die samenwerken en acteren als één groot model. Op basis van de input context, oftewel de query van de gebruiker, bepaalt het model welk submodel het meest relevant is en die zal vervolgens het antwoord genereren.
Model is efficiënter en sneller
Het klinkt wellicht eenvoudig, maar Google heeft met Gemini 1.5 een nieuw zeer geavanceerd model gerealiseerd. Dit model biedt ook de nodige voordelen. Zo is het een stuk sneller dan zijn voorganger, is het veel efficiënter en daardoor ook zuiniger in gebruik. Zowel voor het trainen als het uitserveren (inferencing) van AI-data.
Hierdoor ziet Google nu ook de mogelijkheid om het context window fors groter te maken. Bij Gemini 1.0 was de limiet nog 32.000 tokens (een token kan een letter of een woord zijn), bij Gemini 1.5 test Google nu met een limiet van 1 miljoen tokens. Genoeg voor 30.000 regels code, meer dan 700.000 woorden, 1 uur aan videomateriaal of 11 uur aan audio. Hiermee wordt Gemini 1.5 een stuk krachtiger dan zijn voorgangers.
Veel betere prompt verwerking
Google stelt verder dat het aanleren van skills en het verwerken van prompts nu veel beter is. Voorheen had je meerdere prompts nodig om een model bij te sturen of aan te leren wat voor soort output je precies wilt hebben. Bij Gemini 1.5 Pro kun je met één lange prompt meteen alle eisen op tafel leggen. Dit zonder dat er daarbij eisen worden genegeerd, iets wat bij andere modellen vaak voorkomt.
Gemini 1.5 Pro is beter in 87% van de benchmarks
Google heeft Gemini 1.5 Pro ook losgelaten op de nodige benchmarks voor AI-modellen en stelt dat de nieuwe versie in maar liefst 87% van deze benchmarks beter is geworden. Vergeleken met 1.0 Ultra is het kwaliteitsniveau ongeveer gelijk, aan een betere efficiëntie.
18 uur geleden
Expert bijdrage
