Tijdens Google Cloud Next gaat het ook dit jaar veel over AI. Google Cloud brengt de nodige updates mee voor de bestaande LLM’s binnen Vertex AI. Zo is Gemini 1.5 Pro per direct in public preview, introduceert het Imagen 2.0 om afbeeldingen te genereren en heeft het CodeGemma onthuld. Er is echter nog meer nieuws te melden.
Google heeft ons vorig jaar kennis laten maken met BART. Dit zou een revolutonair AI-model gaan worden. Inmiddels heeft de introductie van Gemini de prestaties van BART doen verbleken. Vandaag zijn we alweer aangekomen bij Gemini 1.5 Pro. Het is een verbeterde versie van Gemini, met als krachtigste feature de enorme hoeveelheid input die in een prompt te steken is om vervolgens AI op toe te passen. Gemini 1.5 Pro heeft namelijk een input context window van 1 miljoen tokens. Dat is meer dan welk model dan ook op dit moment.
Tip: Google introduceert eerste eigen ARM-CPU, genaamd Axion
Imagen 2.0
Met Imagen was het al mogelijk om afbeeldingen te genereren. Met Imagen 2.0 kan dit wederom een stuk beter, maar is het eveneens mogelijk om ‘live’ afbeeldingen te genereren op basis van text prompts, met een afspeelduur van 4 seconden. Hoe organisatie dit effectief in kunnen zetten, zal nog even moeten blijken. Wat we veel belangrijker vinden aan Imagen 2.0 is de mogelijkheid om afbeeldingen te bewerken. Zowel binnen als rondom de afbeelding kunnen zaken worden aangepast. Gebruikers kunnen bijvoorbeeld op een eenvoudige manier elementen uit een foto laten verwijderen of juist laten toevoegen. Daarnaast is het mogelijk om een digitaal watermerk toe te voegen. Organisaties als Shutterstock en Rakuten werken al met Imagen 2.0.
CodeGemma
Binnen de Gemma-familie van LLM’s introduceert Google nu twee versies van CodeGemma. Dit betreft een versie met 7 miljard parameters en een model met 2 miljard parameters. Hiermee is het mogelijk om programmeercode te verbeteren, maar ook om tijdens het programmeren complete functies te genereren of simpelweg geholpen door code verder af te maken. Het CodeGemma 7B-model draait in de cloud en werkt middels een integratie in de IDE, maar het 2B-model is klein genoeg om op een laptop te draaien.
De CodeGemma-modellen zijn getraind op datasets met meer dan 500 miljard tokens. Ze zijn specifiek getraind om code beter te begrijpen dan de Engelse taal. Hierdoor zijn de modellen volgens Google in staat om veel accuratere code te genereren. De modellen kunnen uiteraard met verschillende programmeertalen overweg, waaronder Python, JavaScript, Java en meer.
Vertex AI-verbeteringen
Ook binnen Vertex AI heeft Google Cloud de nodige verbeteringen in petto. Zo wordt het eenvoudiger om prompts te beheren. Het grootste pijnpunt op dit moment was experimenteren, migreren en het monitoren van prompts. Met Vertex AI Prompt Management is dat verleden tijd, je kan nu prompts delen binnen een tam, inclusief versioning, dus je kan altijd teruggrijpen naar eerdere versies. Hiernaast biedt Google de mogelijkheid om middels AI suggesties te doen om je prompt verder te verbeteren.
Daarnaast kunnen gebruikers twee vergelijkbare prompts naast elkaar leggen en de resultaten vergelijken om te zien welke prompt het beste resultaat produceert. Op die manier kunnen organisaties eenvoudiger stappen voorwaarts maken in prompt engineering.
Vervolgens heeft Google zogenaamde Evalution Tools geïntroduceerd, die gebruikers helpen om te bepalen welke prompt met welk model het beste resultaat oplevert. Daarbij wordt gekeken hoe goed de prompt is nageleefd door het model, hoeveel de output nog lijkt op de input, wat de kwaliteit ervan is, maar ook hoeveel tijd het kost. Op die manier is eenvoudiger te bepalen welk model beter is.
Enterprise Truth, modellen actueel houden met eigen data
Alle foundation models zijn getraind op datasets en na een bepaalde datum stoppen die. Dat betekent dat alle modellen elke dag een stukje ouder en minder actueel zijn. Voor sommige toepassingen is dat een probleem, want organisaties willen de mogelijkheid hebben om te werken met actuele data. Daarvoor introduceert Google wat het noemt Enterprise Truth, waarbij je een bestaand model kan grounden met je eigen data, zodat die toch kan beschikken over de data die je nodig hebt.
De data die je koppelt aan het model, wordt er dus niet aan toegevoegd, maar tijdens het uitvoeren van jouw prompts beschikt het model wel over die data om de output te genereren. Mocht je bijvoorbeeld een dagelijkse samenvatting willen genereren van een beursdag, dan is het wel handig als je het model de koersstanden voedt. Dit kan echter ook iets eenvoudigs zijn als de knowledge base van je eigen organisatie.
De hoeveelheid updates voor de LLM’s en Vertex AI liegen er niet om. Google blijft op een hoog tempo nieuwe AI-oplossingen en modellen ontwikkelen. Dit terwijl veel organisaties nog zoekende zijn hoe ze AI nu precies moeten gaan inzetten.
Lees ook: Google Cloud biedt sovereign cloud voor AI in elk datacenter