De meningen zijn verdeeld over Gemini 4 Argon

De meningen zijn verdeeld over Gemini 4 Argon

Na aangekondigd te zijn op 30 september is Gemini 4 Argon nu breed beschikbaar. Het nieuwe model brengt Google weer in de conversatie rondom de allerbeste AI-modellen. In tegenstelling tot eind vorig jaar is het landschap complex en zijn de meningen verdeeld over de nieuwe uitdager van Anthropic en OpenAI.

Argon is het eerste Gemini-model sinds 3.1 Pro dat niet als een efficiënt ‘Flash’-type is uitgebracht. Toegang was aanvankelijk beperkt tot deelnemers van het securitygerichte Fairwind Program van Google. Wie nu de Gemini API, app, AI Mode in zoekresultaten of Antigravity voor ontwikkelaars gebruikt, kan Argon gebruiken. De API-prijs kent een tijdelijke korting van 50 procent tot 1 december, resulterend in 2 dollar per miljoen input tokens en 10 dollar voor elke miljoen output tokens.

Uit de eerste ervaringen merken we dat Google terug in de AI-race is, dat Argon een sterke schrijver is, codeert op een manier die meningen verdeelt en ietwat laat arriveert.

Bovenaan diverse ranglijsten

De Vals Index, een van vele AI-benchmarks die regelmatig wordt geciteerd, kent Gemini 4 Argon de eerste plaats toe. Opvallend genoeg neemt het daar het stokje over van niet Opus 5.5, maar het kleinere Sonnet 5.5. In de ‘blind taste test’ van LMArena’s Text Arena gaat Argon ook aan kop. De Artificial Analysis Index, in recente tijden wat lastig te rijmen met werkelijk ervaren kwaliteit van AI-modellen, geeft Argon dezelfde score als GPT-6 Astra: 53. Dat is een stukje achter Opus 5.5 (58) en Sonnet 5.5 (56) van Anthropic.

Artificial Analysis meet daarnaast een hallucinatiegraad van 15 procent, de laagste onder modellen met een indexscore van 45 of hoger. Daar zit wel weer een kanttekening aan. Argon beantwoordt slechts 50 procent van moeilijke feitelijke vragen correct, tegenover 63 procent bij Astra. Het model onthoudt zich simpelweg vaker van een antwoord. Daartegenover staat dat het volgens meerdere gebruikers op X vrij obscure feitjes oprakelt, ongetwijfeld een gevolg van Google’s uitgebreide databank op basis van de zoek-indexering van het publieke internet.

Zakelijke testers zien een betekenisvolle vooruitgang ten opzichte van Gemini 3.1 Pro, het vorige vlaggenschip. Dat ligt in de lijn der verwachting, aangezien een opvolger zo lang op zich heeft laten wachten. Volgens Box-CEO Aaron Levie scoorde Argon 14 procentpunten hoger op Box’ evaluatie van complex werk. Google trainde het model bovendien expliciet op creatief schrijven. In de creative writing-categorie van LMArena staat het eveneens op één. Gebruikers melden dat Argon in tegenstelling tot menig open-weight model geen Claude- of ChatGPT-achtige spraakpatronen kent, veelal een teken van

Coderen verdeelt de meningen

Bij programmeren is het beeld het meest verdeeld. Zelfs in Googles eigen vergelijking wint Argon twee van de vier agentic coding-benchmarks (DeepSWE v1.1 en Vibe Code Bench), terwijl het op FrontierSWE v2 en Terminal-Bench 4.0 als laatste eindigt. Meestal is de eigen rapportage de meest optimistische presentatie van de eigen vaardigheden; beter wordt het meestal niet voor een AI-model in de echte wereld.

Onafhankelijke metingen laten gelijk zien dat dit opnieuw de dynamiek is. Het eerder genoemde Vals heeft ook een AI-test en dat zet Argon op nummer twee op Vibe Code Bench en Code Migration, telkens net achter Sonnet 5.5. Googles tabel toonde Argon op Vibe Code Bench als winnaar, maar Sonnet 5.5 was daar niet voor getest. Op de WebDev-ranglijst van LMArena eindigt het model als negende, op de Arena agent-ranglijst als vijfde. CursorBench komt uit op 52,8 procent, vergelijkbaar met Opus 5.5.

Bloomberg meldde op de dag van aankondiging dat sommige Google-medewerkers Argon zwakker vonden bij echte programmeertaken en front-end design dan de benchmarks suggereren. Critici spraken van ‘benchmaxxing’, het trainen op de test. Dit was ook de aantijging bij slecht ontvangen modellen in het verleden, zoals Llama 4. Google noemt deze karakterisering onjuist en wijst op interne cijfers waarin er 35 procent meer agentic code pull requests en bijna een derde minder rollbacks zijn.

Terug van weggeweest

Voor Google is de lancering alleen al een teken van verbetering. Sundar Pichai kondigde Gemini 3.5 Pro in mei op Google I/O aan, maar in juni verscheen het model toch niet. Volgens SemiAnalysis heeft Google het in augustus stilletjes geschrapt. Google bevestigde dat niet. De vergelijking met Fable en later Astra zal dit model de das om hebben gedaan.

Het grote voordeel voor Google is nu dat de AI-labs expliciet hebben toegezegd dat ze op een langzamer tempo hun modellen zullen ontwikkelen. De achterstand die Google nu grotendeels lijkt te hebben weggewerkt, is daarmee niet zomaar weer te verwachten. Desondanks zijn de interne LLM’s van Anthropic en OpenAI nog altijd vermoedelijk een stuk capabeler dan wat de buitenwereld te ervaren krijgt.

OpenAI’s Astra 6.1 ligt bijvoorbeeld op de plank, maar is niet uitgebracht wegens zorgen over de misleidende en gevaarlijke kantjes die het liet zien tijdens evaluaties. Een zeer vaardig AI-model dat liegt over de eigen acties is bepaald niet wat OpenAI nodig heeft na een gevoelsmatig onophoudelijke reeks securityincidenten van ‘ontsnapte’ agent-‘zwermen’.

Lees ook: Heeft OpenAI wel iets geleerd van de Hugging Face-hack?