Google zet alle marketingtrucs in om haar nieuwe AI-model Gemini aan te prijzen. Op basis van de benchmarks loopt de LLM toch nog achter bij die van grootste concurrent OpenAI.
Google wil graag laten zien dat zijn nieuwe AI-model Gemini een geduchte concurrent kan zijn voor de GPT-modellen van OpenAI. De techgigant haalt hier alles voor uit de kast, onder meer met een lovend ontvangen demo-video en benchmarks die moeten aantonen dat het AI-model op dit moment het snelste is.
Marketingtruc
Uit onderzoek van Bloomberg blijkt echter dat de demonstratievideo één grote marketingtruc is.
In de video wordt gepresenteerd dat het AI-model Gemini van Google functionaliteit heeft die modellen van concurrenten niet hebben. Toch blijkt dat de gepresenteerde functionaliteit eenvoudig kan worden gerepliceerd met het ChatGPT Plus-model van OpenAI.
Ook blijkt dat de video op enkele punten is aangepast. Google heeft dit inmiddels toegegeven tegenover Bloomberg. Zo is onder meer de vertraging beperkt en de Gemini-resultaten zijn verkort voor minder tijdsduur. Dit betekent dus dat het genereren van de antwoorden langer duurde dan in de video te zien was.
Daarnaast is de video niet in real-time opgenomen. De video blijkt te zijn gemaakt van foto’s van de modelinteractie en prompting via tekst. Dit is in strijd met de suggestie dat in de video een ‘menselijk gesprek’ tussen de gebruiker en het AI-model in realtime plaatsvindt.
Verder zou de video niet specificeren dat voor de opnames het Google Gemini Ultra-model is gebruikt. Dit model is nog niet beschikbaar.
Bloomberg niet overtuigd
Bloomberg is bovendien verder ook niet helemaal gecharmeerd van de technische voorsprong die Google met zijn Gemini AI-model claimt op andere aanbieders, in het bijzonder GPT-4 van OpenAI. Nader onderzoek van de benchmarks doet de Bloomberg concluderen dat Gemini slechts in beperkte mate beter is dan het bekende OpenAI-model.
Uiteindelijk wordt hieruit dan ook de conclusie getrokken dat Google zijn best doet iedereen te overtuigen van de capaciteiten van zijn Gemini-model, maar dat het in technisch opzicht toch nog bij OpenAI achterloopt.
Lees ook: Gemini vs. GPT-4: Google toont wat een next-gen AI-model biedt
23 uur geleden
Expert bijdrage
