OpenAI is ontevreden over de snelheid van Nvidia’s AI-chips bij specifieke inference-taken en zoekt sinds vorig jaar alternatieven. De focus ligt op chips met meer ingebouwd geheugen voor snellere verwerking, vooral voor softwareontwikkeling.
Dat stelt Reuters op basis van bronnen. OpenAI zou met chipstartups Cerebras en Groq gesproken hebben over snellere inference-oplossingen. Inference is het proces waarbij een AI-model zoals ChatGPT reageert op gebruikersvragen. Nvidia sloot echter een licentiedeal van 20 miljard dollar met Groq, waardoor de gesprekken tussen OpenAI en Groq stopten.
De ChatGPT-maker zoekt hardware die uiteindelijk ongeveer 10 procent van de toekomstige inference-rekenkracht moet leveren. De bronnen stellen dat OpenAI niet tevreden is met de snelheid waarmee Nvidia’s hardware antwoorden genereert voor specifieke problemen, waaronder softwareontwikkeling en AI-tot-AI communicatie.
SRAM-chips voor snellere verwerking
OpenAI’s zoektocht naar alternatieven richt zich op chips met grote hoeveelheden SRAM-geheugen op dezelfde chip. Deze architectuur biedt snelheidsvoordelen voor chatbots en andere AI-systemen die miljoenen gebruikersverzoeken verwerken. Inference vereist meer geheugen dan training, omdat de chip relatief meer tijd besteedt aan het ophalen van data uit het geheugen dan aan wiskundige operaties.
Binnen OpenAI werd het probleem vooral zichtbaar bij Codex, de oplossing voor het genereren van code. Het bedrijf market deze tool agressief. OpenAI-medewerkers zouden een deel van de zwakke prestaties van Codex toeschrijven aan Nvidia’s GPU-gebaseerde hardware. CEO Sam Altman zei op 30 januari dat klanten die OpenAI’s programmeermodellen gebruiken “veel waarde hechten aan snelheid voor codeerwerkzaamheden.”
Nvidia verdedigt positie
Nvidia-CEO Jensen Huang noemde berichten over spanningen met OpenAI “nonsens” en zei dat Nvidia een enorme investering in OpenAI plant. “Klanten blijven kiezen voor Nvidia voor inference omdat we de beste prestaties en laagste total cost of ownership op schaal leveren”, aldus een Nvidia-verklaring. Een OpenAI-woordvoerder zei dat het bedrijf voor het overgrote deel van zijn inference-capaciteit op Nvidia vertrouwt en dat Nvidia de beste prijs-prestatieverhouding levert.
Na publicatie van het nieuwsbericht schreef OpenAI-CEO Sam Altman op X dat Nvidia “de beste AI-chips ter wereld” maakt en dat OpenAI hoopt “voor lange tijd een gigantische klant te blijven”.