OpenAI ondervindt prestatieproblemen met zijn nieuwe Orion LLM en moet zijn strategieën aanpassen om toekomstige modellen te verbeteren. Een beperkte beschikbaarheid van trainingsdata zou mogelijk de oorzaak zijn, meldt The Information.
Volgens onderzoek van The Information zou OpenAI momenteel tegen beperkingen aanlopen bij de prestaties van het nieuwe Orion LLM waaraan het werkt. Hoewel de prestaties van dit nieuwe model de bestaande LLM’s van de AI-gigant zouden overtreffen, gaat het niet om een grote sprong vooruit zoals die van GPT-3 naar GPT-4.
Dit betekent dat de doorontwikkeling van LLM’s bij OpenAI vertraging oploopt. Orion presteert weliswaar beter dan zijn voorgangers op sommige gebieden, maar biedt niet overal verbetering, bijvoorbeeld op het gebied van codering.
Nieuwe strategieën
OpenAI probeert deze uitdagingen aan te pakken door nieuwe strategieën te ontwikkelen, aldus The Information. Zo wordt een speciaal ‘foundations team’ opgericht om manieren te onderzoeken waarmee OpenAI zijn LLM’s kan blijven verbeteren, ondanks de afnemende beschikbaarheid van trainingsdata.
Daarnaast zou OpenAI kunnen overwegen om Orion te trainen op synthetische data, gegenereerd door andere AI-modellen. Een andere mogelijke strategie is het optimaliseren van LLM’s in een fase na de initiële training.
OpenAI heeft nog geen commentaar gegeven op het artikel. In eerdere reacties gaf de AI-gigant aan dat er dit jaar geen plannen waren voor een LLM met de codenaam Orion.