Update, 10/09, 09u10: Er lijkt gesjoemeld te zijn met de benchmarktesten van Reflection 70B. De onafhankelijke AI-tester Artificial Analysis plaatsen het voorbije weekend eigen resultaten en beweerde daarin dat de prestaties dezelfde waren als Llama 3 70B, maar “aanzienlijk lager dan Meta’s Llama 3.1 70B.” Volgens de ontwikkelaar van het nieuwe AI-model, Matt Shumer, ligt dat aan het uploaden op Hugging Face waar de prestaties omlaag worden gehaald, maar zelfs met de private API kon Artificial Analysis niet de resultaten behalen waar Shumer mee uitpakte. Dus, toch nog niks verloren voor OpenAI?
Origineel, 6/09, 11u25: Reflection 70B is het nieuwe leidende open-source-model. Het model is gespecialiseerd in de techniek ‘reflection tuning’, wat houdt dat in?
Reflection 70B is gebouwd op de fundamenten van Llama 3.1-70B Instruct. Het LLM vormt zo een product uit de open-source-gemeenschap. Vanuit die hoek is de concurrentie naar de commerciële modellen steeds sterker, want Reflection 70B zou goed scoren op de benchmarks. Volgens ontwikkelaar Matt Schumer is Reflection 70B ” ’s werelds beste open-source AI-model”.
Reflection tuning
In de naam van het bedrijf wordt weerspiegeld welke techniek het LLM kan toepassen. Reflection tuning is een techniek waarbij LLM’s fouten kunnen halen uit hun eigen redenering. Nog voordat het model het volledige antwoord heeft opgeschreven, zijn de fouten er al uitgehaald.
Op de demo-site wordt de capaciteit getoond in een prompt die vraagt hoe vaak de letter r voorkomt in ‘strawberry’. Dat is een verwijzing naar de GPT-modellen van OpenAI die momenteel beschikbaar zijn en deze vraag consequent beantwoorden met twee. OpenAI heeft een model in de maak dat deze fouten niet langer maakt. Het bedrijf heeft dit model de codenaam ‘Strawberry‘ gegeven. Het project wordt al lang aangekondigd en met Reflection is het eigenlijk al achterhaald voor lancering.
Voldoende rekenkracht gevonden
Een dag na het lanceren van Reflection 70B nam Meta al contact op met Schumer. Het model krijgt daardoor meer rekenkracht en capaciteit om de vraag naar het model aan te kunnen. De nieuwe naam van het model is Reflection-Llama-3.1-70B en is te vinden op Hugging Face.
Lees ook: Open-source LLM’s van Aleph Alpha voldoen volledig aan AI Act