Nvidia heeft een proof-of-concept onthuld om met generatieve AI chips te ontwerpen. Men ontwikkelde een chatbot, een codegenerator en een analysetool. Onderzoeksdirecteur Mark Ren van Nvidia stelt dat LLM’s op den duur aan elke stap in het ontwerpproces kunnen bijdragen.
Nvidia polste het eigen personeel om te bepalen op welke manieren LLM’s konden bijdragen aan chipontwerp. Het eindresultaat bestaat uit drie componenten, allen onder de naam ChipNeMo. Allereerst beantwoordt een chatbot vragen over GPU-architectuur en wijst deze nuttige documentatie aan, genereert een AI-tool 10 tot 20 regels aan programmeercode en automatiseert een analysetool het omschrijven van bugs.
“Deze poging markeert een belangrijke eerste stap in het toepassen van LLM’s bij het complexe ontwerpwerk van halfgeleiders,” aldus Nvidia’s Chief Scientist Bill Dally. “Het laat zien dat zelfs heel gespecialiseerde velden hun interne data kunnen inzetten om nuttige generatieve AI-modellen te trainen.”
Software en hardware
Het bedrijf zal hopen dat andere organisaties dit voorbeeld zullen volgen: niet alleen produceert het de GPU’s die AI aandrijven, het bezit eveneens de software om AI-modellen geschikt te maken voor allerlei specifieke doeleinden.
Zo maakte het onderzoek gebruik van LLaMA2-foundation models van Meta, zowel met 7 miljard parameters als 13 miljard. Deze modellen zijn al voorzien van biljoenen tokens van internetdata, dat verwijst naar de “woorden en symbolen in tekst en software”, zoals Nvidia het verwoordt. Vervolgens trainde het bedrijf deze modellen verder op domein-specifieke trainingsdata met het eigen Nvidia AI Enterprise-platform, om daarmee ChipNeMo-foundation models te produceren. Die vormden de basis voor de uiteindelijke LLM’s waarmee geconverseerd kon worden.
2 dagen geleden
Expert bijdrage
