Een claim van Google uit 2021 dat machine learning software betere chips kan ontwerpen dan mensen is mogelijk niet waar. Dit stellen onderzoekers van de University of California. Het bewuste machine learning model zou een al eerder ontwikkeld model hebben gebruikt.
In 2021 publiceerde een onderzoeksteam geleid door Google een artikel in het tijdschrift Nature waarin werd gesteld dat machine learning-software sneller chips kan ontwerpen dan mensen. Meer concreet ging het hierbij om het ontwerpen van de zogenoemde ‘floorplans’ voor processors. Deze floorplans bepalen welke circuitblokjes, denk aan de CPU en de GPU cores, het geheugen en de controllers, waar op het fysieke silicon-plaatje moeten zitten.
In het artikel beschreven de onderzoekers de ontwikkeling van een reinforcement learning-based systeem dat automatisch de beste chip floorplans kon berekenen. De machine learning-software zou dit sneller en efficiënter doen dan de tot nu toe gangbare procedure. Bij de gangbare procedure worden de chip floorplans deels handmatig door mensen en deels automatisch door chipontwerpsoftware ontwikkeld.
Google stelde dat het gebruik van het ontwikkelde machine learning-model voor het ontwerpen van chip floorplans niet alleen betere floorplans opleverde, maar deze ook sneller zijn te produceren.
Tip: AWS vervangt steeds meer Intel Xeon-chips met zelfgemaakte ARM-chips
Reverse-engineering-onderzoek
De bewering van de techgigant trok vanzelfsprekend de aandacht van andere chipontwerpers. Onder andere die van onderzoekers van de University of California in San Diego. Deze onderzoekers gingen de beschreven technologie nabootsen en kwamen tot heel andere conclusies.
Uit hun onderzoek bleek dat de beschreven Google-technologie juist veel minder presteerde dan de gangbare procedurebij het ontwerpen van de genoemde floorplans. De onderzoekers zochten daarom voor deze uitkomst een oorzaak. Bijvoorbeeld dat hun reverse-engineeringproces incompleet was en dat bepaalde stappen niet waren uitgevoerd.
Google sjoemelde met het resultaat
Toch bleek dit niet het geval te zijn. Later werd bekend dat Google in het onderzoeksproces naar de nieuwe technologie voor het maken van chip floorplans al enkele voorbereidingen had getroffen die niet in het artikel zijn vermeld.
Google heeft software van Electronic Design Automation (EDA) -specialist Synopsys gebruikt voor het maken van een eerste ontwerp van de logic gates van de chip. Dit eerste ontwerp werd daarna door het bewuste ML-model verbeterd. Op basis daarvan kwam Google met de claim dat zijn machine learning het maken van chip floorplans beter en sneller uitvoerde dan mensen.
Dat een door standaardsoftware gemaakt ontwerp hierbij aan de basis lag werd dus niet vermeld. Wel werd vermeld dat het uiteindelijke model na het ontwerp door de machine learning-software nog is aangepast met behulp van standaardsoftware en menselijke handelingen voor nog betere prestaties. Google vertelde daarmee niet de volledig waarheid, zo ontdekten de onderzoekers van de University of California.
Nieuw onderzoek van Nature
Inmiddels hebben meerdere wetenschappers Nature gevraagd het artikel van Google nogmaals kritisch na te kijken. Bovendien vragen zij Google het originele algoritme van het gebruikte ML-model vrij te geven om zo meer onderzoek te kunnen doen.
Nature heeft inmiddels aangekondigd het Google-artikel nogmaals kritisch te gaan bekijken. De reden hiervoor wordt niet gegeven. Google en Synopsys onthouden zich van commentaar.
1 uur geleden
