Microsoft en AWS in de clinch over ‘valse benchmarks’

Abonneer je gratis op Techzine!

Microsoft deelde een aantal benchmarks van SQL en Azure. De benchmarks waren zeer positief en leken AWS te verslaan in verschillende belangrijke categorieën. AWS heeft nu zelf ook een aantal benchmarks, die op hun beurt Microsoft overtreffen; een oorlogje lijkt losgebarsten.

Begin december bracht Microsoft de benchmarks uit, vergezeld van een pittige headline. AWS werd genoemd: ‘Sneller en goedkoper: SQL op Azure blijft AWS overtreffen’. Natuurlijk kon AWS dergelijke ernstige beledigingen niet laten gaan, dus brachten ze hun eigen benchmarks uit, met behulp van de openbaar beschikbare TPC-C HammerDB benchmark-tool. Deze benchmark toonde een prestatievoordeel van 1,75 keer ten opzichte van de inspanning van Microsoft, en tot een 40 procent prijs/prestatie-voordeel.

Onder voorbehoud

Amazon beweert dat Microsoft striping heeft gebruikt om de resultaten van hun benchmarks te verhogen. Dit is een techniek waarbij een workload over meerdere schijven wordt verspreid, waardoor de verwerkingstijd sneller gaat. Bovendien werd de benchmark vergeleken met een oudere AWS-instantie, die door Amazon natuurlijk niet als eerlijk werd gezien. Ook werd een aangepaste TPC-E-benchmark gebruikt, wat inhoudt dat Microsoft een eigen benchmark tooling gebruikt. Bovendien werd een deel van de kosten weggelaten, omdat licenties en Software Assurance niet werden genoemd.

Microsoft stelde dat “De werkelijke resultaten en prijzen kunnen variëren op basis van de configuratie en de regio,” maar dit was alleen te vinden in de kleine lettertjes in de voetnoten van de blog. Ongetwijfeld zullen er in de toekomst meer schoten worden afgevuurd van beide kanten, aangezien Microsoft steeds dichter bij AWS in de cloud business komt.