Microsoft maakt datacompressie-algoritme en -hardware voor de cloud open source

Abonneer je gratis op Techzine!

Microsoft heeft zijn algoritme, hardwarespecificatie en Verilog-broncode voor het comprimeren van data in zijn Azure-cloud open source gemaakt. Alle informatie wordt bijgedragen aan het Open Compute Project (OCP). 

Grote cloud-providers slaan tegenwoordig enorme hoeveelheden data op. Om dat mogelijk te maken wordt de data gecomprimeerd, net zoals er vroeger zip-bestanden werden gemaakt van bestanden op computers om ze op floppy’s of CD-ROM’s te kunnen plaatsen. Die systemen zijn vaak goed bewaarde geheimen, maar Microsoft heeft nu dus besloten om zijn informatie open source te maken.

Project Zipline

Specifiek gaat het om Project Zipline, meldt TechCrunch. Naar eigen zeggen kan dit project twee keer hogere compressieratio’s behalen dan het standaard Zlib-L4 64KB-model. Om dit te bereiken werden het algoritme en de hardware-implementatie specifiek afgestemd op de grote datasets die Microsoft in zijn cloud ziet.

Omdat het geheel op systeemniveau werkt, is er vrijwel geen overhead. Microsoft stelt dat het zelfs in staat is om hogere doorvoerratio’s en minder vertraging te bereiken dan andere algoritmes dat nu kunnen.

Microsoft benadrukt verder dat het ook de Verilog-broncode voor register transfer language (RTL) bijdraagt. Dat is de low-level code die alles laat werken. “Het open source bijdragen van RTL op dit detailniveau aan OCP is toonaangevend in de industrie”, stelt Kushagra Vaid, general manager voor Azure hardware-infrastructuren.

“Het zet een nieuw precedent voor het stimuleren van een wrijvingsloze samenwerking in het OCP-ecosysteem voor nieuwe technologieën en het openen van deuren voor hardware innovatie op Silicon-niveau.”

Samenwerkingen

Het systeem wordt nu door Microsoft zelf gebruikt in zijn eigen Azure-cloud. Het bedrijf start echter ook samenwerkingen met anderen in OCP. Het gaat onder meer om Intel, AMD, Ampere, Arm, Marvell, SiFive, Broadcom, Fungible, Mellanox, NGD Systems, Pure Storage, Synopsys en Cadence.

“Uiteindelijk verwachten we dat Project Zipline zijn weg gaat vinden naar diverse markten en gebruikersmodellen, zoals network data processing, smart SSD’s, archiefsystemen, cloud appliances, IoT en edge-apparaten.”