Google Cloud komt met een nieuwe opslagoplossing: Rapid Storage. Dit is een zogeheten zonal bucket binnen Cloud Storage die snelle en consistente toegang tot gegevens biedt, met lees- en schrijflatencies onder de milliseconde.
Volgens Google is deze opslagklasse tot twintig keer sneller en ondersteunt het een doorvoersnelheid tot 6 TB per seconde. Dit schrijft InfoQ. In tegenstelling tot de klassieke Cloud Storage-buckets, die gegevens over meerdere zones in een regio verspreiden, slaat Rapid Storage alle data op binnen één enkele zone. Hierdoor kunnen toepassingen die gebruik maken van GPU’s en TPU’s profiteren van hogere doorvoer en lagere latency.
Volgens Google-managers Sameet Agarwal en Asad Khan is het doel van deze aanpak om AI-modellen efficiënter te trainen en aan te sturen. Ze benadrukken dat traditionele objectopslag vaak te traag is voor deze toepassingen. Door opslag dichter bij de rekenkracht te brengen via het Colossus-bestandssysteem, wordt dit probleem aangepakt.
De nieuwe opslag kan als een bestandssysteem worden aangekoppeld via Cloud Storage FUSE. Dit biedt ondersteuning voor populaire AI-frameworks zoals TensorFlow en PyTorch. In een technisch artikel leggen Google-ingenieurs Denis Serenyi en Vivek Saraswat uit dat Rapid Storage gebruikmaakt van een gRPC-streamingprotocol en functies zoals het aanvullen van objecten. Dit, zonder in te leveren op schaal of prestaties.
Verschillende vormen van objectopslag
Op Reddit werd Rapid Storage vergeleken met Amazon S3 Express. Hierbij viel op dat Google nu als enige grote cloudprovider verschillende vormen van objectopslag aanbiedt. En wel van snelle single-zone tot dubbel-gerepliceerde regionale opslag. Dit alles met één uniforme API.
Tegelijkertijd kondigde AWS aan dat het de prijzen voor S3 Express One Zone verlaagt. Opslagkosten dalen met 31%, kosten voor PUT-verzoeken met 55% en voor GET-verzoeken met 85%. Volgens Agarwal en Khan biedt Rapid Storage ook dan nog steeds aanzienlijke voordelen. Zoals vijf keer lagere latency bij willekeurige lees- en schrijfbewerkingen vergeleken met andere grote cloudproviders. Daarbij komt een doorvoer tot 6 TB/s per bucket. En ondersteuning voor tot 20 miljoen aanvragen per seconde.
Rapid Storage was niet het enige nieuwe opslagproduct gericht op AI tijdens Cloud Next 2025. Google introduceerde ook Anywhere Cache, een SSD-cache die regionale buckets versnelt door data lokaal op te slaan, en Google Cloud Managed Lustre, een krachtig bestandssysteem gebaseerd op DDN EXAScaler Lustre. Dit systeem is ontworpen voor AI-workloads en biedt prestaties op petabyteschaal met miljoenen IOPS en sub-milliseconde latency.
Rapid Storage is op dit moment beschikbaar als preview.
Tip: Google Cloud gaat met overname Wiz voor multi-cloud security