Google heeft in een technische blogpost een tip van de sluier opgelicht over Colossus, het onderliggende storageplatform van de techgigant. Dit storageplatform vormt onder meer de basis voor de public cloudomgeving Google Cloud en vele bekende consumentendiensten, zoals de Google-zoekmachine.
Colossus is, zo geeft de blogpost aan, het onderliggende op software gebaseerde platform dat Google gebruikt voor het beheer van de storage hardware die in de Google datacenters van moedermaatschappij Alphabet draaien. Daarnaast zorgt dit platform ervoor dat alle benodigde data zich vanuit deze hardware van en naar de diverse bovenliggende applicaties wordt gestuurd.
Bovendien moet het platform de toegang tot deze data bewaken en ervoor zorgen dat eindgebruikers erop kunnen vertrouwen dat zij altijd deze data kunnen gebruiken. Colossus moet hiervoor onder meer de technische problemen, zoals bij vaak opduikende uitval van hardware, oplossen.
Custodians voor troubleshooting en lifecyclebeheer
Voor het bewaken van de storagefunctionaliteit gebruikt Colossus een set van zelfontwikkelde programma’s, de ‘Custodians’. Wanneer een diskdrive binnen een storagesysteem faalt, kunnen de Custodians de verloren data opnieuw samenstellen uit de data die beschikbaar is op andere, wel werkende, diskdrives.
De Custodians voeren daarnaast ook andere werkzaamheden uit die de levensduur van Google’s storage-omgevingen moet verlengen. Zeker als die uitgroeit naar meerdere exabytes en tienduizenden machines.
Curators en de control plane
Naast het beschikbaar houden van data, zijn de Custodians ook onderdeel van de control plane van Colossus. In deze control plane bevinden zich ook zogenoemde Curators. Deze speciale software beheren onder meer de metadata die klanten en de Google-diensten zelf in Clossus opslaan.
Een andere taak van de control plane is onder meer het optimaliseren van de prestaties van de Google-opslaginfrastructuur en kostenbeheersing. Bijvoorbeeld door de meest gebruikte records van eindgebruikers en van de bovenliggende Google-diensten op high-speed flash storage op te slaan voor snelle toegang. Minder vaak gebruikte data worden dan op minder snel toegankelijk en meer kostenbesparende disk storage opgeslagen. Deze data worden door Colossus apart geoptimaliseerd.
Abstractielaag
Colossus heeft de functionaliteit van de Custodians en de Curators ‘verpakt’ achter een abstractielaag die de fysieke complexiteit van de hardware, in dit geval dus de storagecapaciteit, eenvoudiger moet beheren. Via deze laag kunnen beheerders makkelijk zelf bepalen welk type van storage hardware nodig hebben voor hun applicaties. Hiervoor hoeven zij alleen maar de benodigde vereisten voor capaciteit en snelheid aan te geven. Colossus verstuurt dan automatisch de data naar de meest geschikte hardware in de Google-datacenters.
60 minuten geleden
