Google heeft bevestigd dat een foutieve netwerkconfiguratie de oorzaak was van de storing die dinsdag klanten van Google Cloud VMware Engine (GCVE) met een stretched cluster trof. Door de fout viel de communicatie tussen verschillende beschikbaarheidszones weg, waardoor virtuele machines wel bleven draaien, maar in veel gevallen niet meer bereikbaar waren.
De storing begon op 14 juli om 10.00 uur Pacific Time en werd pas bijna twaalf uur later volledig verholpen. Volgens Google werden klanten in onder meer Frankfurt, Sydney en Melbourne getroffen. Alleen omgevingen die gebruikmaken van stretched clusters ondervonden hinder; reguliere GCVE-implementaties bleven buiten schot.
Een stretched cluster is bedoeld om de beschikbaarheid van VMware-workloads te vergroten door een cluster over twee fysieke locaties of beschikbaarheidszones te spreiden. Valt één locatie uit, dan moet de andere de dienstverlening zonder onderbreking kunnen overnemen. Juist die onderlinge verbinding bleek tijdens dit incident de zwakke schakel.
Diagnose verschoof gedurende de dag
In de eerste uren meldde Google alleen dat sprake was van een netwerkprobleem tussen de zones van een stretched cluster. Daarbij benadrukte het bedrijf dat de compute- en opslagdiensten bleven functioneren en dat de virtuele machines zelf niet waren uitgevallen. Het probleem zat volgens Google in de bereikbaarheid van die systemen.
Later op de dag werd de analyse concreter. Google meldde dat de verbindingen tussen de clusterzones en de zogeheten witness appliance waren weggevallen. Ook waren er problemen met Border Gateway Protocol (BGP)-sessies, waardoor de verschillende clusteronderdelen hun status niet meer konden synchroniseren. In dat scenario ontstaat het risico dat virtuele machines geïsoleerd raken en geen schrijfbare opslag meer beschikbaar hebben.
Rollback loste probleem op
Enkele uren later wees Google een recente netwerkconfiguratie-update aan als vermoedelijke oorzaak. In de definitieve incidentanalyse bevestigt het bedrijf dat deze wijziging inderdaad verantwoordelijk was voor de verstoring van de communicatie tussen de zones.
De oplossing bestond uit het terugdraaien van de configuratie naar de laatst bekende werkende versie. Na deze rollback werd de verbinding tussen de clusterlocaties hersteld en konden de getroffen klanten hun omgeving weer normaal gebruiken. Google vraagt klanten die nog restproblemen ervaren contact op te nemen met de ondersteuning.
De officiële incidentanalyse maakt daarmee duidelijk wat eerder nog onduidelijk was. Waar Google tijdens de storing slechts sprak over een onderliggend netwerkprobleem, bevestigt het bedrijf nu dat een eigen configuratiewijziging de directe aanleiding vormde voor de langdurige verstoring van GCVE stretched clusters.