Google Dataflow wordt vanaf nu ondersteund door PerfKit Benchmarker. De tool helpt bij het testen van data pipelines.
Google Dataflow is een managed dienst voor het beheren en uitvoeren van diverse data processing-patronen. De dienst werd in 2015 gelanceerd en maakt het mogelijk om tests uit te voeren, cloudbronnen op te schonen en data pipelines te configureren.
Google maakte onlangs bekend dat Dataflow door PerfKit Benchmarker (PBK) wordt ondersteund. PBK controleert of de omvang van een data pipeline correct is geconfigureerd en voldoet aan de verwachtte hoeveelheid data, zonder kostenbudgetten of capaciteitslimieten te overschrijden. De tool is vanaf nu bruikbaar voor het testen van Dataflow pipelines.
PerfKit Benchmarker
De PKB doc biedt een volledige handleiding voor het gebruik van de tool, waaronder het installatieproces, verschillende PKB commands en het visualiseren van becnmarktests met behulp van Data Studio. Daarnaast bevat de repository voorbeelden van PKB-configuratiebestanden voor het uitvoeren van performance benchmarking tests.
Gebruikers die met PKB aan de slag gaan moeten de <MY_BUCKET> en <MY_PROJECT> instances in hun Google Cloud Platform-project en -bucket vervangen. Daarnaast moeten gebruikers een input Pub/Sub-abonnement aanmaken met een eigen versie van de testgegevens die vooraf worden voorzien. Volgens Google kan PKB snaps met Pub/Sub-abonnementen voor elke testrun verwerken, opslaan en herstellen.
16 uur geleden
