StreamSets wil data-integratie en gebruik Apache Spark vereenvoudigen

StreamSets heeft een cloud-versie van zijn data-integratieplatform en een nieuwe tool voor Apache Spark gelanceerd. De twee oplossingen zijn ontwikkeld om data beter voor enterprises te laten ‘werken’.

StreamSets Cloud is het nieuwe cloud-product van het bedrijf dat aangeboden wordt als een volledig beheerde dienst, schrijft Silicon Angle. Organisaties kunnen hiermee data, bijvoorbeeld afkomstig uit industriële sensoren, naar hun backend-analytics infrastructuur streamen om het te verwerken. Een bedrijf kan de data tijdens de overdracht ook aanpassen (data manipulation), zodat de de data eenvoudiger uit te lezen is.

Het platform is bijvoorbeeld nuttig voor een fabrikant die graag de productiviteit wil tracken. Er kan dan data opgehaald worden uit de apparatuur, om de fouten eruit te filteren en alles in één format samen te brengen

Met StreamSets Cloud is het bovendien niet langer nodig om de deployments van het data-integratieplatform handmatig te onderhouden. De dienst gebruikt Kubernetes om de capaciteit automatisch op en af te schalen, op basis van hoeveel data er verwerkt wordt.

Data Transformer

StreamSets kondigde daarnaast Data Transformer aan, een interface-tool waarmee gebruikers kunnen werken met Apache Spark.

Apache Spark is één van de breedst geadopteerde analytics engines op de markt, maar niet eenvoudig te gebruiken. Data Transformer moet volgens StreamSets de leercurve verkleinen, door het mogelijk te maken om data processing-workflows te maken voor de engine, aan de hand van drag-and-drop-commando’s.

Ook heeft de tool een aantal andere functies waarmee een analytics-team tijd kan besparen. Zo kunnen fouten verwijderd worden, zelfs als de gebruiker nog niet de vaardigheid heeft om de complexe log-bestanden van Spark te begrijpen.

StreamSets

StreamSets is met zijn vijfjarige bestaan nog relatief nieuw op de markt. Toch is het al wel een grote speler. De startup stelt dat het tientallen Fortune 500-klanten heeft. Ook krijgt het steun van investeerders als Accel.