Hortonworks heeft extra ondersteuning voor Apache Kafka toegevoegd aan zijn DataPlane Service (DPS). Met de nieuwe Streams Messaging Manager (SMM) biedt het bedrijf een open-source operationele monitorings- en managementtool die end-to-end zichtbaarheid biedt in Kafka-omgevingen.
Hortonworks heeft met DPS een cloudoplossing in huis voor het combineren van alle types data. Dit moet het voor bedrijven eenvoudiger maken om de structuur van gegevens in hun Hortonworks-omgeving te volgen. We kunnen DPS echter meer zien als een framework dan een applicatie. Met regelmaat worden functies toegevoegd voor bijvoorbeeld data analytics-ontwikkeling en data governance.
Console
De nieuwe toevoeging visualiseert dus wat er gebeurt in Kafka-clusters. SMM is daarmee een management console voor Kafka-streams. Aan SiliconAngle legt CTO Scott Gnau uit: “Als je meerdere streams draait, is dit een controle paneel waar je kan zien hoe deze streams zich gedragen.”
Gnau geeft ook een voorbeeld van de werking. De management tools zijn te gebruiken om Kafka-streams te integreren met Apache Atlas metadata management and governance-frameworks, voor consistente metatagging van data. Hierdoor kunnen Kafka-gegevens worden vermengd met statische gegevens, wat handig is voor analytics.
Naar eigen zeggen adresseert Hortonworks hiermee één van de moeilijkste aspecten van het beheren van streaming data. Dat zou namelijk het begrijpen van waar de gegevens vandaan komen zijn, en hoe ze dan gebruikt zijn. Met Apache Atlas is er “consistente dekking van de levenscyclus van data”. Gnau geeft aan dat het beheer van metadata in het verleden niet goed was. Doordat apparaten meer streaming data leveren is de context belangrijk, aldus Gnau.
Andere functionaliteiten
SMM kan ook gebruikt worden om in Kafka-omgevingen bottlenecks, consumentpatronen en verkeersstromen te identificeren. Er zijn filters toe te passen voor het analyseren van de streamdynamiek tussen producten en consumenten.
Tegelijkertijd maakt Hortonworks bekend dat zijn analytics-dienst DataFlow voorzien is van een update. De prestaties van het platform zouden verbeterd zijn, alsmede de integratie met het Data Platform, het vlaggenschipplatform waarover Techzine recentelijk een uitgebreid achtergrondartikel publiceerde.
12 uur geleden
