Tien jaar lang bouwt Klarrio enterprise-dataplatformen op basis van open source. In die periode is er veel veranderd, ziet CTO Bruno De Bus. Licentiewijzigingen, een verschuiving naar Chinese contributors en supply chain-aanvallen hebben de spelregels veranderd. Het onmisbare open source vereist, in plaats van blind vertrouwen, regie en bewuste keuzes.
Klarrio richt zich sinds de oprichting op het bouwen van maatwerkdataplatformen voor grote, complexe enterprise-omgevingen. De keuze om dit primair met open-sourcecomponenten te doen in plaats van met propriëtaire stacks, is een bewuste beslissing. Het belangrijkste doel is het voorkomen van vendor lock-in. Door open source te gebruiken, maken ze klanten onafhankelijker. De code die voor een specifiek project wordt ontwikkeld, blijft altijd eigendom van de klant.
Toen het bedrijf zo’n tien jaar geleden begon, bestond het werk voornamelijk uit het implementeren van de data-stacks die grote techbedrijven vrijgaven. Technologieën als Hadoop (Yahoo), Kafka (LinkedIn) en RocksDB (Facebook) vormden de basis. De taak van Klarrio was om deze robuuste, maar vaak ruwe componenten in te passen in de veeleisende omgevingen van bedrijven. Vandaag de dag ziet dat landschap er echter anders uit. De drempel om een soortgelijk bedrijf te starten, ligt volgens De Bus inmiddels aanzienlijk hoger. Het is een voordeel dat Klarrio een decennium de tijd heeft gehad om organisch mee te groeien met de toenemende risico’s en complexiteit van het ecosysteem.
Het einde van blind vertrouwen
Een ingrijpende verandering is de benadering van security. “Tien jaar geleden was security bijna een verplicht nummertje en kon je open source vrijwel blind vertrouwen”, stelt De Bus. “Nu bestaat waarschijnlijk de helft van wat we doen uit securitywerk.” Dat werk richt zich voornamelijk op het hardenen, onderhouden en beveiligen van de open-sourcebouwstenen.
Het blinde vertrouwen is dan ook voorbij. Omdat vrijwel de hele wereldwijde IT-infrastructuur tegenwoordig op open source draait, is het ecosysteem een aantrekkelijk doelwit geworden voor kwaadwillenden. Aanvallen op de softwareketen speelden tien jaar geleden nauwelijks een rol, maar vormen nu een van de grootste dreigingen.
Nu is het met aanvallers die geraffineerder te werk gaan wel lastig om te bepalen of een open-sourceproject echt is of dat er kwade bedoelingen achter zitten. Soms sluipen kwaadwillenden een project binnen om een backdoor te plaatsen. Anderen nemen verlaten projecten over, blazen er nieuw leven in en verstoppen er malware in. En dan is er nog de variant waarbij iemand bestaande code overneemt, er zijn eigen naam op zet en die met malware erin verspreidt.
Impact van AI op de softwareketen
De opkomst van generatieve AI maakt het beoordelen van de betrouwbaarheid van software er niet eenvoudiger op. Voorheen was de omvang van een open-sourceproject vaak een betrouwbare indicator voor de toewijding van de makers. Een omvangrijke codebase impliceerde een grote tijdsinvestering, wat de kans op langdurig onderhoud vergrootte. Maar dat geldt nu niet meer. “Als je nu een groot project tegenkomt, weet je niet waar het vandaan komt. Dat kan effectief gewoon gevibecoded zijn in twee, drie dagen”, schetst De Bus. Hierdoor is er onzekerheid of de maker het project in de toekomst daadwerkelijk kan en wil blijven onderhouden.
Om al de dreigingen het hoofd te bieden, hanteert Klarrio tegenwoordig een strikte security-by-design-filosofie. Waar een component van Hadoop of Kafka vroeger zonder aarzeling werd overgenomen, wordt nu elke dependency vooraf streng gecontroleerd. Het bedrijf gebruikt hiervoor onder meer de tools van OpenSSF, waaronder Scorecard. Deze tool controleert automatisch de gezondheid van een project door te kijken naar zaken als branch protection, code reviews, gesigneerde releases en fuzzing, en deelt een score uit. Daarnaast maakt Klarrio gebruik van Software Bills of Materials (SBOM’s) om de volledige keten inzichtelijk te houden en zet het eigen securityscanners in om razendsnel grote hoeveelheden code te doorzoeken op verborgen kwetsbaarheden. Wanneer Klarrio verdachte code ontdekt, wordt dit direct gemeld bij de Malicious Packages Repository van OpenSSF, zodat de bredere community tijdig is gewaarschuwd.
Tip: Security by design voorkomt hogere rekeningen
Open source werd source-available
Een andere grote verschuiving in het landschap is van juridische en commerciële aard. Amerikaanse softwareleveranciers stappen regelmatig af van traditionele open-sourcelicenties. Aanvankelijk begon deze trend subtiel. Enterprise-features verdwenen dan achter een betaalmuur, terwijl enkel de core van het product open source bleef. Volgens De Bus diende deze strategie vaak meer als marketinginstrument om het predicaat ‘open’ te behouden. Zonder licentiekosten was de software echter niet langer breed te gebruiken.
De afgelopen jaren is er een hardere grens getrokken. Grote, populaire projecten als MongoDB, Elasticsearch en Terraform zijn overgestapt op licenties zoals de Server Side Public License (SSPL) en de Business Source License (BSL). Dergelijke licenties, vaak source-available genoemd in plaats van open source, verbieden bedrijven om de software zomaar als een commerciële clouddienst aan te bieden.
De CTO van Klarrio toont begrip voor deze beweging. De druk op deze bedrijven kwam volgens hem primair van hyperscalers. Zo bood AWS Elasticsearch aan als een managed service, waardoor de oorspronkelijke ontwikkelaars van de code hun eigen verdienmodel zagen verdampen. Als reactie verving Elastic in 2021 de open Apache 2.0-licentie door de SSPL. Pas in 2024 werd de AGPLv3-licentie toegevoegd, waardoor Elasticsearch weer onder een door het Open Source Initiative (OSI) erkende licentie te gebruiken is. HashiCorp volgde in 2023 een vergelijkbaar pad met Terraform.
Deze licentiewijzigingen leidden direct tot het ontstaan van forks (afsplitsingen van de originele code). Zo ontstond OpenSearch als alternatief voor Elasticsearch en OpenTofu als antwoord op de wijzigingen bij Terraform. De Bus plaatst hier echter een kritische kanttekening bij. Hij wijst erop dat Amazon ook bij deze forks een aanzienlijke vinger in de pap heeft. Bovendien leidt het forken van projecten tot versnippering: het betekent dubbel werk voor ontwikkelaars en het splitst de community in tweeën, terwijl juist die gebundelde denkkracht de kern vormt van het open-sourcesucces.
Voor Klarrio vereist deze gefragmenteerde markt een aanpak per casus. Bij Terraform besloot het bedrijf over te stappen op de OpenTofu-fork. Voor zoektechnologie koos het er echter voor om de hele Elastic/OpenSearch-discussie achter zich te laten en te migreren naar alternatieve producten met een licentiemodel dat beter aansluit bij hun visie. “Voor ons kan dat zelfs de redelijk zware licentie zijn. Daarbij zegt men: ‘Als je er iets mee bouwt, moet je het allemaal terugsubmitten’. Dat is eerder aanvaardbaar dan feitelijk te zeggen dat je het helemaal niet meer mag gebruiken zonder licentie”, schetst De Bus.
Geopolitieke verschuivingen
Een derde factor die het hedendaagse ecosysteem beïnvloedt, is de herkomst van de code. Innovatie binnen de open-sourcewereld was altijd voornamelijk een Amerikaans feestje. Tegenwoordig ziet het landschap er diverser uit. Wie kijkt naar de nieuwste projecten binnen de Apache Foundation, zeker binnen het datadomein, ziet dat veel innovatie afkomstig is van grote Chinese techbedrijven. Ook een substantieel deel van de individuele contributors heeft tegenwoordig een Chinese achtergrond.
Technisch is daar volgens De Bus niets mis mee. De communities staan over het algemeen ook zeer open voor externe bijdragen. Toch merkt Klarrio in de praktijk dat Europese en Amerikaanse enterprise-klanten software uit China minder snel vertrouwen. Daarnaast spelen er praktische barrières: wanneer de documentatie, code comments en pull requests uitsluitend in het Chinees zijn opgesteld, wordt het voor westerse ontwikkelaars bijzonder lastig om zelf actief bij te dragen aan het project. Chinese componenten worden door Klarrio niet uitgesloten, maar het is wel duidelijk een verandering in de markt. Het selecteren van software vereist daardoor iets meer onderzoek, ziet De Bus.
De Linux Foundation, de Apache Software Foundation en de Cloud Native Computing Foundation (CNCF) spelen hierin een cruciale rol. Hoewel zij geen keiharde garanties kunnen geven over de afwezigheid van kwetsbaarheden, bieden ze wel een essentiële governancestructuur. Ze waarborgen dat projecten door meerdere partijen worden onderhouden en bestuurd. Klarrio geeft dan ook sterk de voorkeur aan projecten die onder de vleugels van zo’n stichting vallen. Het toont commitment en garandeert transparantie. Als een project wordt stopgezet en niet meer wordt onderhouden, kondigt de foundation dit tijdig aan.
Community is leidend
Uiteindelijk is het niet de technologie zelf, maar de community eromheen die bepaalt of een project de tand des tijds doorstaat. Een illustratief voorbeeld hiervan uit de afgelopen tien jaar is de strijd om container-orkestratie. Tien jaar geleden was Kubernetes, vandaag de absolute industriestandaard, nog lang niet de vanzelfsprekende keuze. De wereld draaide op VM’s en met Apache Mesos was er een veelbelovend project. Mesos kwam, net als het data-framework Spark, voort uit de academische onderzoekswereld van de universiteit in Berkeley. Zelfs Apple draaide deployments van duizenden nodes op Mesos.
Desondanks was Mesos binnen vijf jaar nagenoeg van het toneel verdwenen, en stapte zelfs het commerciële bedrijf achter Mesos over op concurrent Kubernetes. Volgens De Bus was de community hierin de bepalende factor. Kubernetes was in de basis toegankelijker voor externe ontwikkelaars om aan bij te dragen dan het zeer academisch ingestelde Mesos. Tijdens deze overgangsfase beheerde Klarrio infrastructuur die voor de helft op Mesos en voor de helft op Kubernetes draaide, maar nu draait alles volledig op Kubernetes.
Een vergelijkbaar mechanisme verklaart de dominantie van Kafka. De streamingtechnologie heeft zijn kinderziektes inmiddels ruimschoots overwonnen. In de eerste versies ontbraken basale security-features als multi-user support of TLS-encryptie volledig. Kafka is vandaag de dag zo groot, simpelweg omdat alternatieven er nooit in zijn geslaagd een vergelijkbare massa ontwikkelaars aan zich te binden.
Die immense populariteit heeft echter ook een keerzijde. Volgens De Bus wordt Kafka door onwetendheid regelmatig ingezet voor doeleinden waar het niet voor ontworpen is, zoals een simpele message passing interface voor lichte applicaties. In zulke gevallen is een traditionele message queue veel efficiënter. “Tien jaar geleden moest ik klanten overtuigen om Kafka te gaan gebruiken. Nu adviseer ik ze vaker om ermee te stoppen”, merkt De Bus op. Datzelfde is zichtbaar bij Kubernetes. Het wordt soms opgetuigd voor het draaien van slechts twee containers, terwijl het een complex systeem is dat diepgaande expertise vereist.
De data-evolutie
Ook binnen de data-architectuur zelf is in tien jaar tijd veel veranderd. Toen Klarrio begon, dicteerde Hadoop de markt. Toen het Hadoop-tijdperk ten einde kwam, ontstond er een sterk versnipperd landschap vol losstaande tools. Vandaag de dag is er echter weer sprake van convergentie, gedreven door de opkomst van de lakehouse-architectuur. Er hebben zich twee dominante storage-formaten uitgekristalliseerd: Apache Iceberg en Delta Lake.
De adoptie van deze formaten wordt gestuwd door de concurrentiestrijd tussen Snowflake en Databricks. Om marktaandeel te winnen, pushen zij actief hun technologieën naar de open-sourcecommunity. Dit is ook terug te zien bij de metadata-catalogi, waar ze eveneens concurreren. Databricks maakte Unity Catalog open source (die Delta Lake, Iceberg en Hudi ondersteunt) nadat het jaren een propriëtair onderdeel was van het betaalde platform. Die stap gebeurde negen dagen nadat Snowflake aankondigde Polaris (met pure Iceberg-focus) binnen 90 dagen open source te maken. Iets meer dan anderhalve maand later verscheen de broncode van Polaris op GitHub. In de datawereld wordt deze periode ook wel de Catalog Wars genoemd.
Net als bij Kafka destijds ziet De Bus in deze nieuwe lakehouse-componenten nog de nodige functionele gaten. Die zitten met name in geavanceerde security-modellen. Het is echter de verwachting dat de actieve community deze features op termijn zal aanvullen. Klarrio draagt daar zelf ook aan bij, vaak door code te schrijven die componenten laat functioneren in ongebruikelijke, complexe contexten.
Luister ook eens naar onze recente podcast waarin we met Klarrio bespreken hoe een dataplatform op maat klanten volledige controle geeft over hun data.
Hoe ziet de toekomst eruit?
De technologische reis van Klarrio weerspiegelt tot slot de volwassenwording van de cloud. Tien jaar geleden was het bedrijf vaak de partij die de cloud bij klanten introduceerde, waarbij in overleg met de CISO nog fundamenteel cloudbeleid opgesteld moest worden. Vijf jaar later was het devies “alles naar de cloud”. Niet lang daarna volgde de onvermijdelijke financiële kater, wat leidde tot de opkomst van FinOps (cloudkostenbeheer) en de bouw van gedeelde multi-tenant platformen om de uitgaven te stroomlijnen.
De huidige trend is weer precies het tegenovergestelde. Organisaties willen hun workloads terughalen uit de public cloud of verhuizen naar soevereine Europese clouds. Doordat Klarrio altijd de kaart van open source heeft getrokken, kan het deze bewegingen makkelijker faciliteren. Open source blijkt een exitstrategie om weg te komen bij propriëtaire cloudproviders.
Deze ervaring bepaalt ook hoe het bedrijf naar de toekomst kijkt. Klarrio stapt liever niet in technologieën die pas net bestaan; de kans dat een project binnen enkele maanden strandt, is te groot. Voor de huidige lakehouse-architectuur is de kritische massa inmiddels wel bereikt. Het advies van De Bus aan bedrijven is dan ook: bouw niet langer zelf een data lake vanaf nul, maar maak gebruik van het gestandaardiseerde ecosysteem.
Kijkend naar de komende vijf jaar, ziet De Bus de volgende uitdaging voor zich. Hij denkt dan aan on-premise of in eigen beheer hosten van generatieve AI. Hoewel de markt daar momenteel nog niet klaar voor is en het aanbod aan geschikte, efficiënte modellen nog tekortschiet, is de richting duidelijk. Binnen nu en vijf jaar verwacht Klarrio de platformen te bouwen die organisaties in staat stellen geavanceerde AI-modellen volledig onafhankelijk en veilig binnen hun eigen muren te draaien en te trainen. En ook dat zal, trouw aan de filosofie, ongetwijfeld weer gebeuren op basis van open source en regie.