Apache Spark krijgt ondersteuning voor .NET

Abonneer je gratis op Techzine!

Microsoft en de .NET Foundation hebben versie 1.0 van .NET for Apache Spark uitgebracht. De package maakt het mogelijk om het Spark te gebruiken in .NET-programmeertalen als C# en F#.

De package is het resultaat van de inspanningen van een team mensen uit Azure Data Engineering, het Mobius-project en .NET.

Big data met C#

Er was een vraag naar een manier om big data-applicaties te bouwen zonder daarvoor Scala of Python te moeten leren, de twee belangrijkste programmeertalen waar Spark tot nu op werkte.

Om op die vraag in te spelen, kondigde de .NET Foundation tijdens de Microsoft Build 2019-conferentie aan dat de organisatie ging werken aan ondersteuning voor Apache Spark. Na twaalf pre-releaseversies is het project klaar voor het publiek.

Toen de eerste preview van de package werd getoond, claimde de organisatie dat de integratie met .NET ruim twee keer zo snel is als met Python. Volgens Microsoft is die snelheidswinst behouden in de releaseversie.

Mogelijkheden

Met versie 1.0 van .NET for Apache Spark kunnen ontwikkelaars Spark-applicaties schrijven met .NET user-defined functions en .NET-applicaties die zich aan .NET Standard 2.0 houden, al wordt .NET Core 3.1 of nieuwer aangeraden.

Daarnaast is er ondersteuning voor DataFrame-API’s, waaronder Spark SQL, op basis van Apache Spark 2.4/3.0 en is er een API-extensieframework om ondersteuning voor andere Spark-libraries toe te voegen.

Voor toekomstige versies wordt gewerkt aan het werkend maken van Language Integrated Query. Het team legt ook nadruk op extra deployment-opties en integratie met DevOps-pijplijnen.

Versie 1.0 van .NET for Apache Spark is vanaf de eerstvolgende grote uitgave van Azure Synapse en Azure HDInsight ingebouwd en werkt met zowel Windows, macOS als Linux.