Er komt een consortium voor Python Data API-standaarden

Abonneer je gratis op Techzine!

Meerdere machine learning-groeperingen slaan de handen ineen voor een speciaal consortium. Het gaat om een groep die de Python Data API-standaarden bepaalt. De machine learning-groeperingen Apache MXNet en Open Neural Network Exchange zijn dit initiatief gestart.

Het idee is dat de samenwerking tussen machine learning-medewerkers en data scientists beter gaat. Ongeacht welk framework of andere tool uit het Python-ecosysteem er wordt gebruikt. Het consortium zal standaarden bepalen voor de dataframes en tensors. Met als doel om zo de versnippering tegen te gaan die momenteel steeds vaker problemen geeft binnen het Python-ecosysteem.

Python

Python is een taal die wordt gebruikt in onder andere Pandas PySpark en Apache Arrow, evenals TensorFlow en PyTorch. Die laatste is wel interessant: PyTorch sluit zich namelijk niet aan bij het consortium. Het is een veelgebruikte machine learning-framework. Een Facebook-woordvoerder stelt tegenover VentureBeat dat momenteel alle dataframe-libraries dezelfde API’s hebben, maar met voldoende verschillen waardoor het om en om gebruiken niet echt mogelijk is.

Het consortium is van plan om te groeien. “We willen graag doorgroeien naar cross-project en cross-ecosysteem samenwerken op het gebied van API’s, dataoverdrachtmechanismes enzovoort.” Daar is echter coördinatie en communicatie voor nodig. Meer nog dan technische innovatie. Vandaar dat het consortium wordt opgericht. Het eerste waar de groep mee aan de slag gaat is het opzetten van de werkgroep. Vervolgens moet het de basis leggen voor de initiële standaard.

Feedback

Daarna zal het feedback vragen aan dataframe-library-medewerkers en nog aanpassingen doen. Die feedbacksessie is volgende maand gepland. Werk aan de winkel dus, want pas na al dat werk wordt de standaard een feit. Daarnaast moeten er ook nog tools worden gemaakt. Hiermee kunnen mensen arrays en tensoren vergelijken of bijhouden hoe het met de functie van de library is.

De Open Neural Network Exchange is ook een soort consortium, want het is ooit gestart door Facebook en Microsoft. Nu zijn er 40 organisaties aangesloten, waaronder IBM, Baidu, Intel en Qualcomm.