2min

Tags in dit artikel

, , , ,

Het Japanse Fujitsu Laboratories wil een graantje meepikken van de trend waarbij systemen steeds meer data moeten verwerken. Vandaag laat het bedrijf weten dat het een nieuwe technologie heeft ontwikkeld die kan helpen bij de snelle verwerking van big data in gedistribueerde opslagsystemen waarbinnen informatie op meerdere schijven wordt opgeslagen.

De nieuwe technologie werd al uitgeprobeerd in het open-source Ceph-framework en volgens Fujitsu werkt het goed genoeg om het soepel uitlezen van data op zulke opslagsystemen mogelijk te maken. In een uitgebreide blog legt het bedrijf uit hoe het systeem precies werkt.

Vertraging door bestandsoverdracht

Volgens technici van Fujitsu zorgen de grote hoeveelheden data die tussen opslag en servers op- en neer gaan voor de voornaamste vertragingen binnen analytische systemen. Door de gegevens al op de opslagservers te verwerken denken de technici de processen flink te kunnen versnellen, doordat het niet nodig is om de data überhaupt van server te laten verwisselen.

De nieuwe techniek van Fujitsu draagt de naam Dataffinic Computing en verbindt meerdere servers binnen een netwerk, maar zorgt er ook voor dat de servers hun oorspronkelijke opslagfunctionaliteit behouden. De gegevens die verspreid staan over meerdere servers kunnen dan ook individueel verwerkt worden. Daardoor blijft de schaalbaarheid van het systeem als geheel bewaard, maar worden de prestaties wel verbeterd.

De verbeteringen die behaald worden zijn fors. Volgens Fujitsu bestond een proefopstelling van Dataffinic uit vijf opslagplekken en vijf servers die aan elkaar verbonden werden met een netwerk dat een snelheid van 1 Gbps ondersteunde. Binnen de proefopstelling moest 50 gigabyte aan videomateriaal verwerkt worden, wat binnen vijftig seconden gebeurde. Dat is tien keer zo snel als normaal, want middels conventionele methodes zou er ongeveer 500 seconden nodig zijn.

De volgende stap die de ontwikkelaars willen nemen, is ook bevestigen of Dataffinic werkt met commerciële toepassingen. Als dat zo is, moet in 2019 een nieuw product met deze architectuur op de markt gebracht worden.