Nu developerteams worden aangemoedigd om de mogelijkheden van AI-first application delivery te overwegen, heeft F5 een reeks verbeteringen doorgevoerd om dit te ondersteunen. Het bedrijf heeft nieuwe mogelijkheden gelanceerd voor F5 BIG-IP Next for Kubernetes (technologie die is ontworpen om netwerken en beveiliging te bieden voor de overgang van complexe netwerken naar een cloud-native infrastructuur) en heeft ook een service aangekondigd die Red Hat Enterprise Linux integreert met F5 Nginx Plus FIPS-compliancefunctionaliteit.
F5 BIG-IP Next voor Kubernetes wordt versneld door BlueField-3 DPU’s (data processing unit, zie hieronder) van Nvidia. Deze chip is ontworpen om hoogwaardig netwerktraffic-beheer en security te bieden voor grootschalige AI-infrastructuren.
CPU, GPU, wat is een DPU?
Als CPU’s algemeen bekend staan als de belangrijkste ‘rekenkracht’ in een gewone pc of mobiel apparaat, dan zijn GPU’s ooronkelijk ontworpen voor complexe grafische weergavetaken (in games, video’s, computerondersteunde ontwerpfuncties, enzovoort). Vanwege hun parallelle rekenvaardigheden hergebruiken cloudspelers ze al langer voor andere doeleinden, met GenAI als belangrijkste workload tegenwoordig.
Dat brengt ons bij de DPU of data processing unit. Dit is een programmeerbare processor die kan worden omschreven als een system-on-a-chip (SoC). Het bevat een krachtige netwerkinterface die gegevens kan parseren, verwerken en efficiënt overdragen met de snelheid van de rest van het netwerk, naar GPU’s en CPU’s. Een DPU beschikt ook over een reeks programmeerbare accelerators. Deze zijn gebouwd om de prestaties van AI- en machine learning-toepassingen te ontlasten en te verbeteren.
Door gebruik te maken van de kracht van DPU’s van Nvidia zegt F5 nu verbeterde prestaties, multi-tenancy en security te kunnen bieden. Ook vinden we hier integratie met Nvidia IDIA Dynamo en KV Cache Manager. Wederom is dit om de latency voor de redenering van LLM’s te verminderen en GPU’s en opslag/geheugen te optimaliseren. Daarnaast zien we slimme LLM-routing op BlueField DPU’s. Deze werken effectief samen met Nvidia NIM-microservices voor workloads die meerdere modellen vereisen. Hierdoor krijgen klanten het beste van alle beschikbare modellen.
Nvidia Dynamo biedt een aanvullend framework voor het implementeren van generatieve AI- en redeneermodellen in grootschalige gedistribueerde omgevingen.
De economische aspecten van AI
Deze technologie betekent dat “eenvoudige AI-gerelateerde taken” kunnen worden doorgespeeld naar goedkopere, lichtgewicht LLM’s ter ondersteuning van generatieve AI. Ondertussen staan geavanceerde modellen beschikbaar voor complexe query’s. Dit niveau van aanpasbare intelligentie maakt het ook mogelijk om routing-functies te gebruiken voor domeinspecifieke LLM’s. Dit verbetert de kwaliteit van de output. Het verkeersbeheer van F5 zorgt ervoor dat query’s naar de meest geschikte LLM gaan. Dit verlaagt de latency, waardoor de felbegeerde time-to-first-token versterkt.
“Bedrijven zetten steeds vaker meerdere LLM’s in om geavanceerde AI-ervaringen mogelijk te maken. Maar het routeren en classificeren van LLM-verkeer kan compute-intensief zijn, wat ten koste gaat van de prestaties en de gebruikerservaring”, aldus Kunal Anand, Chief Innovation Officer bij F5. “Door deze logica rechtstreeks op Nvidia BlueField-3 DPU’s te programmeren, is F5 BIG-IP Next voor Kubernetes de meest efficiënte aanpak voor het leveren en beveiligen van LLM-verkeer. Dit is nog maar het begin: ons platform opent nieuwe mogelijkheden voor AI-infrastructuur.”
F5 heeft ook gewerkt aan een service voor Red Hat Enterprise Linux met F5 Nginx Plus FIPS-compliancefunctionaliteit, die nu beschikbaar is in de AWS Marketplace. Deze technologie bouwt voort op het F5 Application Delivery and Security Platform. Het is bedoeld om uniforme applicatiesecurity, schaalbaarheid en betrouwbaarheid te bieden voor de bescherming van gevoelige gegevens en de naleving van strenge cryptografische normen, waaronder FIPS (Federal Information Processing Standards).
“De F5-oplossing die op Red Hat Enterprise Linux draait, onderstreept ons voortdurende streven om oplossingen te bieden die overheidsinstanties en aanverwante organisaties helpen hun applicatie- en API-beveiliging uit te breiden in een steeds bedreigender wordende omgeving, terwijl ze hun digitale mogelijkheden verbeteren”, aldus John Maddison, Chief Product and Corporate Marketing Officer bij F5. “Nu deze oplossing beschikbaar is in de AWS Marketplace, hebben meer klanten naadloos toegang tot deze krachtige oplossing. Dit als onderdeel van het F5 Application Delivery and Security Platform. Dat is het eerste platform dat hoogwaardige load balancing en traffic management volledig combineert met app- en API-beveiliging.”
Een verbeterde securitypositie
Deze technologieën zijn interessant voor overheden en organisaties die veiligheid voorop stellen. En dan met name voor partijen die bedrijfssoftwarediensten nodig hebben om applicatieafhankelijke technologieën zoals AI te beschermen en te ondersteunen. Dit moet zonder concessies aan security of compliance. De behoefte aan governance op dit gebied krijgt nu extra aandacht en belangstelling door de opkomst van platform engineering, waarbij ontwikkelaars worden aangemoedigd om in grotere mate gebruik te maken van selfservice-automation. De behoefte aan controle op systeemniveau in elke verwerkingslaag is immers nog steeds actueel.
TOPAFBEELDING: François Locoh-Donou, president en chief executive officer van F5.