EPAM bouwt zijn DIAL-platform uit tot een geavanceerd enterprise AI-orkestratiesysteen. Met de recente release van DIAL 3.0 biedt het een oplossing voor het op grote schaal inzetten van AI zonder in te boeten aan governance, kostenbeheersing of transparantie. We spraken met Arseny Gorokh, VP of AI Enablement & Growth bij EPAM, over het platform.
DIAL is misschien niet de bekendste technologie die er is, maar het heeft wel een geschiedenis om op voort te bouwen. Toen ChatGPT eind 2022 werd gelanceerd, bevond EPAM zich, net als veel andere technologieleveranciers, op onbekend terrein. Met bijna 56.000 engineers zag het bedrijf meteen enthousiasme onder zijn medewerkers om te experimenteren met generatieve AI. Maar dit enthousiasme bracht ook aanzienlijke risico’s met zich mee. Zonder toezicht, nalevingscontroles of kostenbeheer kon ongecontroleerd AI-gebruik al snel uitgroeien tot een aansprakelijkheidsrisico.
Deze uitdaging leidde tot de eerste versie van DIAL, een afkorting van Deterministic Integrator of Applications and Language models. Aanvankelijk had het een eenvoudig doel: fungeren als middleware tussen medewerkers en taalmodellen, governance-regels handhaven en verantwoord gebruik garanderen. Zoals Gorokh zich herinnert, beseften ze al snel dat ze niet konden vertrouwen op medewerkers die zonder goed toezicht met ChatGPT experimenteerden, en dat er een kader moest komen om het gebruik op verantwoorde wijze te beheren.
Waarom open source de basis werd
Vanaf het begin begreep EPAM dat het onmogelijk zou zijn om gelijke tred te houden met de snelheid van AI-innovatie met een gesloten, propriëtaire aanpak. In plaats daarvan besloot het bedrijf DIAL open source te maken, omdat het besefte dat er elke week nieuwe aankondigingen waren op het gebied van AI en dat een poging om alles intern te bouwen zou betekenen dat het binnen enkele weken achterop zou raken. Open source bood twee belangrijke voordelen. Het platform kon sneller evolueren door gebruik te maken van bijdragen van klanten en partners, en het verminderde de vendor lock-in voor organisaties die de flexibiliteit wilden om hun eigen modelstrategie te kiezen.
Een klant ontwikkelde functionaliteit om kleine taalmodellen volledig op lokale infrastructuur te draaien, wat cruciaal was voor het verwerken van zeer vertrouwelijke informatie die het bedrijf niet mocht verlaten. Door dit terug te koppelen naar het platform, konden andere organisaties met vergelijkbare vereisten hier onmiddellijk van profiteren, wat aantoont hoe open-source samenwerking de acceptatie versnelt en tegelijkertijd inspeelt op specifieke behoeften van de sector.
Van eenvoudige controle naar orkestratie
De tweede belangrijke mijlpaal in de evolutie van het platform was DIAL 2.0, dat zijn rol uitbreidde tot meer dan alleen governance en toegangscontrole. Deze versie introduceerde guardrails, routeringsmechanismen en tools voor het bouwen van applicaties bovenop taalmodellen. Maar de echte sprong voorwaarts kwam met DIAL 3.0, dat een veel fundamenteler dilemma voor bedrijven aanpakt: hoe het juiste model voor de juiste use case te selecteren.
In plaats van organisaties aan één enkele provider te binden, ondersteunt het platform nu multi-model-orkestratie. Het kan zoekopdrachten tegelijkertijd doorsturen naar commerciële diensten als OpenAI en Gemini, maar ook naar lokaal gehoste open-sourcealternatieven. Dit maakt het mogelijk om prestaties, latentie, kosten en nauwkeurigheid in reële omstandigheden te benchmarken. Volgens Gorokh biedt DIAL de backend waarmee bedrijven de efficiëntie, kosten, latentie en gebruikersfeedback van verschillende modellen kunnen beoordelen, zodat ze weloverwogen beslissingen kunnen nemen op basis van feitelijke gegevens in plaats van marketingclaims. Voor Europese organisaties ondersteunt de orkestratielaag ook de naleving van strenge eisen op het gebied van dataopslag en soevereiniteit door ervoor te zorgen dat gevoelige query’s binnen lokale datacenters blijven, terwijl minder gevoelige taken naar commerciële providers kunnen worden doorgestuurd voor optimale prestaties.
Bedrijfswaarde door kennisinteractie
Misschien wel de belangrijkste verandering in DIAL 3.0 is de verschuiving van chatbot-ondersteuning naar diepgaande bedrijfsintegratie. De visie van EPAM draait nu om het idee van “real talk to your data”, wat betekent dat het platform is ontworpen om directe interactie mogelijk te maken. Het werkt naast met ongestructureerde tekst, ook met gestructureerde bedrijfsinformatie. Traditionele benaderingen van kennisbeheer, zoals kennisgrafieken, worden opnieuw vormgegeven met generatieve AI als kern, waardoor nieuwe mogelijkheden ontstaan voor hoe ondernemingen hun informatiebronnen kunnen navigeren en gebruiken.
Het systeem kan werken met enorme datasets, onderscheid maken tussen gestructureerde en ongestructureerde datatypen en workflows over meerdere AI-agenten en -modellen heen coördineren. Het resultaat is dat kenniswerkers rechtstreeks dataopslagplaatsen kunnen raadplegen, leidinggevenden ideeën kunnen testen met AI-ondersteunde inzichten en bedrijven generatieve AI kunnen integreren in kritieke workflows zonder aan transparantie of governance in te boeten.
De grenzen van grote modellen testen
Tegelijkertijd benadrukt EPAM dat taalmodellen niet worden behandeld als onfeilbare bronnen van waarheid. Integendeel, het belang van coördinatie vloeit voort uit het feit dat ruwe outputs vaak onbetrouwbaar blijven. Als onderdeel van betrouwbaarheidstests voor een van onze klanten vertoonden grote taalmodellen voor consumenten consistente onnauwkeurigheden bij het beantwoorden van vragen over het bruto binnenlands product (bbp) van landen, waaronder verkeerd geïdentificeerde landen, niet-overeenkomende jaren en onbetrouwbare statistische outputs. Gorokh merkt op dat modellen vaak niet in staat zijn om volledig correcte antwoorden te geven. Daarom richt DIAL zich op het toevoegen van routerings-, validatie- en beoordelingsmechanismen. Wanneer nieuwe modelversies worden uitgebracht, evalueren de monitoringmogelijkheden van het platform snel de verbeteringen op het gebied van kosten, nauwkeurigheid en latentie. Alleen als ze meetbare voordelen opleveren, worden ze geïntegreerd in de orchestration-laag.
Vandaag de dag opereert DIAL op een schaal die maar weinig enterprise AI-platforms kunnen evenaren, legt Gorokh uit. Het ondersteunt tienduizenden actieve gebruikers in tientallen talen en integreert een breed scala aan modellen. Deze operationele reikwijdte biedt EPAM waardevolle inzichten in adoptiepatronen, waardoor duidelijk wordt welke industrieën snel vooruitgang boeken, welke use cases echte bedrijfswaarde opleveren en hoe kostenoptimalisatiestrategieën in de praktijk worden geïmplementeerd. De modulaire architectuur maakt een snelle integratie van nieuwe technologieën mogelijk, zoals bleek toen het Chinese model DeepSeek werd gelanceerd. Binnen enkele dagen had DIAL het model operationeel, waardoor het management en de klanten van EPAM er onmiddellijk mee konden experimenteren. Zo kregen innovaties op het gebied van R&D voorrang op andere overwegingen.
Schaduwuitgaven en milieukosten
Naarmate het platform groeide, bracht het ook een minder zichtbaar gevolg van AI-implementatie aan het licht: schaduwuitgaven en milieukosten. Gorokh is hier openhartig over en legt uit dat tijdens de eerste zes maanden van de implementatie de meeste queries van werknemers helemaal niets met werk te maken hadden, maar gingen over recepten, schoolbenodigdheden en andere alledaagse zaken. Wanneer dit soort gedrag zich voordoet bij duizenden werknemers, lopen de kosten snel op, zowel in termen van financiële uitgaven als van milieu-impact. Governance en transparantie worden daarom essentieel, en niet optioneel, om ervoor te zorgen dat de implementatie van AI in organisaties duurzaam is en aansluit bij de zakelijke prioriteiten.
De drijvende kracht achter vertrouwen
Veel organisaties schakelen juist om deze problemen aan te pakken over op open-source AI-agentplatforms. Platforms met een permissieve Apache-licentie geven bedrijven volledig inzicht in en controle over het eindproduct. In tegenstelling tot propriëtaire black-box-oplossingen bieden ze de transparantie die bedrijven nodig hebben om controle en verantwoordelijkheid te behouden. Gorokh stelt dat deze transparantie ook vertrouwen schept, aangezien leiders die begrijpen hoe AI onder de motorkap werkt, dat wil zeggen hoe modellen worden geselecteerd, waar gegevens worden verwerkt en wat de kostenimplicaties zijn, eerder geneigd zijn om de implementatie uit te breiden naar kritieke bedrijfsactiviteiten.
Verschillende organisaties maken al gebruik van DIAL en aanverwante technologieën om hun kennisbeheer te moderniseren. Gorokh merkt op dat een wereldwijde verzekeringsmaatschappij gebruikmaakt van AI-aangedreven mindmapping om 50 jaar aan ongestructureerde documenten te structureren. Door kennisgrafieken te combineren met generatieve AI, heroverwegen ze hoe bedrijfsgeheugen kan worden geraadpleegd en toegepast. Gorokh benadrukt dat deze bedrijven niet alleen consumenten zijn, maar ook bijdragers, die nieuwe ontwikkelingen creëren, voortbouwen op bestaande concepten en teruggeven aan de open-sourcegemeenschap, waardoor ze sneller kunnen handelen en verbonden blijven met een breder ecosysteem.
De weg vooruit
In de toekomst zal de technische richting van DIAL en soortgelijke platforms waarschijnlijk verschuiven naar gedistribueerde architecturen in plaats van gecentraliseerde systemen. In plaats van elk proces via één enkel model te routeren, zullen bedrijven in staat zijn om de werklast te verdelen over meerdere agents die met elkaar communiceren via peer-to-peer-protocollen. Gorokh beschrijft dit als de logische volgende stap, waarbij organisaties in staat worden gesteld om lichtgewicht agents te bouwen die zijn aangesloten op meer geavanceerde servers en keuzes te maken over waar verschillende componenten van de verwerking plaatsvinden. Die flexibiliteit is cruciaal bij het afwegen van wettelijke vereisten, prestatiedoelen en kostenoptimalisatie.
De ontwikkeling van DIAL van governance-beveiliging naar orchestration engine weerspiegelt de evolutie van enterprise AI zelf. Waar de eerste prioriteit lag bij het controleren van de toegang van werknemers tot ChatGPT, is de dringende behoefte nu het beheren van tientallen modellen, het waarborgen van naleving van soevereiniteitsvoorschriften, het minimaliseren van kosten en het behalen van tastbare bedrijfsresultaten. Door open source, gedistribueerde architecturen en transparante orchestration te omarmen, heeft EPAM DIAL 3.0 gepositioneerd als een platform voor AI op bedrijfsniveau. Voor Gorokh is het duidelijk dat de toekomst van enterprise AI draait om het op verantwoorde en transparante wijze orkestreren van meerdere modellen, op een manier die echte bedrijfswaarde oplevert.
Tip: Llama 3.1 is grootste model: keerpunt in open source AI?