Cast AI heeft Kimchi Coding algemeen beschikbaar gemaakt. De autonome codeeragent duwt elke taak naar het meest geschikte model, maakt voor het grootste deel van het werk gebruik van open-weight-modellen en belooft resultaten van het hoogste niveau tegen 2,5 keer lagere kosten dan als een gebruiker voor een enkele, prijzige LLM kiest. Budgetbeheer en datasoevereiniteit zijn standaard ingebouwd, belooft het bedrijf.
Kimchi Coding is nu beschikbaar op kimchi.dev en mikt op het verlagen van torenhoge token-kosten. De toekomst van AI-codering, zo stelt Cast AI, is een orkestratielaag die elke taak tegen de juiste kosten naar het juiste model stuurt, in plaats van deze naar één enkel LLM te leiden. Organisaties werken al weleens op deze manier. Ze reserveren (idealiter) de meest capabele modellen voor de moeilijkste taken en laten open-weight-modellen al het andere afhandelen. Het proces kan echter zowel moeizaam zijn als vol onbenut potentieel zitten, vooral wanneer er geen rekening wordt gehouden met de vele valkuilen van model routing.
“We hebben Kimchi ontwikkeld om elke ontwikkelaar AI-codering van topkwaliteit te bieden zonder torenhoge rekeningen of gegevensrisico’s,” aldus Laurent Gil, president en medeoprichter van Cast AI. Het is in wezen hetzelfde denkproces dat ten grondslag ligt aan de AI Optimizer voor LLM’s die het bedrijf al in 2024 introduceerde, maar nu beter geschikt is voor de coderingsagenten zoals die op dit moment bestaan.
Hoe de routing werkt
De kern van Kimchi Coding wordt gevormd door een autonoom multimodel-harness dat is gebouwd voor tokenoptimalisatie. De orkestratielaag kiest per taak het beste model op basis van complexiteit en kosten. Feedbackloops beoordelen vervolgens de gegenereerde code en beperken het tokenverspilling bij elke stap. Het meeste werk wordt uitgevoerd door open-weight-modellen, waarbij zelfgehoste inferencing draait op GPU-infrastructuur die Cast AI tot op het niveau van de node afstemt.
In ‘shadow-mode’-tests, waarbij uitsluitend commerciële modellen als referentie werden gebruikt, stelt Cast AI dat Kimchi 2,5 keer goedkoper is, maar even sterke resultaten boekt als bij een enkele LLM waar een organisatie altijd op vertrouwt ongeacht de taak.
Governance en datasoevereiniteit
Budgetbeheer is in het product ingebouwd, aldus Cast AI. Er gelden strikte uitgavenlimieten, van individuele API-sleutels tot hele organisaties, en uit de hand gelopen agentische loops worden automatisch beëindigd. Een realtime FinOps-dashboard geeft een overzicht van de kosten per ontwikkelaar, team en project.
Kimchi is ISO 27001- en SOC 2 Type II-gecertificeerd, met ingebouwde AVG-controle en datasoevereiniteit. Het draait standalone binnen de eigen VPC van een klant, of op speciale Nvidia B300 GPU’s op de inferencing-infrastructuur van Cast AI.