De technologie stelt elke gebruiker van een AI-model in staat om hardwarecapaciteit bij te dragen, waardoor de hostingkosten van het model worden verspreid.
De wereld maakte in de afgelopen weken kennis met natural language processing (NLP). De tak van artificial intelligence focust op spraak en tekst. NLP-modellen zijn al jaren algemeen beschikbaar, maar ChatGPT van OpenAI is een van de meest gebruiksvriendelijke opties tot nu toe. Gebruikers bezoeken de website, stellen een vraag en ontvangen geloofwaardige teksten of code.
De kosten van grote NLP-modellen zijn een van de grootste redenen voor het feit dat de technologie pas sinds kort doorbreekt. Tom Goldstein, associate professor aan de University of Maryland, schatte onlangs dat OpenAI bijna 100.000 euro per dag investeert in de hosting van ChatGPT. Dat komt neer op drie miljoen euro per maand.
ChatGPT genereert antwoorden met prijzige GPU’s. OpenAI biedt het model gratis aan, dus draait de organisatie grotendeels voor de kosten op. In de open-source AI community werken IT’ers aan een alternatief. Het project heet Petals en maakt het mogelijk om grote NLP-modellen op een distributed network te hosten, waarbij elke gebruiker een beetje hardwarecapaciteit bijdraagt.
Petals
De technologie is reeds in gebruik. Je installeert een open-source library en volgt de instructies op de website om te verbinden met het Petals-netwerk. Vervolgens heb je toegang tot Bloom, een open-source NLP-model met een vergelijkbare functie als ChatGPT. De technologie beantwoordt vragen met geloofwaardige teksten.
TechCrunch testte het model en liet weten dat korte vragen (bijvoorbeeld vertalingen) binnen enkele seconden werden verwerkt. Langere vragen, zoals een essay over het universum of de betekenis van het leven, kostten tot drie minuten.
ChatGPT is een stuk sneller, maar met Petals draait het NLP-model op een distributed network. Zodra je verbindt heb je de mogelijkheid om hardwarecapaciteit bij te dragen. Het NLP-model draait volledig op bijdragen van gebruikers. Wanneer voldoende gebruikers een klein beetje capaciteit inleveren merkt niemand prestatieverlies en werkt het model razendsnel.
Petals is volledig open-source. De implementatie die we in dit artikel bespreken is toegespitst op Bloom, maar in principe kan de code voor elk NLP-model worden aangepast, waaronder ChatGPT van OpenAI, OPT van Meta en MT-NLG van Microsoft en Nvidia. De ontwikkelaars van Petals willen NLP-technologie toegankelijker maken door de hostingkosten van modellen te verminderen.
Keerzijde
Het systeem is veelbelovend, maar Petals heeft een lange weg te gaan. Volgens de ontwikkelaars is de technologie op dit moment uitsluitend geschikt voor onderzoeksdoeleinden. Een van de redenen is veiligheid. In de huidige implementatie verzendt Petals data over een openbaar netwerk. Stel je een vraag aan het NLP-model, dan heb je geen manier om te voorkomen dat andere gebruikers de vraag inzien.
Organisaties kunnen het probleem omzeilen door de code aan te passen en in een privé omgeving te implementeren. Denk aan een groep van tien bedrijven die samen een NLP-model hosten. Het blijft mogelijk voor gebruikers om elkaar af te luisteren, maar het netwerk wordt in dit geval niet met onbekenden gedeeld.
7 uur geleden
