Het Bing-zoekteam gebruikt Small Language Models (SLM’s) om de zoekmachine te verbeteren. Dit leidt zelfs tot een throughput-verbetering van ongeveer honderd keer ten opzichte van LLM’s. Dankzij deze innovatie kan Bing zoekopdrachten nauwkeuriger verwerken en begrijpen.
Het Bing-zoekteam deelde hoe het Bing Search en Bing’s Deep Search sneller, nauwkeuriger en kostenefficiënter heeft gemaakt door over te stappen op SLM-modellen en TensorRT-LLM te integreren.
Volgens Bing brengen de verbeteringen drie belangrijke voordelen voor zoekers:
1. Snellere zoekresultaten
Dankzij geoptimaliseerde inferentie krijgen Bing-gebruikers snellere reactietijden, waardoor de zoekervaring soepeler en efficiënter wordt.
2. Verbeterde nauwkeurigheid
De verbeterde mogelijkheden van SLM’s stellen Microsoft in staat om nauwkeurigere en meer contextuele zoekresultaten te leveren, waardoor Bing-gebruikers effectiever de informatie vinden die ze nodig hebben.
3. Kostenefficiëntie
Door de kosten van het hosten en draaien van grote modellen te verlagen, kan Microsoft blijven investeren in verdere innovaties en verbeteringen, waardoor Bing aan de top van de zoektechnologie blijft staan.
Martkaandeel vergroten
Een snellere en nauwkeurigere zoekervaring kan Bing helpen om meer vertrouwen en bruikbaarheid te winnen bij gebruikers. Dit kan ertoe leiden dat meer mensen Bing Search gaan gebruiken in de toekomst, waardoor het marktaandeel van grotere spelers zoals Google mogelijk afneemt.
Daarnaast zetten gebruikers steeds vaker ChatGPT in voor het ingeven van zoekopdrachten. Ook dat kan de dominantie van Google bedreigen. In juli onthulde OpenAI SearchGPT, een eerste stap richting een zoekmachine. Deze verschilt van traditionele zoekmachines door niet simpelweg een lijst van relevante websites te tonen, maar de bronnen direct achter het antwoord te vermelden. Inmiddels is het geïntegreerd in ChatGPT zelf, dat naar wens een zoekopdracht uitvoert.
Meer Small Language Models
Vorige week schreven we bij Techzine al over Phi-4. Dit is een door Microsoft ontwikkeld klein state-of-the-art SLM met 14 miljard parameters dat zelfs OpenAI’s grote taalmodel GPT-4 overtreft in de MATH- en GPQA AI-benchmarks.
Microsoft beweert dat de sterke prestaties van dit Small Language Model op het gebied van wiskundig redeneren te danken zijn aan het gebruik van hoogwaardige synthetische datasets. Dit naast de curatie van hoogwaardige organische data en dankzij verbeteringen na de training van het model.