HoloLens-opvolger gebruikt AI-coprocessor voor betere tracking

Microsoft is al een tijd bezig met het ontwikkelen van de volgende versie van de HoloLens. Inmiddels heeft het bedrijf de eerste details gedeeld over de HoloLens 2.0.

Marc Pollefeys, Director of Science van HoloLens, zei in een blogpost dat, hoewel DNN (Deep Neutral Network) enorm veel heeft bijgedragen aan de verbeteringen de afgelopen jaren, deep learning twee grote uitdagingen heeft. Zo heeft het een grote hoeveelheid aan data nodig om zichzelf iets aan te leren en heeft het een compute variant nodig die zich niet in de huidige processor- en geheugenarchitecturen bevindt. Met een apparaat zoals de HoloLens, is het daarnaast nodig om alles in één centrale locatie te regelen.

De HoloLens beschikt over een handgemaakte multi-processor; de zogenaamde Holographic Processing Unit, of HPU in het kort. De HPU is verantwoordelijk voor het verwerken van de informatie van alle on-board sensoren, waaronder Microsoft’s time-of-flight dieptesensor, head-tracking camera’s, de IMU en de infraroodcamera. De HPU maakt de HoloLens wat het is; ’s werelds eerste, volledig zelfstandige holografische computer.

Tijdens CPVR 2017 kondigde Harry Shum, EVP van de Artificial Intelligence and Research Group, aan dat de tweede versie van de HPU een AI-coprocessor bevat om zo lokaal en flexibel DNN’s te implementeren. Hiermee analyseert de HoloLens wat de gebruiker ziet en hoort, zonder dat het eerst data naar de cloud moet sturen om het daar te verwerken. Daarnaast maakt de AI-coprocessor functies zoals betere hand tracking en on-device spraakherkenning mogelijk.