Sony introduceert zijn Intelligent Vision Sensor. Een camerasensor met een AI-engine en geheugen zodat beeldanalyse en -verwerking op de chip zelf kan worden uitgevoerd.
De Sony IMX500 is een 12,3-megapixelsensor van het 1/2,3-type. Het betreft een stacked sensor, waarbij de lichtgevoelige laag bovenop de chip voor het beeldverwerking is gemonteerd. De onderste laag bevat een image signal processor (ISP) voor het verwerken van beeldsignalen en een digital sensor processor (DSP) voor het verwerken van AI-signalen. Ook beschikt de chip over eigen geheugen voor het AI model. De AI-modellen zijn naar wens in het geheugen te programmeren.
Beeldanalyse
Bij normale beeldanalyse in de cloud moet eerst alle beeldinformatie geüpload worden om vervolgens de relevante metadata uit die beelden te halen. Volgens Sony kan de Intelligent Vision Sensor gebruikt worden als een chip voor beeldanalyse zonder dat daarbij een externe processor of server nodig is. De sensor verwerkt metadata in plaats van uitgebreidere beeldinformatie, waardoor het datavolume afneemt. Daarnaast moet de nieuwe sensor beter voor privacy zijn, aangezien beelden niet opgeslagen of verstuurd hoeven te worden.
De sensor is bedoeld voor IoT-apparatuur, beveiligingscamera’s en industriële toepassingen. Gebruikers kunnen de AI-modellen naar wens in het geheugen programmeren afhankelijk van de omstandigheden op de locatie van het systeem. Dit kan bijvoorbeeld handig zijn wanneer meerdere camera’s op een winkellocatie worden geïnstalleerd. De camera kan bij de ingang van de winkel klanten tellen die binnenkomen, maar dezelfde camera kan bijvoorbeeld ook voorraden monitoren in de winkelschappen zelf. De sensor schiet beelden op 60 fps in full frame, 4K in 60 fps en 1080p in 240 fps voor video’s.
Sony maakt twee versies, een losse sensor en een complete package met de naam IMX501. De losse chip is nu al verkrijgbaar en kost 10.000 yen (85 euro) en de IMX501 is vanaf juni beschikbaar en kost 20.000 yen (170 euro).