Geïnspireerd door een blinde neef die ‘rondkijkt’ door zijn omgeving aan te raken, heeft Robert Zakon een toverstaf gemaakt die de naam kan uitspreken van gelijk waarnaar hij wordt gericht. Gehuisvest in een geïmproviseerde pvc-buis, is een Pi Zero W verbonden met een Pi Camera Module die een foto trekt wanneer je op een knop drukt. De foto wordt dan naar Microsofts Cognitive Services Computer Vision API gestuurd om een beschrijving te krijgen. Die beschrijving wordt dan via de Speaker pHAT uitgesproken — met de opensource spraaksynthesesoftware eSpeak.

“Ik was op zoek naar een manier om mijn kinderen iets te leren over innovatie door integratie. Ik wilde al langer zowel de Pi als opkomende cognitieve computerdiensten uitproberen”, legt Robert uit. “Aanvankelijk waren ze wat sceptisch, maar al snel ontdooiden ze voor het idee en ze vonden het resultaat best gaaf (hun woorden). Mijn oudste hielp met het in elkaar steken, en ze hielpen allebei bij het testen.”

De eerste hap van de Pi

Roberts eerste Raspberry Pi-project werd in enkele weekends realiteit. Op de vraag waarom hij voor Microsofts Cognitive Services koos in plaats van andere API’s voor beeldherkenning, antwoordt Robert: “Microsoft pakte het goed aan met de API en het was dan ook redelijk eenvoudig om het te integreren. Er was geen bijzondere reden om ervoor te kiezen behalve dat het robuust genoeg leek en gratis te gebruiken voor mijn project.”

De resultaten verbaasden hem, zowel in termen van nauwkeurigheid als in het detailniveau: “Voor mensen, huisdieren en grote objecten presteert de API bijzonder goed.”

Zelfs wanneer de staf mis is, zijn de resultaten vaak grappig. “Mijn kinderen hadden heel wat plezier wanneer de staf iets verkeerd identificeerde. Zo wezen ze eens naar een speelgoedrobot op een tafel en kregen als identificatie ‘een klein kind op een stoel’. Een ander voorbeeld was onze garage met schuin dak: ze kregen te horen dat het ‘een skater die een heuvel af komt’ was — ik weet nog altijd niet wat volgens de API de skater was. Maar mijn favoriete identificatie is wel toen we de staf naar de wolken richtten en hoorden dat het ging om ‘Superman die in de blauwe hemel vliegt’.”

Maar volgens de originele inspiratie kan de toverstaf ook van groot nut zijn voor slechtziende mensen. “Hoewel er smartphone-apps bestaan die hetzelfde doen, is dit een minder duur en prettiger apparaat.”