Achtergrond
Machines zien diepte dankzij lichtradar
11 december 2009
Onderzoekers van de Vrije Universiteit Brussel ontwikkelden een 3D-beeldsensor en richtten spin-off Optrima op om hun technologie te integreren in een commercieel product. Senior ingenieur Ward van der Tempel van Optrima legt uit hoe het 3D-camerasysteem werkt en voor welke toepassingen het geschikt is.
Als mens neem je de wereld waar in drie dimensies. Dat vind je heel normaal, want de wereld is ook een driedimensionaal gegeven. Maar beeld je eens in dat je niet in 3D zou kunnen waarnemen en dus geen enkele afstand of diepte kon inschatten. Alledaagse taken als rondwandelen zonder botsen en voorwerpen opnemen, worden niet te onderschatten uitdagingen en voor sommige dingen wordt interageren met de wereld zelfs onmogelijk. Zo voelt de hedendaagse machine zich: beperkt en niet goed uitgerust om echt een actieve rol te spelen. En dit alleen maar vanwege een gebrek aan 3D-zicht.
Een computer of elektronische applicatie de wereld laten zien in 3D is al lang onderwerp van talloze onderzoeksprojecten. Om 3D-informatie te verkrijgen, ontwikkelen onderzoekers object- en bewegingsherkenningsalgoritmes op basis van 2D-beelden, stereoscopische systemen of laserscannersystemen. Ook de projectie van rasters op voorwerpen en uit de vervorming daarvan 3D-beelden extraheren, is een bekende benadering. Deze aanpakken hebben gemeen dat ze in essentie het 3D-zicht van mensen proberen na te bootsen.
Optrima’s camerasysteem bouwt voort op de Depthsense-technologie ontwikkeld op de Vrije Universiteit Brussel.
Indien we echter de vereisten stellen dat een bruikbaar 3D-systeem robuust moet zijn in elke situatie, in echte tijd moet kunnen kijken, mobiel en liefst ook goedkoop moet zijn, dan zijn de voorgenoemde technieken nog steeds ontoereikend. Om die reden ontwikkelde de vakgroep Elektronica en Informatieverwerking van de Vrije Universiteit Brussel een 3D-sensor die beter aan deze eisen voldoet. Dit werk culmineerde in het voorjaar van 2009 in de oprichting van een bedrijf: Optrima.
Time-of-flight
De door ons ontwikkelde sensor is gestoeld op het time-of-flight-principe (Tof). Een time-of-flight-afstandsmeting is niets minder dan het opmeten van de reistijd van een signaal dat je zelf uitstuurt. De reistijd van dat signaal levert afstands- en dus diepte-informatie op. Als het signaal akoestisch is, spreek je van een echo of sonar, bekend van vleermuizen en duikboten. Gaat het om een radiogolfsignaal, dan heet het radar. Op licht gebaseerde systemen vallen onder de noemer ‘lidar’, naar ‘light detection and ranging’. Om een beeld te maken, genieten lichtgebaseerde systemen de voorkeur vanwege de korte golflengte van licht - nodig voor een goede resolutie - en de mogelijkheid welgekende optische lenssystemen te gebruiken.
In Figuur 1 staat een schematische voorstelling van Optrima’s Tof-systeem. Het achterhaalt de tijdsvertraging door de reistijd op te meten met een gemoduleerde lichtgolf en een correlatiefunctie in iedere pixel. Om parameters zoals de reflectiviteit van het object en eventuele storing van achtergrondlicht uit de meting te halen, zijn meerdere correlatiemetingen nodig. Deze combineren we tot een maat voor de afgelegde afstand.
Wij gebruiken een gemoduleerde nabij infrarode lichtgolf, die we uitzenden naar de te analyseren scène en een 3D-sensor die de reflecties opvangt. Deze sensor bestaat uit een matrix van elementjes, die elk afzonderlijk in staat zijn om de tijd te meten die de lichtgolf nodig heeft om van de zender naar het object en terug naar de sensor te reizen. Vermits de snelheid van licht een goed gekende constante is, kan samen met deze opgemeten reistijd een afstand worden berekend.
Met behulp van optica kunnen we elk elementje naar een ander stukje van de scène laten kijken – net zoals een normaal camerasysteem. Zo is het mogelijk om in één keer een 3D-beeld op te meten. Dit is een belangrijke troef: het systeem heeft immers geen bewegende delen nodig en vermits elke pixel op hetzelfde moment een meting doet, ontstaat er een 3D-snapshot.
Figuur 1: Een time-of-flight-meting haalt diepte-informatie uit de tijd die licht nodig heeft om van zendstation via voorwerp naar ontvanger te komen.
De afstandsberekeningen voor iedere pixel zijn heel eenvoudig van aard. De vereiste verwerkingskracht is zeer laag en schaalt lineair met het aantal pixels in de sensor. Dit in grote tegenstelling tot triangulatiesystemen zoals stereovisie, die grote rekenkracht vereisen.
De resolutie van afstandsmetingen gebaseerd op het Tof-principe is vooral afhankelijk van de hoeveelheid lichtinformatie die de sensor heeft kunnen vergaren. Deze hoeveelheid wordt bepaald door het lichtvermogensbudget van het Tof-systeem, de lens, de pixelgrootte, het aantal beelden per seconde, de afstand tot en reflectiviteit van het object en de sensor zelf. Een goede analyse van de toepassing en de juiste sensorkeuze zijn dus noodzakelijk om een optimaal Tof-systeem te bouwen.
QQVGA
Als basis voor de sensor hebben we op de Vrije Universiteit Brussel een nieuw soort CMos-detector ontwikkeld en gepatenteerd die detectie van licht combineert met het meten van correlaties. Dit meten van correlaties is nodig om het tijdsverschil te bepalen tussen het verzonden gemoduleerde signaal en het heel zwakke gereflecteerde signaal dat wordt opgevangen. Ongewenste invloeden zoals de reflectiviteit van objecten en het achtergrondlicht geproduceerd door de zon of andere lichtbronnen onderdrukken we door een combinatie van optische filters en speciaal ontworpen schakelingen.
De sensortechnologie hebben we Depthsense gedoopt. Deze is volledig in CMos-technologie vervaardigd, waardoor de productiekosten laag blijven en de sensor ook makkelijk kan worden gecombineerd met andere componenten. Optrima integreerde de sensor in een volledig camerasysteem (Figuur 2). De camera geeft diepteschattingen voor 160 bij 120 pixels, die met dertig beelden per seconde worden doorgestuurd via USB 2.0. Een C/C++-softwareontwikkelkit verleent volledige toegang aan de realtime diepte-informatie.
De videoresolutie van de sensor lijkt laag in vergelijking met de conventionele 2D-beeldsensoren. De aanwezigheid van de volledige 3D-informatie vormt echter zoveel toegevoegde waarde wat betreft beeldinhoud, dat het QQVGA-formaat (160 bij 120 pixels) al voldoende is voor veel applicaties.
Figuur 2: De Optrima-camera geeft 3D-informatie met kleuren weer.
Afkolftoestel
De toepassingen waar een 3D-camera nuttig voor is, zijn uitermate divers. De technologie is bruikbaar in zo veel markten dat je haast van een nieuwe industriële revolutie zou spreken. In het algemeen kun je stellen dat elke toepassing waar machinevisie noodzakelijk is ook behoefte heeft aan informatie over de derde dimensie. Dit zijn typisch machinetaken die wij als mens uitvoeren door te vertrouwen op onze wereldse kennis en onze beide ogen.
In het verkeer kan een goede dodehoeksensor bijvoorbeeld mensenlevens redden door fietsers en voetgangers automatisch te herkennen. Een aangekoppeld systeem in de auto zou op tijd kunnen ingrijpen, zonder dat de bestuurder daarbij betrokken is. In de gamingwereld zou de 3D-camera een nieuwe controller kunnen worden waarmee de speler zelf de interface wordt. Scenario’s bekend van de film Minority Report, waar je met je handen zonder aanraking een computer bestuurt, zijn met Depthsense-technologie niet meer zuivere sciencefiction.
Vanzelfsprekend vraagt ook de industriële wereld naar robuuste realtime 3D-camerasystemen. Hierbij denken we aan applicaties opgezet rondom een loopband, waar objecten gedetecteerd en opgemeten moeten worden, of flexibele palletting- en vooral depallettingmachines met meer instantane kennis over de stapeling van de objecten op de pallet.
Andere industriële applicaties kunnen we vinden in de agrarische wereld voor het automatisch melken van koeien. Hier moet het afkolftoestel worden aangekoppeld aan de tepels van een bewegend dier met specifieke fysionomie. Het terugkoppelen van realtime 3D-data over de posities van de tepels vergroot de slaagkans en snelheid van aankoppeling.
Een ander bekend probleem is het tellen van mensen in een ruimte of gang. De beste huidige methode bestaat uit het plaatsen van tourniquets, maar dit belemmert de doorstroom. 3D-camera’s zouden hier een goedkoop alternatief kunnen bieden dat tevens de stroom van mensen niet belemmert en toch een zeer lage faalkans heeft.
In de medische en ouderenzorg-sector biedt een Tof-3D-camera mogelijkheden voor het rehabiliteren van mensen met mobiliteitsproblemen met behulp van interactieve oefeningen en onmiddellijke elektronische analyse van de gemaakte bewegingen. 3D-camera’s zouden ook ingezet kunnen worden bij ouderen voor het detecteren van activiteit in een ruimte en valdetectie.
Ten slotte vormt de beveiligingswereld een zeer groot toepassingsgebied voor 3D-camera’s. Door de onmiddellijk beschikbare 3D-data zijn heel wat detectiealgoritmes te versimpelen, waardoor deze op de camera zelf kunnen worden uitgevoerd. Dit speelt in de kaart van de huidige tendens naar gedistribueerde intelligente camerasystemen.
Ward van der Tempel is senior ingenieur bij de start-up Optrima en assistent op de dienst Elektronica en Informatieverwerking van de Vrije Universiteit Brussel, waar hij 3D-CMos-Tof-sensoren ontwikkelt in het kader van zijn doctoraatsonderzoek.