Analysis, Modeling and Dynamic Optimization of 3D Time-of-Flight Imaging Systems

(Kurzfassung) Die vorliegende Arbeit befasst sich mit der Optimierung von 3D-Laufzeitkamerasystemen. Diese neuartigen Kameras erfassen Entfernungsbilder, indem sie die beobachtete Szene aktiv beleuchten und die Laufzeit (Time-of-Flight, ToF) des rückgestreuten Lichtes bestimmen. Dabei werden Tiefenbilder aus mehreren Rohbildern konstruiert, wobei typischerweise zwei dieser Bilder simultan mit Hilfe spezieller korrelierender Sensoren aufgenommen werden. Der wissenschaftliche Beitrag dieser Arbeit setzt sich aus vier Entwicklungen zusammen: Präsentiert wird ein physikalisches Sensor-Modell, welches eine Analyse und Optimierung des Prozesses der Rohbildaufnahme ermöglicht. Hierauf gestützt wird ein auf einer logarithmischen Kennlinie beruhendes ToF Sensor-Design vorgeschlagen. Aufgrund von Asymmetrien der beiden parallelen Auslesestufen des Sensors ist gegenwärtig eine mehrfache Akquisition der Rohbilder notwendig. Dies ermöglicht eine Korrektur systematischer Fehler. Die vorliegende Arbeit präsentiert eine Methode zur dynamischen Kalibrierung und Kompensation dieser Asymmetrien. Sie erlaubt die Erzeugung von zwei Tiefenkarten aus den ursprünglichen Rohdaten (eines Tiefenbildes), und bewirkt so eine Verdopplung der Bildwiederholrate. Da mehrere zu unterschiedlichen Zeiten aufgenommene Rohbilder zu einem einzigen Tiefenbild kombiniert werden, treten bei der Abbildung dynamischer Szenerien Bewegungsartefakte auf. Diese Arbeit stellt eine neue, einfache und robuste Methode zur Detektion und Korrektur solcher Artefakte vor. Die in dieser Arbeit präsentierten Algorithmen besitzen eine Berechnungskomplexität, die auch auf Systemen mit limitierten Ressourcen (z.B.~eingebetteten Systemen) eine Ausführung in Echtzeit erlaubt. Die Algorithmen werden unter Nutzung eines kommerziellen ToF Systems demonstriert. (Abstract) The present thesis is concerned with the optimization of 3D Time-of-Flight (ToF) imaging systems. These novel cameras determine range images by actively illuminating a scene and measuring the time until the backscattered light is detected. Depth maps are constructed from multiple raw images. Usually two of such raw images are acquired simultaneously using special correlating sensors. This thesis covers four main contributions: A physical sensor model is presented which enables the analysis and optimization of the process of raw image acquisition. This model supports the proposal of a new ToF sensor design which employs a logarithmic photo response. Due to asymmetries of the two read-out paths current systems need to acquire the raw images in multiple instances. This allows the correction of systematic errors. The present thesis proposes a method for dynamic calibration and compensation of these asymmetries. It facilitates the computation of two depth maps from a single set of raw images and thus increases the frame rate by a factor of two. Since not all required raw images are captured simultaneously motion artifacts can occur. The present thesis proposes a robust method for detection and correction of such artifacts. All proposed algorithms have a computational complexity which allows real-time execution even on systems with limited resources (e.g.~embedded systems). The algorithms are demonstrated by use of a commercial ToF camera.