3D-Sensing

Stereoskopisches Sehen und ausgereifte Datenverarbeitung im Gehirn ermöglichen den Menschen die dreidimensionale Erfassung ihrer Umgebung. Eine zunehmende Anzahl neuartiger Technologien verlangt diese 3D-Sensing Fähigkeit auch von Maschinen und Systemen, oft mit hohen Anforderungen an die Sicherheit und Zuverlässigkeit der jeweiligen Methode. 

Ein beliebter und bewährter Ansatz des 3D-Sensing, der dreidimensionalen Erfassung der Umgebung, ist die Distanzbestimmung über die Messung der Flugzeit von Licht, das time-of-flight (ToF) Verfahren. Hierbei wird ein Laserpuls ausgesendet, an einem Objekt reflektiert und anschließend auf einem Bildsensor detektiert, was zum Beispiel bei der Geschwindigkeitsmessung mit Laserpistolen der Polizei zum Einsatz kommt. Dieses LiDAR-Verfahren (engl. Light Detection and Ranging) wird außerdem oft in Fahrerassistenzsystemen, Smartphones und in der Robotik verwendet.

Die weit fortgeschrittene Entwicklung von Lasern und die hohe Lichtgeschwindigkeit erlauben grundsätzlich sehr schnelle Distanzbestimmungen und somit 3D-Sensing in Echtzeit. Dies stellt allerdings enorme Anforderungen an den eingesetzten Bildsensor, der die Fähigkeit besitzen muss, Photonen zuverlässig zu detektieren und dabei die Ankunftszeit mit hoher Auflösung zu ermitteln. Falls die Distanzen verschiedener Punkte im Raum bestimmt werden sollen, sind zudem mehrere Pixel mit unabhängigen zeitbestimmenden Elementen auf dem Bildsensor notwendig.

Besonders bei der Anwendung von LiDAR in autonomen Fahrzeugen kommen weitere Herausforderungen hinzu. Das Hintergrundlicht der Sonne variiert zum Beispiel sehr stark und muss dennoch von dem Laserlicht unterschieden werden. Da hier die Seite des Senders (Laser) durch die Vorgabe der Augensicherheit größtenteils beschränkt ist, wird das Hauptaugenmerk auf die Optimierung des Empfängers (Bildsensors) und der nachfolgenden Datenverarbeitung gelegt.

Expertise

Die vom Fraunhofer IMS entwickelten CSPAD Sensoren vereinen hochsensitives 3D-Sensing mit sicheren Algorithmen für den leistungsfähigen Einsatz unter anderem in LiDAR-Anwendungen. Das zentrale Ziel dabei ist, eine maximale Reichweite auch bei hoher Sonnenlichtintensität und gleichzeitig geringen Systemkosten zu erreichen. Abgesehen von den typischen LiDAR-Anwendungen können CSPAD Sensoren unter anderem auch in den Bereichen Spektroskopie, Quantum Imaging und Zufallszahlenerzeugung zur zeitaufgelösten Detektion von Photonen eingesetzt werden. 

Die CSPAD-Technologie basiert auf der Integration der SPAD Sensoren (SPAD, engl. für single photon avalanche diode) mit einem intelligenten Auswertechip auf kleinstem Raum im Rahmen von CMOS-basierten Fertigungsprozessen. Durch die im Haus eingesetzte Wafer-zu-Wafer Integrationstechnologie entstehen somit vollständige Lichterfassungseinheiten, die ihre maximale Performance je nach Applikation abrufen können.

Ein besonderes Merkmal der CSPAD-Sensoren des Fraunhofer IMS sind die in Pixel integrierten, adaptiven Photonenkoinzidenzschaltungen zur Hintergrundlichtunterdrückung. Nur dadurch kann eine Steigerung der
Reichweite bei hoher Sonnenlichteinstrahlung und die zuverlässige Abstandsmessung auch bei wechselnden Wetterbedingungen gewährleistet werden.

Über die Entwicklung und Fertigung neuer, maßgeschneiderter CSPAD Sensoren hinaus, stellt das Fraunhofer IMS eine breite Palette von Leistungen im Bereich 3D-Sensing zur Verfügung. So werden sowohl Evaluationsboards für CSPAD Sensoren als auch komplette LiDAR-Kameras mit entsprechender Software angeboten, mit denen die Sensoren in realistischen Messszenarien evaluiert werden können.Am Fraunhofer IMS werden darüber hinaus Systemsimulationen durchgeführt und ständig neue Methoden zur Signalverarbeitung erforscht, um eine zusätzliche Steigerung der Reichweite zu erzielen. Auch der Einsatz von Künstlicher Intelligenz zur zuverlässigen Detektion und effizienten Rauschunterdrückung wird untersucht. 

SPADEye2

Der Zeilensensor SPADEye2 bietet in 2x192 Pixeln extrem rauscharme CMOS integrierte SPADs, die verbunden mit einer komplexen Schaltung, die zeitaufgelöste Detektion von Photonen erlauben. In jedem Pixel befindet sich ein eigenständiger TDC (Time-to-Digital Converter) zur Zeiterfassung und eine Schaltung zum Zählen von auftreffenden Photonen. 4 SPADs in jedem Pixel sind über eine adaptive Photonenkoinzidenzschaltungen zur Hintergrundlichtunterdrückung verbunden. Der Sensor SPADEye2 kann in einem Messfenster von 1,28 µs Photonen mit einer Zeitauflösung von 312,5 ps detektieren und deckt damit theoretisch eine Distanz von 192 m bei einer Auflösung von ca. 5 cm ab.

LiDAR für neue Mobilitätslösungen. Die Flash-LiDAR-Kamera TinyOwl
(engl. Winzige Eule) ist zweimal kleiner und zeigt zweimal mehr Bilder pro
Sekunde als das Vorgängermodell Owl vom Fraunhofer IMS. Im Bereich Cobots und Coworking verkürzt das System die Arbeitsabstände durch eine echtzeitfähige Bilderfassung. Neue Einsatzgebiete von mobilen Plattformen und Drohnen können mit dieser Lösung erschlossen werden. Eine Umfelderkennung rund um das Fahrzeug beim autonomen Fahren kann auf Basis dieser Technologie entwickelt werden. Möglich wird dies durch die CSPAD-Detektoren als intelligentes Kernelement der Distanzmessung aus eigener Halbleiterproduktion des Fraunhofer IMS. Kamerahersteller und Anwendungsentwickler erhalten vollumfänglichen
Sensorrohdatenzugriff, um für die Applikationen eine robuste 3D-Detektion zu erreichen.

Mit 32 x 24 Pixeln lassen sich Distanzmessungen mittels nur einer Beleuchtung (Flash-LiDAR) und 26 kHz Ausleserate durchführen. Die TDCs (Time-to-Digital Converter) sind pixelweise in der Ausleseelektronik integriert und ermöglichen eine Zeitauflösung von unter 420 ps. Durch
den Einsatz von Mikrolinsenarrays kann zusätzlich eine siebenfache Verbesserung der Empfindlichkeit erreicht werden. In einer weiteren Entwicklungsstufe entsteht aktuell der Flächensensor CSPAD3k mit einer verbesserten Auflösung von 32 x 24 Pixel.

Das Fraunhofer IMS arbeitet fortlaufend an der Entwicklung und Optimierung SPAD-basierter Sensoren und sucht Partner für Anwendungen der CSPAD-Sensoren. Unsere Evaluationskits bieten für jegliche Anwendung einen unkomplizierten Zugang zu den Sensoren mit vielen Möglichkeiten zur Anpassung.