Wärmebildkameras für AI-basierte Personendetektion

Wärmebildkamera des Fraunhofer IMS
© Fraunhofer IMS
Wärmebildkamera des Fraunhofer IMS
Zwei erkannte Personen in einem Wärmebild
© Fraunhofer IMS
Zwei erkannte Personen in einem Wärmebild
Eine erkannte Person in einem Wärmebild
© Fraunhofer IMS
Eine erkannte Person in einem Wärmebild

Für Rettungsmissionen ist es u. a. wichtig, vermisste Personen z. B. in unwägbarem Gelände oder in verrauchten Gebäuden möglichst schnell zu lokalisieren. Eine weitere Anwendung der Personenerkennung liegt in der Sicherheitstechnik, bei der die Anwesenheit von Personen in gesperrten Bereichen detektiert werden muss. Prinzipiell können für diese Aufgaben auch klassische Videokameras eingesetzt werden. Diese versagen aber bei schwierigen Sichtverhältnissen: In der Nacht müssen zusätzliche Scheinwerfer eingesetzt werden, durch Nebel oder Rauch können klassische Videokameras keine Bilder akquirieren und bei Blendungen wie z. B. tiefstehender Sonne oder Gegenlicht wird die Bildaufnahme übersteuert. Diese Nachteile werden durch den Einsatz von Wärmebildkameras hinfällig. Wärmebildkameras nutzen die von Objekten ausgestrahlte Strahlungsleistung im langwelligen Infrarot-Spektralbereich (LWIR mit einer Wellenlänge von 8 µm bis 14 µm). Dadurch handelt es sich um eine passive Bildaufnahme, denn alle Objekte mit einer Temperatur größer als 0 K emittieren elektro-magnetische Strahlung, deren maximale Intensität bei Körpertemperatur bei ungefähr 10 µm Wellenlänge liegt. Es wird daher keine aktive Beleuchtung der Szenerie z. B. durch Scheinwerfer oder durch die Sonne benötigt. Aufgrund der größeren Wellenlänge als sichtbares Licht durchdringt die LWIR-Strahlung auch Nebel und Rauch.

Zur Klassifizierung von Personen in Videobildern werden typischerweise künstliche neuronale Netze, speziell faltungsbasierte neuronale Netze, eingesetzt. Die dazu notwendigen Algorithmen benötigen hoch-performante Systeme, um eine Objektdetektion in Echtzeit durchzuführen. Das Fraunhofer IMS hat speziell für ressourcenbeschränkte Systeme künstliche neuronale Netze zur Personenerkennung entwickelt. Mit diesen konnte eine Erkennungsrate von 83% und eine Parameterreduktion von über 99% gegenüber state-of-the-art Verfahren der Objekterkennung erreicht werden. Dies ermöglicht den Einsatz der Personenerkennung auf leistungsschwachen Mikrocontrollern mit einer Taktfrequenz von 160 MHz und einem 4 MB großen RAM in Echtzeit. Hierdurch wird keine Anbindung an eine Cloud oder eine ähnliche Verbindung über das Internet benötigt, da der Algorithmus vollständig integriert und autark auf einem eingebetteten System ausgeführt wird. Somit sind wir in der Lage, Personen in Wärmebildern zuverlässig automatisiert zu erkennen und zu markieren.

Bei der eingesetzten Wärmebildkamera handelt es sich um eine Eigenentwicklung des Fraunhofer IMS, die auf einem digitalen 17 µm QVGA-IRFPA (ebenfalls eine Eigenentwicklung) als thermischem Bildaufnehmer für LWIR-Strahlung basiert. In den beiden Wärmebildern sind die jeweils erkannten Personen mittels eines Rechtecks markiert. Mit einer hohen Erkennungsrate von 83 % können Personen in Wärmebildern erkannt werden. Durch die Parameterreduktion um 99 % erreicht die Anzeigesoftware der IMS-Wärmebildkamera inkl. der Algorithmen zur Personenerkennung, auf einem Raspberry Pi, eine echtzeitfähige Bildwiederholrate von 20 Hz.

In der Anzeigesoftware ist ein großes Falschfarbenbild einer Beispielszene zu erkennen. In dieser wurden zwei Personen erkannt und mittels Rechtecke markiert. In der oberen rechten Ecke werden die Koordinaten von den erkannten Personen angezeigt. Diese können z. B. über ein Low-Power-Wide-Area-Networks versendet werden, wenn eine Internetverbindung nicht möglich ist und somit eine Übertragung der Bilddaten nicht möglich ist. Unten rechts befindet sich ein Graustufenbild der Szene.

Die vorgestellten Ergebnisse sind im Rahmen eines Fraunhofer-Projektes „RuLe“ („Resilienz urbaner Lebensräume“) entstanden, bei den die Fraunhofer-Institute FHR, IMS, LBF, IML, FKIE, INT und IAO zusammen kooperiert haben. Die Arbeiten zum Aspekt „embedded AI“ hat das Fraunhofer IMS in Eigenregie durchgeführt.

Benutzeroberfläche der IMS-Wärmebildkamera
© Fraunhofer IMS
Benutzeroberfläche der IMS-Wärmebildkamera

Unsere Anwendungen – Beispiele was wir für Sie tun können

Optische Systeme

Kernkompetenz Smart Sensor Systems

MEMS-Technologien

Kernkompetenz Technology

Geschäftsfeld Flyer

Hier finden Sie komprimierte Informationen über unseren Geschäftsbereich Raumfahrt und Sicherheit.

Raumfahrt

BSI SPAD-Arrays als hochsensitive Detektoren in LiDAR-Sensoren zur dreidimensionalen Erfassung der Umgebung.

 

Space and Security (Home)

Hier gelangen Sie zurück zu der Übersichtsseite des Space and Security Geschäftsfeldes.