Gestenerkennung durch künstliche Intelligenz für eingebettete Systeme

Die Erkennung von Gesten ist eine Variante für die Realisierung einer Benutzerschnittstelle für die Bedienung einer technischen Anlage oder eines Geräts. Anstelle einer Tastatureingabe oder einer Spracheingabe macht der Anwender mit seinen Armen, Händen oder mit seinem Kopf bestimmte Bewegungen, die vom technischen System als Steuerbefehle interpretiert werden. Eine Gestensteuerung funktioniert absolut geräusch- und berührungslos und kann daher für besondere Anwendungen eine geeignete Bedientechnologie darstellen. Selbstverständlich müssen die für die Steuerung einer Anlage verwendeten Gesten untereinander deutlich unterscheidbar sein und die Erkennung muss so tolerant sein, dass die Gesten trotz der Toleranzen und Abweichungen bei der Ausführung durch die Anwender eindeutig und sicher erkannt und interpretiert werden.

Die Erkennung von Gesten ist daher prädestiniert für den Einsatz künstlicher Intelligenz, bei der die von geeigneten Sensoren erfassten Bewegungen im Rahmen eines Lernprozesses vor der eigentlichen Verwendung zunächst trainiert werden. Als Sensoren eignen sich prinzipiell Bildsensoren, die die ausgeführten Gesten erfassen und per Bild- bzw. Video-Analyse bewerten. Ebenso geeignet sind auch 3D-MEMS-Sensoren, die Beschleunigungen und Drehraten messen, wenn sie bei der Ausführung der Gesten am betreffenden Körperteil fixiert oder einfach in die Hand genommen werden.

Gestenerkennung mit AIfES

Das Fraunhofer IMS hat die Embedded-KI-Bibliothek »AIfES« (Artificial Intelligence for Embedded Systems)  entwickelt, die es erlaubt Künstliche Neuronale Netze (KNN) auf Mikrocontroller-Plattformenmit extrem eingeschränkten Ressourcen (Rechenleistung, Speicher) auszuführen und anzulernen. Auf der Basis von AIfES wurde ein Verfahren zur Gestenerkennung implementiert und in Form eines Demonstrators verifiziert. Die Gestenerkennung verwendet einen 3D-MEMS-Sensor und extrahiert mit einem innovativen und zum Patent angemeldeten Verfahren aus den aufgenommenen Bewegungsdaten die charakteristischen Merkmale, die während des Anlernprozesses die Gewichte des neuronalen Netzes bestimmen. Nach diesem Lernprozess erkennt das trainierte Neuronale Netz die so gelernten Gesten und identifiziert sie eindeutig innerhalb weniger Millisekunden, das heißt für den Anwender ohne spürbare Verzögerung.

Bei dem vom Fraunhofer IMS entwickelten Demonstrator wurden als Beispielgesten die Ziffern 0-9 eintrainiert, die vom Anwender gewissermaßen in die Luft geschrieben werden. Die ausgeführten Gesten werden von einem Sensor erfasst und anschließend durch AIfES auf dem Mikrocontroller einer Funkfernbedienung klassifiziert. Die Verwendung der Funktechnik (LoRa) macht eine drahtlose und richtungsunabhängige Gestensteuerung über weitere Entfernungen möglich und sorgt so für eine hohe Nutzerfreundlichkeit. Im Fall des Fraunhofer IMS-Demonstrators wird mit der Gestenerkennung ein Roboter gesteuert. Wird die Geste einer dieser Ziffern erkannt, sendet der Mikrocontroller das Ergebnis drahtlos an den Roboterarm und dieser hebt den dieser Ziffer zugeordneten Würfel auf.

Auch andere, individuelle und komplexere Gesten lassen sich problemlos auch auf anderen Mikrocontrollern trainieren. Ermöglicht wird dies durch die hohe Plattformunabhängigkeit und die extrem ressourcensparende Implementierung der Embedded AI bei AIfES.

Neben den Anwendungen im Bereich der Geräte- und Maschinenbedienung eignet sich dieses Verfahren der Gestenerkennung auch für Gaming-Anwendungen oder im Bereich Smart Home sowie im medizinischen Bereich zur Auswertung von Bewegungsabläufen, z. B. bei der Rehabilitation. Es eröffnet sich damit eine ganze Palette an neuen smarten Anwendungen.

Embedded Gesture auf der »embedded world 2022«: Datenblatt herunterladen

Embedded World 2020 – Gesture Recognition Demonstrator - YouTube