Intuitive Bedienung von Geräten durch akusto-gestische Steuerung

Manchmal ist es erforderlich Geräte oder technische Anlagen zu steuern, ohne dafür die Hände einzusetzen. Die Gründe hierfür können sehr unterschiedlich sein. Entweder werden die Hände für andere Dinge benötigt (z. B. für die Reparatur oder Instandsetzung einer Anlage), oder sie stehen auf Grund einer Erkrankung oder körperlichen Einschränkung einfach nicht zur Verfügung. Anstelle herkömmlicher Eingabemedien, wie z. B. einer Tastatur oder einer Spracheingabe, bietet sich hier eine Gestensteuerung an.

Die Gestensteuerung deckt dabei aber nur den Kommunikationskanal vom Menschen zur Maschine ab. Für den Rückkanal von der Maschine zum Menschen kommen dann z. B. Displays zum Einsatz. Eine weitere Möglichkeit zur Kommunikation zwischen Maschine und Mensch kann über eine akustische Schnittstelle, bei der Anweisungen oder Statusmeldungen gesprochen bzw. vorgelesen werden und über das menschliche Ohr erfasst werden. Wir bezeichnen die Kombination aus Gestensteuerung und akustischer Ausgabe als »akusto-gestische Steuerung«.

Das Fraunhofer IMS hat hierfür eine akusto-gestische Schnittstelle entwickelt, die in einen Kopfhörer integriert wurde, um das Medizingerät EQUIVert® ohne klassische Bedienelemente und nur mit dem Kopf zu bedienen.

Die Ablaufsteuerung übernimmt dabei ein handelsüblicher Mikrocontroller mit einer angebundenem 9-Achsen Inertial Measurement Unit (IMU) zur Erfassung der Bewegungen des Kopfes. Die Beschleunigungsdaten des Kopfes werden vom Sensor erfasst und mit einem patentierten Verfahren so aufbereitet, dass nur wenige Merkmale aus dem Echtzeitsignal an ein neuronales Netz weitergeleitet werden müssen, welches dann die Klassifikation der Kopfbewegung, wie z. B. Nicken und Schütteln des Kopfes, vornimmt. Mit den erkannten Gesten kann der Nutzer des Gerätes dann durch die Menüpunkte des Systems navigieren, das Gerät konfigurieren und den Trainingsablauf steuern.

Für die Realisierung kommt die vom Fraunhofer IMS entwickelte Embedded-KI-Bibliothek »AIfES« (Artificial Intelligence for Embedded Systems) zum Einsatz, die es erlaubt Künstliche Neuronale Netze (KNN) auf Mikrocontroller-Plattformen mit extrem eingeschränkten Ressourcen (Rechenleistung, Speicher, Energieverbrauch) auszuführen und anzulernen.

Die Textansagen zur Steuerung des Medizinproduktes liegen digitalisiert in einem Speicher vor, im Fall von EQUIVert® auf einer SD-Karte, und werden von der Ablaufsteuerung über Direct Memory Access Verfahren an einen Digital-Analog-Wandler mit nachgeschaltetem Audioverstärker weitergeleitet. Im Falle von EQUIVert® handelt es sich sowohl um gesprochene Textfragmente zu den Menüpunkten und Einstellungen des Systems, als auch zu den Anleitungen für das Gleichgewichttraining. Die Textfragmente werden dann je nach Bedarf von dem System automatisiert zusammengesetzt und dem Nutzer vorgespielt. Die Rückmeldung des Nutzers erfolgt dann über eine entsprechende Kopfgeste.

Die akusto-gestische Steuerung bietet dem Anwender von EQUIVert® eine intuitive Nutzersteuerung, die ohne weitere Bedienelemente auskommt und gewährleistet, dass er seine Hände stets frei hat, um sicher sein Gleichgewichtstraining absolvieren zu können.

Neben dieser Anwendung aus dem medizinischen Bereich eignet sich die akusto-gestische Steuerung auch für andere Anwendungsbereiche wie z. B. Gaming-Anwendungen, Expertensysteme für Techniker oder Trainingssysteme im Bereich der Rehabilitation.