Handschrifterkennung durch KNN – Möglich mit AIfES

Heutzutage gibt es verschiedenste Interfaces und Verfahren, mit denen sich die Handschrift erfassen und erkennen lässt. Mit Hilfe des vom Fraunhofer IMS entwickelten AIfES-Framework (Artificial Intelligence for Embedded Systems) ist es jetzt möglich, die auf einem Touchpad eingegebene Handschrift von einem Mikrocontroller erkennen zu lassen. Normalerweise ist Handschrifterkennung eine rechenintensive Aufgabe, welche von einem leistungsfähigen PC übernommen werden muss. Durch den Einsatz der extrem platzsparenden AIfES-Bibliothek ist es nun möglich, solche Operationen selbst auf kleinen Mikrocontrollern oder dem Touchpad selbst durchführen zu lassen.

Das auf dem Touchpad manuell eingegebene Zeichen wird dabei in Form der erzeugten Rohdaten erfasst. Daraus werden per Software mit einem innovativen und zum Patent angemeldeten Verfahren Merkmale extrahiert, die dann durch ein antrainiertes neuronales Netz ausgewertet werden. Das Training des neuronalen Netzes erfolgt ebenfalls mit Hilfe von AIfES auf dem Mikrocontroller. Das Touchpad sendet nur noch die Ergebnisse, in diesem Fall das erkannte Zeichen an den Rechner. So werden effektiv Datenmengen reduziert, Laufzeiten minimiert und andererseits die Datensicherheit erhöht.

Erleichtert wird dies durch die Plattformunabhängigkeit von AIfES, wodurch das Framework auf nahezu jedem Mikrocontroller ausgeführt werden kann. Für die Auswahl der geeigneten Hardware ergeben sich so viele Freiheitsgrade. Statt der üblichen Tastenfelder ist eine einfache und schnelle Art der Handschrifterkennung möglich, welche vor allem in den Bereichen Smart Home oder Smart City eingesetzt werden kann. Beispiele hierfür sind die Eingabefelder von Bankautomaten, Sicherheitssystemen, Telefonen oder auch Taschenrechnern. Aber auch eine erweiterte Touchpadfunktion von Laptops kann umgesetzt werden.

Ein erster Demonstrator des Fraunhofer IMS weist die Funktionalität der Handschrifterkennung durch die Erkennung von handgeschriebenen Ziffern nach. Eine Erweiterung auf die zusätzliche Erkennung von Buchstaben ist ebenso möglich wie die Erkennung komplexerer Gesten zur Bedienung von Geräten, die mit geeigneten Sensoren erfasst werden. Das Fraunhofer IMS stellt seine Kompetenz und Technologie gern für die Entwicklung neuer Anwendungen und Produkte zur Verfügung.

https://www.youtube.com/watch?v=vaHxPavwGKY

Für den hier gezeigten Versuchsaufbau wurde ein handelsübliches PS/2-Touchpad zusammen mit einem Arduino Uno verwendet. Die Ergebnisse der Handschrifterkennung werden auf einem LC-Display gezeigt. Unter diesen Bedingungen konnte abhängig von der Anzahl der aufgenommenen Messpunkte und der Länge des Schriftzuges eine Rechendauer von etwa 20 bis 25 ms erreicht werden. Da beispielsweise der Schriftzug einer »8« länger ist als der einer »1« und so auch mehr Messpunkte aufgenommen werden, ist die Auswertung einer »8« aufwendiger. Um das Netz zu trainieren, wurden lediglich 360 Ziffern in Form von 36 Datensets der Zahlen »0« bis »9« verwendet, eingegeben von unterschiedlichen Personen. Die Wiedererkennungsrate der Trainingsdaten lag bereits mit diesem übersichtlichen Datenset bei über 95% und kann mit mehr Trainingsdaten weiter optimiert werden.