Artificial Intelligence for Embedded Systems

Maschinelles Lernen für Eingebettete Systeme mit AIfES^®

Mit dem Open Source KI-Software Framework AIfES (Artifical Intelligence for Embedded Systems) kann man künstliche Neuronale Netze (KNN) praktisch auf jeder Hardware ausführen und sogar trainieren. Kleine Embedded Systeme plus künstliche Intelligenz (KI) - das Thema unserer Zeit.

Open Source KI-Framework

Das erste Open Source KI-Framework »Made in Germany«, entstanden als Maker-Projekt am Fraunhofer-Institut für Mikroelektronische Schaltungen und Systeme IMS. AIfES^® ist vergleichbar und kompatibel mit den bekannten Python ML Frameworks, wie TensorFlow, Keras oder PyTorch. In der aktuellen Version werden Feedforward Neural Networks (FNN) und Convolutional Neural Networks (ConvNet) unterstützt, die vollkommen frei konfiguriert werden können. Auch die gängigen Aktivierungsfunktionen, wie z. B. ReLU, Sigmoid oder Softmax, sind bereits integriert.

Tiny ML

AIfES^® kann auf fast jedem System benutzt werden, egal ob Mikrocontroller, IoT-Gerät, Raspberry PI, PC oder Smartphone, was den Kauf neuer Hardware überflüssig macht. Besonders im Fokus steht jedoch die Ausführung der KI auf einfachen Mikrocontrollern und kleinen IoT-Geräten, sogenannten »tinyML«. Kleine, selbstlernende, batteriebetriebene Geräte können Sensordaten dort verarbeiten, wo sie anfallen, unabhängig von einer Cloud oder anderen Geräten. Die Daten werden dabei auf dem Gerät gespeichert und die Verarbeitung erfolgt ohne Übertragungsverzögerung mit einem deutlich geringeren Energieverbrauch im Vergleich zu einem PC.

Logo AIfES

Arduino Uno — © Wokwi
Arduino Mega Demonstrator über Wokwi

AIfES^® für Arduino^®

Es wurde eine mit der Arduino^®IDE kompatible Version von AIfES^® realisiert, die nahezu auf jedem Arduino Board lauffähig ist.

Das Repository, wo Sie AIfES herunterladen können
Das Konvertierungstool zur Erstellung von AIfES-Modellen zur direkten Verwendung in der Arduino IDE oder anderen IDEs
Ein spielerischer Tic-Tac-Toe-Demonstrator

Benchmark

AIfES wurde entwickelt, um die Herausforderungen herkömmlicher Edge AI zu überwinden. So ermöglicht das KI Software Framework vom Fraunhofer IMS die Integration von Machine Learning in kleinste eingebettete Geräte. Dadurch wird eine größtmögliche Flexibilität bei der Auswahl der Hardware und der Integration von kundenspezifischen Hardwarebeschleunigern erreicht.

In dem Paper »AIfES: A Next-Generation Edge AI Framework« stellen wir unser Framework vor und vergleichen es mit herkömmlicher Edge AI. Die Ergebnisse wurden mit TensorFlow Lite for Microcontrollers (TFLM) auf einem ARM Cortex-M4-basierten System-on-Chip (SoC) verglichen und zeigen Folgendes:

AIfES überzeugt in Ausführungszeit und Speicherverbrauch für vollständig verbundene, neuronale Netze (engl.: FNNs).
AIfES erreicht bis zu 54 % weniger Speicherbedarf bei der Verwendung von Faltungsneuronalen Netzen (engl.: CNNs).
AIfES ermöglicht effizientes Training von CNNs sogar auf ressourcenbeschränkten Geräten mit nur etwas mehr als 100 kB RAM.

Klimaschutz

Das Projekt unterstützt das UN-Nachhaltigkeitsziel Klimaschutz und Industrie. Durch effiziente Algorithmen und energiesparende Hardware ermöglicht AIfES^® den CO₂-Ausstoß gegenüber Deep Learning auf Hochleistungsrechnern drastisch zu reduzieren.

Dezentralisierte KI

Eine Dezentralisierung der Rechenleistung wird ermöglicht, indem etwa kleine intelligente eingebettete Systeme die Daten vor der Verarbeitung ohne Übertragungsverzögerung übernehmen und einem höher geordneten System die Ergebnisse zur Verfügung stellen. Dies reduziert die zu übertragende Datenmenge deutlich. Darüber hinaus ist auch ein Netzwerk aus kleinen lernfähigen Systemen möglich, die untereinander die Aufgaben aufteilen. Durch eine dezentrale Architektur wird eine erhöhte Zuverlässigkeit und Personalisierbarkeit erreicht.

Privatsphäre

Da die Verarbeitung offline auf dem Gerät stattfinden kann, müssen keine sensiblen Daten übertragen werden.

Neuigkeiten werden regelmäßig auf dem AIfES LinkedIn Kanal kommuniziert. Auf Youtube werden außerdem neue Demonstratoren vorgestellt sowie AIfES^® auf Messen und Events.

Embedded World 2020 – Gesture Recognition Demonstrator

Häufig gestellte Fragen zu AIfES:

Auf welchen Geräten läuft AIfES?

AIfES^® kann auf fast jedem System benutzt werden, egal ob Mikrocontroller, IoT-Gerät, Raspberry PI, PC oder Smartphone. Sie können es sich also sparen neue Hardware zu kaufen und direkt loslegen.

Wie wird AIfES installiert?

AIfES^® kann über die Suche nach "aifes" mit dem Arduino^® Library Manager heruntergeladen und installiert werden. Alternativ dazu ist auch der manuelle Download möglich. Dazu das AIfES-Repository als ZIP-Archiv herunterladen und den Anweisungen folgen. Alle Informationen dazu auf unserem GitHub.

Für welche ML Probleme ist AIfES geeignet?

Im Prinzip für jedes Machine Learning Problem, dass mit komplexen Neuronalen Netzwerken gelöst werden kann. Sie brauchen noch Inspiration? Da helfen unsere Demonstratoren: Gestenerkennung, Erkennung von Farben und Objekten oder ein interaktives Tic-Tac-Toe-Spiel.

Inwiefern kann die Architektur angepasst werden?

AIfES^® wurde als flexible und erweiterbare Toolbox für den Betrieb und das Training von künstlichen neuronalen Netzen auf Mikrocontrollern entwickelt. Alle Layer, Loss- und Optimierungsfunktionen sind modular und können für verschiedene Datentypen und Hardware-Plattformen optimiert werden. Aktuell werden komplexe neuronale Netzwerktypen für Inferenz und Training unterstützt.

Warum ist TinyML so spannend?

Nach der Definition der TinyML Foundation ist Tiny Machine Learning (TinyML) ein schnell wachsendes Feld von Technologien und Anwendungen des maschinellen Lernens. Umfasst werden Hardware, Algorithmen und Software, die in der Lage sind, Sensordaten auf dem Sensorknoten bei extrem niedrigem Stromverbrauch (typischerweise im mW-Bereich und darunter) zu analysieren und somit eine Vielzahl von Anwendungen auch auf batteriebetriebenen Geräten ermöglichen. Es werden rasante Fortschritte erzielt. So wurden etwa erhebliche Erfolge bei Algorithmen, Netzwerken und Modellen mit einer Größe von 100 kB und weniger erreicht und erste stromsparende Anwendungen in den Bereichen Bildverarbeitung und Audio entwickelt. AIFES^® ist ein Vorreiter und ermöglicht erst die Datenverarbeitung auf eingebetteten Systemen. So können Daten auf Mikrocontrollern und kleinen IoT-Geräten gespeichert und die Verarbeitung ohne Übertragungsverzögerung durchgeführt werden. Mehr zu TinyML auf der Webseite der TinyML Foundation.