Technische Details von AIfES

Ressourcenschonende Programmierung

Die AIfES-Funktionen arbeiten ausschließlich mit Pointer-Arithmetik und deklarieren nur die nötigsten Variablen innerhalb einer Funktion. Das bedeutet, dass die Speicherbereiche für die Trainingsdaten und die Gewichte durch das Hauptprogramm bereitgestellt werden. AIfES-Funktionen greifen durch Übergabe eines Pointers auf diese Speicherbereiche, zu ohne selbst große Ressourcen zu beanspruchen.

Plattformunabhängig und kompatibel

Durch die kompatible Programmierung mit der GCC ist eine Portierung auf nahezu alle Plattformen möglich. Dies ermöglicht die völlig autarke Integration inklusive Lernalgorithmus auf einem eingebetteten System.  

Für die Nutzung unter Windows kann beispielsweise der Quellcode als »Dynamic Link Library« (DLL) kompiliert werden, um sie so in Softwaretools wie z. B. LabVIEW oder MATLAB integrieren zu können. Besonders die direkte Anbindung an MATLAB ist hilfreich um z.B. verschiedene Datenvorverarbeitungen zu testen.

Auch die Integration in verschiedene Software-Entwicklungsumgebungen wie z. B. Visual Studio oder einer Python-IDE ist möglich. Das Hauptprogramm, welches die DLL einbindet, kann somit auch in einer anderen Programmiersprache sein wie z. B. C++, C#, Python, VB.NET, Java.

Für die erste Entwicklung des individuellen FNN eignet sich der PC als Plattform besonders gut, um schnelle Berechnungen durchzuführen. Wenn die richtige Konfiguration erfolgt ist, kann die Portierung auf das eingebettete System erfolgen.

Eine kleine Auswahl von Plattformen und Mikrocontrollern, auf denen wir AIfES schon getestet haben:

• Windows (DLL)
• Raspberry Pi with Raspbian
• Arduino UNO
• Arduino Nano 33 BLE Sense
• Arduino Portenta H7
  
• ATMega32U4
• STM32 F4 Series (ARM Cortex-M4)

Das künstliche neuronale Netz in AIfES

Augenblicklich verfügt AIfES über ein Feedforward Neural Network (FNN), welches in nahezu allen Parametern konfigurierbar ist und auch tiefe Netzstrukturen ermöglicht. Das KNN wird nur mit einer Hauptfunktion konfiguriert und berechnet. Regressions- und Klassifizierungsaufgaben sind möglich. Der Netzaufbau kann natürlich an die aktuelle technische Aufgabe angepasst werden.

Kurze Übersicht der Features:

• Anzahl der Inputs und Outputs frei definierbar
• Anzahl der Hidden-Layer und der Neuronen pro Layer frei definierbar
• Unterschiedliche Aktivierungsfunktionen mit Zusatzparametern
  • Sigmoid, Softsign, ReLU, PReLU, Softmax, …

Vortrainiertes Modell oder Training auf dem eingebetteten System

AIfES bietet zwei Möglichkeiten ein neuronales Netz auf einem eingebetteten System zu integrieren:

Zunächst die klassische Variante, bei der das neuronale Netz auf einem hoch performanten System wie einem PC trainiert wird und dann auf das eingebettete System übertragen wird. Durch den Aufbau von AIfES kann diese Integration ohne Umwege stattfinden, da bei allen Plattformen der gleiche Quellcode genutzt wird und somit nur die Gewichte übertragen werden müssen.

Die zweite Variante ist das Training auf dem eingebetteten System selbst. Dies kann nützlich sein, wenn sich z. B. ein Sensor selbst kalibrieren soll oder ein Nachtrainieren nötig ist. Letzteres kann unter anderem für die Kompensation von fertigungsbedingten Systemabweichungen vorteilhaft sein. Ein weiterer Einsatzbereich wäre die Dezentralisierung der Intelligenz auf lernfähige eingebettete Systeme.

Lernalgorithmen

AIfES enthält bereits zwei unterschiedliche Lernalgorithmen, welche auch auf dem Mikrocontroller genutzt werden können:

Gradient Descent Optimizer (SGD):

Der SGD Optimizer wurde mit gängigen Einstellungsparametern implementiert. Hier eine kurze Übersicht der aktuellen Features:

• Online- und Batch Training
  
• Momentum

Adam Optimizer:

Der Adam Optimizer wurde mit den gängigen Einstellparametern implementiert, welche individuell angepasst werden können.