Brandaktuelle ML-Technologie für MEMS-Sensoren: Optimierung von Genauigkeit, Leistung und Stromverbrauch
Die aktuelle Generation von Sensoren kann jetzt dank neuer Technologien für maschinelles Lernen (ML) auch vom Netzwerkrand aus wichtige Daten erfassen, analysieren und versenden.
Beispielsweise nutzt die vorausschauende Wartung ML-Modelle, um Sensordaten zu bewerten, technische Einheiten wie Motoren zu überwachen und frühzeitige Anzeichen von Verschleiß oder potenziellen Ausfällen zu erkennen. Dieser proaktive Ansatz hilft, Ausfälle zu vermeiden und Ausfallzeiten und Reparaturkosten zu reduzieren.
Durch die Integration essentieller ML-Konzepte sind Sensoren nun in der Lage, Daten zu verarbeiten, nützliche Merkmale zu extrahieren und unabhängige Entscheidungen zu treffen, ohne auf externe Rechenressourcen angewiesen zu sein. Im Wesentlichen können diese Sensoren Daten analysieren und Vorhersagen treffen, ohne dass eine explizite Programmierung erforderlich ist.
Dieser Artikel veranschaulicht, wie die Weiterentwicklung von ML-Algorithmen die Verarbeitung von Sensordaten transformiert hat. Außerdem liegt ein Schwerpunkt auf der Darstellung, wie die ML-Technologie die technischen Einschränkungen bei der Verarbeitung von Sensordaten am Netzwerkrand überwunden hat.
Die Integration von ML-Algorithmen in MEMS-Sensoren und KI-Technologie ermöglicht die Entwicklung einer neuen Generation intelligenter, offener und präziser Sensoren. Durch diese Integration wird die Menge der vom System übertragenen Daten reduziert und das Netzwerk entlastet, was zu einem geringeren Stromverbrauch führt und die Lösung nachhaltiger macht. Im Ergebnis erhalten schließlich Endnutzer durch präzise Sensordaten relevante und nutzbare Informationen.
MEMS-Sensoren nutzen verschiedene Technologien für die Verarbeitung auf dem Sensor, so gibt es Sensoren mit eingebettetem Kern für maschinelles Lernen (MLC) und Sensoren mit intelligenter Sensor-Verarbeitungseinheit (ISPU) (siehe Abbildung 1). Merkmale wie der eingebettete Kern für maschinelles Lernen ermöglichen es Sensoren, Bewegungen exakt zu erkennen und Ereignisse an einen Prozessor mit optimaler Energieeffizienz zu übermitteln. Durch die Integration einer ISPU wird die erforderliche Rechenleistung weiter optimiert, was die Systemleistung maximiert.
Abbildung 1: (a) Verarbeitung durch Sensor mit MCU (Quelle) (b) Sensoren mit eingebettetem Kern für maschinelles Lernen (Quelle)(c) Sensoren mit intelligenter Sensor-Verarbeitungseinheit (ISPU) (Quelle)
Sensordaten lassen sich über eine Entscheidungsbaumlogik verarbeiten. Ein Entscheidungsbaum ist ein mathematisches Werkzeug, das aus konfigurierbaren Knoten besteht, die durch eine „if-then-else“-Bedingung definiert werden. Diese Bedingungen werten ein Eingangssignal aus, das durch statistische Parameter dargestellt wird, die aus den Sensordaten im Vergleich mit einem Schwellenwert berechnet werden.
Im System-in-Package LSM6DSOX von STMicroelectronics wird diese Funktion beispielsweise durch überwachtes Lernen implementiert, das Folgendes umfasst:
Die Klassen in einem Aktivitätserkennungsalgorithmus können z. B. Stehen, Gehen, Joggen, Radfahren, Fahren usw. sein. Für jede Klasse müssen mehrere Datenprotokolle erfasst werden, etwa von verschiedenen Personen, die dieselbe Aktivität ausführen. Die Analyse dieser Datenprotokolle zielt auf Folgendes ab:
Sobald ein Entscheidungsbaum definiert ist, kann ein mitgeliefertes Softwaretool eine Gerätekonfiguration erstellen, die es ermöglicht, den Entscheidungsbaum bei minimalem Stromverbrauch auf dem Gerät auszuführen.
Die ML-Kernfunktionen im LSM6DSOX können in drei Hauptblöcke unterteilt werden (Abbildung 2):
Abbildung 2: Kernblöcke für maschinelles Lernen (Quelle)
In dieser Phase werden die Daten vom integrierten Beschleunigungsmesser, Gyroskop oder einem zusätzlichen externen Sensor, der über die I²C-Master-Schnittstelle (Sensor-Hub) angeschlossen ist, erfasst.
In dieser Phase werden Filter und Merkmale auf die Eingabedaten angewendet, die im ersten Block erfasst wurden. Merkmale sind statistische Parameter, die aus den Eingabedaten (oder aus den gefilterten Daten) innerhalb eines vom Benutzer auswählbaren Zeitfensters berechnet werden. Diese berechneten Merkmale dienen dann als Eingabe für den dritten Block.
Der Entscheidungsbaum untersucht die statistischen Parameter, die im Berechnungsblock berechnet wurden. Es kommt ein binärer Baum zum Einsatz, um diese Parameter mit bestimmten Schwellenwerten zu vergleichen und im Rahmen der Aktivitätserkennung Ergebnisse wie Stehen, Gehen, Joggen, Radfahren usw. zu generieren. Über einen optionalen „Meta-Classifier“-Filter lassen sich auch die Ergebnisse des Entscheidungsbaums verfeinern. Bei der finalen Ausgabe der Ergebnisse des ML-Kerns werden die Ergebnisse des Entscheidungsbaums sowie eine optionale Meta-Classifier-Filterung berücksichtigt.
Die Eingabedatenrate muss der Datenrate des ML-Kerns entsprechen oder diese überschreiten. In einem Aktivitätserkennungsalgorithmus mit 26 Hz muss beispielsweise die Ausgangsdatenrate (ODR) des ML-Kerns auf 26 Hz und die Sensor-Ausgangsdatenrate auf mindestens 26 Hz oder höher eingestellt werden.
Der ML-Kern verwendet die folgenden Einheitenkonventionen:
Ein externer Sensor, wie ein Magnetometer, kann über den Sensor-Hub (Modus 2) an den LSM6DSOX angeschlossen werden. In diesem Setup können die Daten eines externen Sensors auch für die ML-Verarbeitung verwendet werden, wobei die ersten sechs Hub-Bytes (zwei pro Achse) als Eingabe für den ML-Kern betrachtet werden.
Das Grundelement der Filterung im ML-Kern ist ein IIR-Filter zweiter Ordnung, wie in Abbildung 3 dargestellt.
Abbildung 3: Grundelement Filter (Quelle)
Die Übertragungsfunktion des generischen IIR-Filters zweiter Ordnung ist:
Die Ausgangssignale können wie folgt definiert werden:
y(z)=H(z).x(z)
y(z)=y(z). gain
Der ML-Kern greift auf Standardkoeffizienten für die verschiedenen Filtertypen (Hochpass, Bandpass, IIR1, IIR2) zu, um die Speicherauslastung zu optimieren. Nach der Auswahl eines Filtertyps hilft das ML-Kern Tool bei der Konfiguration des Filters, indem die erforderlichen Koeffizienten angefordert werden.
Merkmale bezeichnen statistische Parameter, die über die Sensoreingänge des ML-Kerns (Machine Learning) abgeleitet werden. Alle Merkmale werden innerhalb eines bestimmten Zeitfensters berechnet, auch als „Fensterlänge“ bezeichnet, ausgedrückt als Anzahl der Samples. Es ist wichtig, dass der Benutzer die Fenstergröße bestimmt, da sie eine entscheidende Rolle bei der ML-Verarbeitung spielt, da alle statistischen Parameter im Entscheidungsbaum innerhalb dieses Fensters bewertet werden.
In einem Algorithmus zur Aktivitätserkennung können beispielsweise alle 2 oder 3 Sekunden Merkmale berechnet werden. Wenn die Sensoren mit 26 Hz arbeiten, sollte die Fensterlänge etwa 50 bzw. 75 Samples betragen.
Für einige Merkmale benötigt der ML-Kern zusätzliche Parameter für die Auswertung, wie z. B. einen Schwellenwert. Zu diesen Merkmalen gehören Mittelwert, Varianz, Energie, Peak-to-Peak und Wert.
Über das Merkmal „Mittelwert“ wird der Durchschnitt der ausgewählten Eingabe (I) innerhalb des definierten Zeitfensters (WL) anhand der folgenden Formel berechnet:
Über das Merkmal „Varianz“ wird die Abweichung der ausgewählten Eingabe (I) im definierten Zeitfenster (WL) mit folgender Formel ermittelt:
Über das Merkmal „Energie“ wird die Energie der ausgewählten Eingabe (I) im definierten Zeitfenster (WL) mit folgender Formel bestimmt:
Über das Merkmal „Peak-to-Peak“ wird der maximale Spitze-zu-Spitze-Wert der ausgewählten Eingabe innerhalb des definierten Zeitfensters berechnet.
Das Merkmal „Spitzendetektor“ zählt die Anzahl der Peaks (positiv und negativ) der ausgewählten Eingabe innerhalb des definierten Zeitfensters.
Ein Entscheidungsbaum ist ein Vorhersagemodell, das aus Trainingsdaten erstellt wurde, die sich im LSM6DSOX speichern lassen. Trainingsdaten bestehen aus Protokollen, die für jede Klasse, die erkannt werden soll, erstellt wurden. Bei der Aktivitätserkennung können beispielsweise Gehen, Joggen und Fahren zu den Klassen gehören.
Die Ergebnisse der Berechnungsblöcke, die zuvor bereits erläutert wurden, dienen als Eingabewerte für den Entscheidungsbaum. Für jeden Knoten im Entscheidungsbaum ist eine Bedingung definiert, die einen Schwellenwert für die Auswertung eines bestimmten Merkmals festlegt. Wenn die Bedingung erfüllt ist, wird der nächste Knoten im True-Pfad aktiviert. Andernfalls wird die Prüfung am nachfolgenden Knoten im False-Pfad fortgesetzt (siehe Abbildung 3). Der Entscheidungsbaum wird von Knoten zu Knoten abgearbeitet, bis eine Lösung gefunden wurde.
Abbildung 4: Knoten im Entscheidungsbaum (Quelle)
Der Entscheidungsbaum erzeugt für jedes Fenster ein neues Ergebnis. Ein Fenster verfügt über eine benutzerdefinierte „Fensterlänge“ für die Berechnung der Merkmale (Abbildung 4). Die Länge des Fensters wird über die Samples definiert, und der Zeitrahmen kann berechnet werden, indem die Gesamtzahl der Samples durch die für den ML-Kern (MLC) verwendete Datenrate geteilt wird.
Zeitfenster = Fensterlänge / MLC_ODR
Wenn die Fensterlänge beispielsweise 104 Samples und die MLC-Datenrate 104 Hz beträgt, gilt für das Zeitfenster:
Zeitfenster = 104 Samples / 104 Hz = 1 Sekunde
STMicroelectronics hat eine neue MEMS-Produktlinie eingeführt, die als intelligente Sensor-Verarbeitungseinheit (ISPU) bekannt ist. Diese Bausteine sind für ML-basierte Verbraucherelektronik sowie industrielle IoT-Anwendungen geeignet. Die intelligenten Sensor-Verarbeitungseinheiten vereinen Detektions- und Signalaufbereitungsfunktionen, und bieten einen extrem energiesparenden, hochleistungsfähigen programmierbaren Kern auf demselben Chip wie der Sensor. Dieser Kern ermöglicht die Ausführung von Algorithmen für Signalverarbeitung und maschinelles Lernen innerhalb des Sensorpakets.
Die ISPU ist ein hochleistungsfähiger, programmierbarer DSP mit äußerst geringem Energieverbrauch, der zur Verarbeitung von KI-Algorithmen und zur Echtzeitverarbeitung direkt im Sensor entwickelt wurde. Diese Technologie ist für anspruchsvolle Anwendungen an der Peripherie des Netzwerks konzipiert (Abbildung 5).
Abbildung 5: Konfiguration der intelligenten Sensor-Verarbeitungseinheit (Quelle)
LSM6DSO16IS und ISM330IS sind Produkte mit ISPU. Der LSM6DSO16IS wurde für Verbraucheranwendungen entwickelt, während der ISM330IS für industrielle Anwendungen vorgesehen ist. Beide Produkte enthalten einen 3-Achsen-Beschleunigungsmesser und ein digitales 3-Achsen-Gyroskop. Diese ständig aktiven Inertialgeräte verfügen über chipinterne Verarbeitungsfunktionen.
Die ISPU besteht aus einem 32-Bit-RISC-Kern mit Harvard-Architektur, Programmier- und Daten-RAM und einer Gleitkommaeinheit (FPU) für Addition, Subtraktion und Multiplikation. Über den Sensor-Hub ist es ihr möglich, sich mit externen Sensoren zu vernetzen und entsprechende Informationen zu erfassen. Der Kern ist für die Echtzeitausführung von Algorithmen für maschinelles Lernen (ML) und Deep Learning zur Verarbeitung von Inertialdaten oder externen Sensordaten optimiert.
Der LSM6DSO16IS eignet sich für die Kombination von KI mit Sensoren in Verbraucheranwendungen wie Gestenerkennung, Aktivitätserkennung und Bewegungsverfolgung. Der ISM330IS eignet sich für KI in Edge-basierten industriellen Anwendungen wie Robotik, Zustandsüberwachung und Asset Tracking.
Sensoren mit ISPU sind bezüglich Stromverbrauch äußerst wettbewerbsfähig, selbst wenn Echtzeit-Verarbeitungsalgorithmen ausgeführt werden. Durch die Integration eines KI-optimierten DSP und eines Trägheitssensors mit sechs Achsen auf demselben Chip ermöglichen diese Sensoren die Entwicklung eigenständiger Verbraucher- oder Industriegeräte mit äußerst niedrigem Stromverbrauch. Die Anwendung erfordert auch eine Host-MCU, die im Ruhemodus verbleiben kann und wenig Strom verbraucht, bis sie vom Sensor geweckt wird. Dieser Ansatz schont Rechenressourcen, unterstützt Edge-Verarbeitung und verlängert die Akkulaufzeit bei batteriebetriebenen Designs.
Als globaler Distributor haben wir Partnerschaften mit Top-Lieferanten geschlossen, um eine breite Palette an Sensoren und notwendigem Zubehör mit Funktionen für maschinelles Lernen anzubieten:
| Lieferanten | Produkte |
|---|---|
| STMicroelectronics | LSM6DSOXTR |
| STMicroelectronics | STEVAL-MKIT01V2 |
| STMicroelectronics | STMICROELECTRONICS STEVAL-MKI229A |
| STMicroelectronics | STMICROELECTRONICS STEVAL-MKI230KA |
Der LSM6DSOX von STMicroelectronics demonstriert die Integration durch ein Entscheidungsbaum-Logiksystem mit überwachtem Lernen. Dieses System verarbeitet Sensoreingaben, extrahiert Merkmale und verwendet einen Entscheidungsbaum, um Aktivitäten bei minimalem Stromverbrauch zu klassifizieren. Durch die Nutzung von Filtern und statistischen Berechnungen innerhalb definierter Zeitfenster ordnet der Entscheidungsbaum Eingaben effizient Ausgaben zu. Dank Fortschritten in der ML-Technologie konnten technische Einschränkungen überwunden und die Effizienz und Leistungsfähigkeit der Edge-basierten Sensordatenverarbeitung verbessert werden. Die ISP-Einheiten von STMicroelectronics eignen sich bestens für ML-basierte IoT-Anwendungen. Der LSM6DSO16IS ist für Verbraucheranwendungen geeignet, während der ISM330IS, eine 6-achsige IMU-System-in-Package-Lösung, für industrielle Anwendungen konzipiert ist. Beides sind Inertialgeräte mit chipinterner Verarbeitung. Sensoren mit ISPU sind bezüglich Energieverbrauch definitiv wettbewerbsfähig, sparen Rechenressourcen, ermöglichen Edge-Verarbeitung und verlängern die Akkulaufzeit.
Eine der größten Revolutionen der menschlichen Geschichte! KI ist ein ganzheitliches Konzept, das menschliche Intelligenz in Maschinen integriert
The #1 Destination for Embedded Evaluation Boards, Development Kits, and Tools
Wir erweitern unsere Bibliothek ständig mit Whitepapers, technischen Artikeln, Videos, Schulungsmodulen, Tutorials und vielem mehr, um Sie bei der Entwicklung Ihrer Designs, Ihres Geschäfts und Ihrer Karriere zu unterstützen
