KI in der Edge des IoT

Inferenz-Hardware mit minimalem Energiebedarf

Viele KI-Inferenz-Systeme rufen ständig, in aufeinander folgenden Layern, Daten und Gewichtungen aus dem Speicher ab. Auf jeder dieser sukzessiven Ebenen führen sie Multiplikationen und Additionen aus – so genannte Faltungen oder Konvolutionen – und speichern deren Ergebnisse. Die höchste Priorität beim Design eines KI-Chips mit niedrigem Energie-Budget hat deshalb die Minimierung der Daten, die hin und her bewegt, und der Distanz, über die sie transportiert werden müssen. Standardmäßig arbeiten KI-Systeme heute mit 32Bit-Gleitpunkt-Arithmetik. Die Minimierung der Datenmenge ließe sich dabei durch Absenken der Präzision bewerkstelligen, etwa mit einer 8Bit-Arithmetik. Es lässt sich zeigen, dass damit die Inferenz ohne große Verluste an Genauigkeit machbar ist. Deshalb gibt es viele 8Bit-Implementierungen. Doch auch sie bringen den Energiebedarf der Inferenz noch nicht in den für das Edge-Computing tragbaren Bereich. Eine Maßnahme besteht darin, die Präzision auf 1Bit herabzusetzen. Das resultiert in so genannten binären CNNs (Convolutional Neural Network). Wenig überraschend bedeutet dies einen weiteren Verlust an Genauigkeit im Vergleich zu 8Bit-Implementierungen. Doch in der Praxis reicht es in vielen Anwendungsfällen aus. Eine zweite Abhilfemaßnahme besteht in der Schaffung einer Architektur mit geringerem Energiebedarf für das wiederholte Aufrufen und Speichern von Millionen von Gewichtungen und Eingabewerten. Eine der besten Lösungen in dieser Hinsicht ist es, die trainierten Gewichtungen im Speicher abzulegen und sie dort zu halten, die Inferenz also in Gestalt des analogen In-Memory Computing auszuführen. Zentrale Einheiten eines solchen KI-Prozessors sind somit Speicher-Arrays, die die Werte der trainierten Gewichtungen mithilfe von analogen nicht-flüchtigen Bausteinen speichern, etwa in Resistive-RAMs. Jedes dieser Arrays repräsentiert also einen Layer des neuronalen Netzwerks, und im Array werden die erlernten Gewichtungen als Ohm’sche Leitwerte oder Konduktanzen der individuellen RAM-Bausteine kodiert. Wie lassen sich dann diese Gewichtungen mit dem Eingabewert multiplizieren und addieren? Indem man die Eingangswerte als Word-Line Spannungen der ReRAM-Arrays realisiert. Der Strom durch jede Zelle stellt dann aufgrund des Ohm’schen Gesetzes die Multiplikation der Gewichtung mit dem Eingangswert dar. Und der Strom in der Word Line entspricht im Sinne des Kirchhoff’schen Gesetzes der Summe der Zellenströme auf dieser Leitung. Auf diese Weise lassen sich die Faltungen effektiv implementieren, ohne die Gewichtungen immer wieder aufzurufen und sie hin und her zu bewegen. Natürlich gibt es bei dieser Vorgehensweise eine Reihe von Herausforderungen. So begrenzen die Varianzen der Speicherchips die Präzision, mit der die Gewichtungen kodiert werden können. Das wird insbesondere bei 8Bit Präzision zu einem Problem, jedoch nicht so sehr bei binären Lösungen, für die STT-MRAM sehr gut geeignet ist. Auch spielt die zusätzliche Komplexität bei der Integration von analogen Speichern in einem digitalen System eine Rolle. Denn dies erfordert Digital-Analog-Wandler (und umgekehrt). Doch der Gewinn an Bandbreite durch die Vermeidung der Datenverschiebung überwiegt bei Weitem den Nachteil der größeren Komplexität.

KI-Lösungen für smartere Sensoren

Das Design innovativer Hardware ist Imecs Daseinszweck. Und innovative Hardware ist notwendig, um IoT-Systeme smarter und individueller zu machen. In diesem Sinne arbeiten unsere Forscher an einer Pipeline, die entsprechende Lösungen verspricht. Sie sollen in den kommenden Monaten und Jahre vorgestellt werden. Hardware mit nichtflüchtigen analogen Speichern erlaubt die Implementierung der Faltungen in neuronalen Netzwerken mit minimalem Energieverbrauch – in der Größenordnung einiger Milliwatt. Das verlagert die Inferenz zur Edge des IoT, sei es mit binärer oder später auch mit höherer Präzision. Und ermöglicht damit die lokale Ausführung der smarten Mustererkennung, also die Aufdeckung von Wissensinhalten in großen Mengen von erfassten Daten. Das IoT wird damit erheblich smarter. Die nächste Zielvorgabe ist eine Hardware für Unsupervised ML, also eine Hardware, die den Einsatz von Sensoren ohne trainierte Parameter ermöglicht – Sensoren, die sich individuell und detailliert an ihre Träger und deren momentane Situation anpassen. Das gilt für tragbare Gesundheitssensoren mit detaillierter Kenntnis ihrer Träger. Sie machen das IoT smarter und ermöglichen zugleich eine gesteigerte individuelle Erfahrung.

Seiten: 1 2Auf einer Seite lesen

Ausgabe:
IMEC vzw
www.imec-int.com

Das könnte Sie auch Interessieren