M4-Neural-Engine: Entwickler schaltet versteckte 15,8 TFLOPS KI-Trainingsleistung frei

Der unter dem Pseudonym 0x0SojalSec aktive Entwickler hat die Apple Neural Engine des M4-Chips detailliert analysiert und dabei 15,8 TFLOPS an bisher ungenutzter Rechenleistung freigeschaltet. Apple schränkt den Zugriff auf die dedizierte KI-Hardware standardmäßig strikt ein: Programmierer dürfen die Neural Engine ausschließlich für Inferenz-Aufgaben nutzen, also für den Betrieb bereits fertiger Modelle. Das eigentliche Training neuer Netzwerke von Grund auf ist über die offiziellen Schnittstellen nicht möglich.

Mit dem Reverse-Engineering-Umfang demonstriert der Forscher, dass die Hardware prinzipiell in der Lage ist, anspruchsvolle Trainingslasten zu bewältigen. Die Sperre liegt allein auf Softwareseite und wird durch private APIs durchgesetzt. Betroffen von dem Befund sind alle aktuellen Geräte mit M4-Prozessor:

• MacBook Air und MacBook Pro mit M4
• Mac mini mit M4
• iMac mit M4
• iPad Pro mit M4

Um an Apples offizielle Frameworks vorbeizukommen, entwickelte der Entwickler eine komplett eigene Model Intermediate Language von Grund auf. Diese proprietäre Zwischensprache kompiliert neuronale Netzwerke direkt im Arbeitsspeicher zur ANE-Hardware, ohne dass CoreML, Metal oder die Grafikeinheit zum Einsatz kommen. Das ist ein fundamentaler Unterschied zum üblichen Workflow, bei dem Entwickler auf die etablierten Apple-Tools angewiesen sind.

Die Lösung ermöglicht erstmals die Ausführung von Backpropagation und das vollständige Training von Transformer-Modellen direkt auf der Neural Engine. Die Software verzichtet dabei vollständig auf externe Abhängigkeiten und greift ausschließlich auf System-Frameworks zurück. Damit entsteht eine extrem schlanke Umgebung, die sich ohne aufwendige Installation auf jedem kompatiblen Gerät nutzen lässt.

Der gesamte Prozess läuft ausschließlich im RAM ab. Es werden keine Dateien auf die Festplatte geschrieben und auch keine Archivdateien erzeugt. Diese Vorgehensweise beschleunigt den Workflow erheblich, bringt aber bei besonders rechenintensiven Trainingsphasen Stabilitätsprobleme mit sich. Um Abstürze zu verhindern, speichert das Programm seinen aktuellen Zustand in regelmäßigen Abständen als Checkpoint.

Bei kritischen Fehlern startet sich die Anwendung anschließend selbst neu, indem sie einen exec()-Befehl ausführt. Dieser Mechanismus sorgt dafür, dass das Programm sich quasi selbst respaunt und das Training nahtlos fortgesetzt werden kann. Der gesamte Quellcode liegt unter dem GitHub-Pfad github.com/maderix/ANE offen vor und steht damit der gesamten Entwicklercommunity zur Verfügung.

Die Apple Neural Engine des M4-Chips besitzt mit 15,8 TFLOPS erhebliche, aber offiziell gesperrte Trainingsleistung. Durch eine selbst entwickelte Intermediate Language und einen Neustart-Mechanismus lässt sich die Hardware nun direkt für KI-Training nutzen, ohne CoreML oder Metal. Der Open-Source-Code auf GitHub macht die Methode für alle M4-Geräte zugänglich.