Microsoft ist mit seinem neuesten Phi-Silica SLM, der direkt auf Copilot+ Laptop NPUs läuft, einen Schritt näher an lokalen LLMs

LaptopMedia.com Nachrichten Microsoft Is One Step Closer to Local LLMs With Their Newest Phi-Silica SLM That Runs Directly on Copilot+ Laptop NPUs

Von: Severin Kolakov 29 Mai 2024 / 14:51 | 0

Wir haben alle darüber nachgedacht, wann wir eine lokale KI auf unseren Geräten haben werden. Chat GPT, Gemini und Copilot sind zwar ganz nett, aber die Möglichkeit, lokale KI-Modelle auf dem PC auszuführen, die keine Ping-Verbindung zu einem Server benötigen oder der Gefahr der Zensur ausgesetzt sind, ist großartig. Microsoft bringt diese Idee mit seinem neuen Phi-Silica-Modell, das als Small Language Model oder kurz SLM bezeichnet wird, ein gutes Stück näher.

Es soll in alle neuen Copilot+ Laptops integriert werden, die endlich die NPUs (Neural Processing Units) nutzen, die all diese Halbleiterfirmen in ihre CPUs und SoCs eingebaut haben.

Bislang sind die einzigen angekündigten Copilot+-Laptops Snapdragon-basiert, aber Intel und AMD werden sicher so schnell wie möglich nachziehen. Sie können sich also vorstellen, dass alle PCs und Laptops ab 2025 mit lokalen LLMs ausgestattet sein werden.

Phi-Silica ist mit 3,3 Milliarden Parametern das kleinste Sprachmodell der Phi-Serie von Microsoft. LLM-Parameter diktieren das Verhalten eines Sprachmodells. Je mehr Parameter, desto mehr Trainingsdaten kann die KI verwenden, um eine Entscheidung zu treffen, die dann gefiltert wird, um die Ausgabe zu erzeugen, die Sie sehen.

Microsoft gab an, dass die Latenzzeit des Modells 650 Token pro Sekunde beträgt, was nur eine dumme Art der Messung ist. Wir mussten selbst ein paar Berechnungen anstellen, aber letztendlich beträgt die Latenzzeit von Phi-Silica nur 1,5 ms, was ziemlich schnell ist, so dass die Eingabeaufforderungen schnell und ohne Verlangsamung geliefert werden. Der SLM verbraucht etwa 1,5 W Strom, so dass er nicht zu einem großen Ressourcenfresser wird und Ihre anderen Arbeiten nicht verlangsamt. Die Generierung von Token erfolgt im KV-Cache der CPU und erzeugt etwa 27 Token pro Sekunde.

Bislang sieht es so aus, als ob Phi-Silica exklusiv für Copilot+ zur Verfügung steht. Sollte sich Microsoft jedoch dazu entschließen, es als Open-Source zu veröffentlichen, könnte es die Tür für KI-gesteuerte Wearables und viele andere Geräte öffnen.

Wenn Sie ein Entwickler sind, sehen Sie sich an, wie Microsoft Phi-Silica zum Windows SDK hinzufügt, damit Sie KI-gesteuerte Windows-Anwendungen erstellen können, die lokal ausgeführt werden.