Microsoft se rapproche des LLM locaux avec son dernier SLM Phi-Silica qui fonctionne directement sur les NPU des ordinateurs portables Copilot+.

LaptopMedia.com Actualités Microsoft Is One Step Closer to Local LLMs With Their Newest Phi-Silica SLM That Runs Directly on Copilot+ Laptop NPUs

De: Severin Kolakov 29 Mai 2024 / 14:51 0

Nous avons tous réfléchi à la question de savoir quand nous aurons une IA locale sur nos appareils. Bien que Chat GPT, Gemini et Copilot soient utiles, la possibilité d’exécuter des modèles d’IA locaux sur votre PC sans avoir besoin d’envoyer un ping à un serveur ou de risquer la censure est géniale. Microsoft se rapproche encore plus de cette idée avec son nouveau modèle Phi-Silica, baptisé Small Language Model ( SLM ).

Il est destiné à être intégré dans tous les nouveaux ordinateurs portables Copilot+, qui utiliseront enfin les NPU (Neural Processing Units) que toutes ces sociétés de semi-conducteurs ont inclus dans leurs CPU et SoC.

Jusqu’à présent, les seuls ordinateurs portables Copilot+ annoncés sont équipés de Snapdragon, mais Intel et AMD ne manqueront pas de les rejoindre dès qu’ils le pourront, de sorte que l’on peut imaginer que tous les PC et ordinateurs portables à partir de 2025 seront équipés de LLM locaux.

Phi-Silica est le plus petit des modèles de langage de la série Phi de Microsoft, avec 3,3 milliards de paramètres. Les paramètres du LLM dictent le comportement d’un modèle de langage. Avec plus de paramètres, l’IA peut utiliser plus de données d’entraînement pour prendre une décision, qui est ensuite filtrée pour créer le résultat que vous voyez.

Microsoft a révélé que la latence du modèle est de 650 tokens par seconde, ce qui est une façon ridicule de la mesurer. Nous avons dû faire nos propres calculs, mais au final, la latence de Phi-Silica n’est que de 1,5 ms, ce qui est plutôt rapide, donc attendez-vous à ce que les messages soient délivrés rapidement et sans ralentissement. Le SLM consommera environ 1,5 W d’énergie, il ne sera donc pas un gros consommateur de ressources et ne ralentira pas vos autres travaux. La génération de jetons est gérée dans le cache KV du CPU, générant environ 27 jetons par seconde.

Jusqu’à présent, il semble que Phi-Silica soit exclusif à Copilot+, mais si Microsoft décide de le mettre en open-source, cela pourrait ouvrir la porte aux wearables alimentés par l’IA et à bien d’autres appareils.

Si vous êtes développeur, découvrez comment Microsoft ajoute Phi-Silica au SDK Windows, afin que vous puissiez créer des applications Windows alimentées par l’IA et exécutées localement.