微软通过直接在 Copilot+ 笔记本电脑 NPU 上运行的最新 Phi-Silica SLM，向本地 LLM 又迈进了一步

LaptopMedia.com 新闻 Microsoft Is One Step Closer to Local LLMs With Their Newest Phi-Silica SLM That Runs Directly on Copilot+ Laptop NPUs

从: Severin Kolakov 29 5月 2024 / 14:51 0

我们都在思考一个问题：什么时候才能在我们的设备上实现本地人工智能？虽然 Chat GPT、Gemini 和 Copilot 是不错的选择，但如果能在 PC 上运行本地 AI 模型，而不需要 ping 到服务器或面临审查的危险，那就太好了。微软正在通过其新的Phi-Silica模型将这一想法变得更近，他们将其称为小语言模型（Small Language Model），简称SLM。

它将被嵌入到所有新的Copilot+ 笔记本电脑中，这些笔记本电脑将最终使用所有这些半导体公司在其 CPU 和 SoC 中加入的NPU （神经处理单元） 。

到目前为止，已公布的 Copilot+ 笔记本电脑只有骁龙处理器，但英特尔和 AMD 肯定会尽快加入，因此可以想象，从 2025 年起，所有个人电脑和笔记本电脑都将搭载本地 LLM。

Phi-Silica 是微软 Phi 系列语言模型中最小的一个，拥有33 亿个参数。LLM 参数决定了语言模型的行为。有了更多的参数，人工智能就可以使用更多的训练数据来做出决定，然后再经过过滤，形成你所看到的输出结果。

微软透露，该模型的延迟时间为每秒 650 个词组，这只是一种愚蠢的测量方法。我们不得不自己进行了一些计算，但最终，Phi-Silica 的延迟时间仅为1.5 毫秒，相当快，因此，预计提示信息会迅速送达，不会出现任何减速。SLM 的功耗约为1.5W，因此不会占用大量资源，也不会拖慢其他工作。令牌生成由 CPU KV 缓存处理，每秒可生成约 27 个令牌。

目前看来，Phi-Silica 可能是 Copilot+ 的独有技术，不过，如果微软决定将其开源，它将为人工智能驱动的可穿戴设备和许多其他设备打开大门。

如果你是一名开发人员，请查看微软是如何将 Phi-Silica添加到Windows SDK中的，这样你就可以创建本地运行的人工智能驱动的Windows应用程序了。