我们所有带有Llm标签的文章

顶级笔记本 CPU 查看更多

顶级笔记本 GPU 查看更多

5月 29, 2024

以下是 “人工智能 “电脑的最低要求：16GB 内存、NPU…

微软新款Copilot+笔记本电脑已经曝光，目前仅采用Snapdragon X Elite和X PlusCPU。Copilot+笔记本电脑试图为苹果公司的所有 Mac 设备（无论是 MacBooks、iMacs 还是 Mac Pros）提供 M 系列芯片的替代品。要将笔记本电脑归入 Copilot+ 的保护伞下，最低要求是其 CPU 或 SoC 必须在微软批准的名单上。这是指任何拥有专用神经处理单元（NPU）的处理器或 SoC，其性能至少为每秒 40 万亿次运算（TOPS）。另一个要求是拥有至少16GB 的 DDR5或LPDDR5内存和超过256GB的SSD或UFS 存储空间。我们预计 AMD 和英特尔也会加入 NPU 游戏。Team Red 已经有了自己的XDNA架构，但它只能提供16 TOPS的性能。不过，AMD 的XDNA 2…

5月 24, 2024

英伟达™（NVIDIA®）发布新版 R555 驱动程序，声称可将 RTX 显卡的 “人工智能性能 “提高 3 倍

是的，是的，华而不实的标题往往会让人大跌眼镜，然而，这一次英伟达确实将 “人工智能性能 “提高了三倍。当然，也有一些注意事项，比如他们所说的人工智能性能究竟是什么意思？英伟达的结果使用 “推理性能”（Inference Performance）来衡量人工智能模型每秒能读取（来自你的提示）和输出（给出答案）多少个代币（Token）（实时数据）。英伟达的性能图表使用的是ONNX ORT。ONNX是一个人工智能联盟，得到了几乎所有希望在其技术栈中大量应用人工智能的大公司的支持。你可以在这里找到所有 ONNX 合作伙伴。ORT 是 ONNX Runtime（ONNX 运行时）的缩写，你猜对了，它就是运行时，你可以在上面运行不同的 LLM。你可以看到，英伟达已经在三种不同的 LLM 上进行了测试，分别是 Meta 的Llama 2 7B、Mistral 7B 和微软的Phi-3-mini-4k。所有的 LLM 都是开源的，因此你可以获得它们，并针对特定原因对它们进行训练。如图所示，英伟达使用了四个不同的驱动程序版本，绿色深浅不一。3 倍性能来自FP16-R550驱动程序与Int4 R555驱动程序的对比结果。但需要注意的是。新驱动程序使用Int4 量化技术。量化是简化 LLM中的数据，使其占用更少的空间，运行时需要更少的GPU 内存。这可以提高性能，但可能导致输出不准确。这是因为，如果不进行量化（FP32）或只进行少量量化（FP16），数据将同样准确，并且不会发生任何转换。当切换到 Int8 或 Int4 量化时，就去掉了浮点 (FP)，这就是我们所说的节省空间。…