Llmタグのある私たちのすべての記事

トップノートPC CPU もっと見る

トップノートPC GPU もっと見る

5月 29, 2024

AI」PCの最低要件はこれだ：16GB RAM、NPU…

マイクロソフトの新しいCopilot+ラップトップが発表され、今のところSnapdragon X Eliteと X PlusCPUのみが搭載されている。Copilot+ラップトップは、MacBook、iMac、Mac Proなど、すべてのMacデバイスを駆動するアップルのMシリーズチップに代わるものを提供しようとしている。ラップトップがCopilot+の傘下に入るための最低条件は、マイクロソフトの承認リストにあるCPUまたはSoCを搭載していることだ。これは、少なくとも40兆オペレーション/秒（TOPS）の性能を持つ専用のニューラル・プロセッシング・ユニット（NPU）を持つプロセッサーまたはSoCである。もうひとつは、少なくとも16GBのDDR5またはLPDDR5メモリと、256GB以上のSSDまたはUFS ストレージを搭載していることだ。 AMDとインテルもNPUゲームに参加すると予想される。チームレッドはすでにXDNAアーキテクチャを持っているが、16TOPSのパフォーマンスしか提供していない。しかし、AMDのXDNA 2アーキテクチャは今年登場する予定で、AMDのリサ・スー（Lisa Su）氏は、このアーキテクチャは以前のアーキテクチャの最大 3倍の性能を発揮すると述べている。ざっと計算すると、この新しいNPUからは最大 48TOPSのパワーが期待でき、40TOPSのしきい値を大きく上回ることになる。インテルは今年後半にLunar Lakeプロセッサーに新しいNPUを搭載する予定であり、マイクロソフトがCopilot+PCの要件として同じ数値を提示するずっと前に、40TOPSがNPUの新しい最小値であると述べている。追加のRAMとCopilot+ノートPCに搭載されるNPUがあれば、ローカルLLMを実行することができる。これらは、小規模とはいえ、Chat GPTやGeminiが行っていることを模倣するだけではなく、OSそのものと統合することで、全く新しい方法でPCと対話できるようになる。開発者はこの新しい統合を利用して、ローカライズされたAIをサポートする新しいアプリを作ることもできる。マイクロソフトは、 Surface Laptopと Surface Proデバイスで独自のCopilot+ラップトップを明らかにした。Surface Proはキーボードが取り外し可能で、2-in-1のようなものだが、Surface Laptopは本格的なワークホースだ。どちらも Snapdragon X PlusまたはX Eliteを選択でき、Apple M4との比較で示したように、十分なパワーを発揮する。 Surface Laptop（13.8インチ） Surface Laptop（15インチ） CPU…

5月 24, 2024

NVIDIAが新R555版ドライバをリリース、RTXカードの「AI性能」を最大3倍向上させると主張

そう、派手なタイトルは、往々にしてその面目躍如となるものだが、今回、エヌビディアは「AI性能」を実に3倍も向上させた。もちろん、AIパフォーマンスとは具体的に何を指すのか、といった注意点はある。NVIDIAの結果は、AIモデルが1秒間にどれだけのトークン（ライブデータ）を読み取り（プロンプトから）、出力（答えを与える）できるかを測定するために、推論パフォーマンスを使用しています。 NVIDIAのパフォーマンスチャートはONNX ORTを使用しています。ONNXは、技術スタックにAIを大量に実装しようとしている、ほとんどすべての主要企業に支援されているAIコンソーシアムです。すべてのONNXパートナーをここで見つけることができる。ORTはONNX Runtimeの略で、ご想像の通り、さまざまなLLMを実行できるランタイムだ。NVIDIAが3つの異なるLLM、MetaのLlama 2 7B、Mistral 7B、MicrosoftのPhi-3-mini-4kでテストしたことがわかります。すべてのLLMはオープンソースであるため、それらを入手し、特定の目的のためにトレーニングすることができます。ご覧のように、NVIDIAは4つの異なるドライババージョンを使用し、緑の濃淡が異なります。3倍の性能は、FP16-R550ドライバとInt4 R555ドライバの結果から導き出されたものです。しかし、ここで注意点があります。新しいドライバーはInt4量子化を使用しています。量子化とは、LLM内のデータを単純化することで、より少ないスペースで、より少ないGPU メモリで実行できるようにすることです。これにより性能は向上しますが、出力が不正確になる可能性があります。なぜなら、量子化なし（FP32）、または量子化を少ししか行わない（FP16）場合、データは正確で、変換を受けないからです。Int8またはInt4の量子化に切り替えると、浮動小数点（FP）を削除することになり、これが先ほどお話ししたスペースの節約になります。つまり、パフォーマンスを向上させる一方で、精度を犠牲にすることになります。RTXチャットを使用している場合、またはスモールタイムLLMを実行している場合、これはGPUリソースを可能な限り節約する有効な方法です。また、多くのメーカーにとって次のステップと思われる、ローカルLLMがモバイル機器内に存在することにもつながるだろう。