NVIDIA brengt nieuwe stuurprogramma’s voor versie R555 uit en claimt “AI-prestaties” tot 3x te verhogen op RTX-kaarten

LaptopMedia.com Nieuws NVIDIA releases new R555 version drivers, claims to increase "AI performance" up to 3x on RTX cards

Vanaf: Severin Kolakov 24 Mei 2024 / 07:22 0

Ja, ja flitsende titels vallen vaak plat op hun gezicht, maar deze keer verbetert NVIDIA de “AI-prestaties” echt met drie keer. Natuurlijk zijn er kanttekeningen, zoals wat ze precies bedoelen met AI-prestaties? NVIDIA’s resultaten gebruiken Inference Performance om te meten hoeveel Tokens per seconde (live data) het AI-model kan lezen (van je prompt) en uitvoeren (een antwoord geven).

NVIDIA’s prestatiegrafiek gebruikt de ONNX ORT. ONNX is een AI-consortium dat wordt gesteund door vrijwel elk groot bedrijf dat AI op grote schaal wil implementeren in zijn technologiestapel. Je kunt alle ONNX-partners hier vinden. ORT staat voor ONNX Runtime, en het is de, je raadt het al, runtime waarop je verschillende LLM’s kunt draaien. Je kunt zien dat NVIDIA op drie verschillende LLM’s heeft getest: Meta’s Llama 2 7B, Mistral 7B en Microsoft’s Phi-3-mini-4k. Alle LLM’s zijn open source, dus je kunt ze krijgen en ze trainen voor een specifieke reden.

Zoals je kunt zien, heeft NVIDIA vier verschillende driverversies gebruikt, variërend in groentinten. De 3X prestatie is afgeleid van de resultaten van het FP16-R550 stuurprogramma versus het Int4 R555 stuurprogramma. Maar hier komt het voorbehoud. De nieuwe driver gebruikt Int4 Quantization. Quantisatie is het vereenvoudigen van gegevens in een LLM zodat het minder ruimte inneemt en minder GPU-geheugen nodig heeft om uit te voeren. Dit verhoogt de prestaties, maar kan leiden tot onnauwkeurigheden in de uitvoer. Zonder kwantisatie (FP32) of met weinig kwantisatie (FP16) zijn de gegevens namelijk even nauwkeurig en ondergaan ze geen transformatie. Als je overschakelt naar Int8 of Int4 kwantisatie, verwijder je de drijvende komma (FP), wat de ruimtebesparing is waar we het over hadden.

Dus terwijl je prestaties wint, gaat dit ten koste van de nauwkeurigheid. Als je RTX Chat gebruikt of een kleine LLM draait, kan dit een mooie manier zijn om zo veel mogelijk GPU-resources te sparen, zodat je ook kunt gamen terwijl de AI zijn ding doet. Het zal ook onbedoeld leiden tot lokale LLM’s in mobiele apparaten, wat voor veel fabrikanten de volgende stap lijkt.