Grafické karty

Hlavní konkurenti na trhu

Trhu s grafickými kartami (GPU) dominujú traja veľkí hráči: NVIDIA, AMD a Intel.

Poslednú dekádu si dominantnú pozíciu udržiava spoločnosť NVIDIA. Vďaka nástupu a rozvoju technológií umelej inteligencie (AI) a strojového učenia sa vyšvihla na absolútny vrchol, kde je pre mnohých GO-TO výrobca ako zo strany AI akcelerátorov, tak aj desktopových grafických kariet. Túto pozíciu si upevnila predovšetkým vďaka vysokému výkonu, efektívnemu systémovému prepojeniu a bezkonkurenčnej softvérovej podpore.

Kvôli neraz horšej dostupnosti ich špičkových produktov sa do popredia dostávajú aj konkurenti AMD a Intel. Tieto spoločnosti v posledných rokoch aktívne znižujú technologický náskok NVIDIE, a to najmä z pohľadu reálneho hardvérového výkonu, od ktorého sa NVIDIA čiastočne odkláňa.

AI vs. Desktopová grafika

Umelá inteligencia je čoraz častejšie diskutovaná téma, a to ako z hľadiska potenciálnych prínosov, tak z pohľadu nárokov na hardvér. Pre pokročilý vývoj týchto technológií sa začali vyvíjať špecializované AI GPU Akcelerátory, ktoré sa zásadne líšia od klasických serverových a desktopových grafických kariet.

Základné rozdiely a architektúra

Klasické (Desktopové) GPU sú primárne určené pre pokročilé paralelné spracovanie dát (parallel processing), vďaka čomu môžu byť použité pre rôzne úlohy s rôznou náročnosťou. Kvôli týmto požiadavkám majú grafické karty špecializované jadrá, ktoré paralelnému spracovaniu napomáhajú. U AMD sa nazývajú Stream procesory a u NVIDIA nesú názov CUDA cores. Tieto grafiky vyžadujú maximálnu presnosť výsledkov, a preto pracujú s výpočtami vo formáte FP32 (32-bit floating point).

AI GPU sa naopak sústreďujú na rýchle matematické výpočty s veľkým objemom dát. Upúšťajú od všeobecného paralelného spracovania vo prospech Tensor jadier, ktoré sú optimalizované priamo pre úlohy AI. Keďže modely umelej inteligencie a Deep Learningu nevyžadujú absolútnu presnosť, využívajú výpočty s menšou bitovou dĺžkou, najčastejšie FP16, FP8 a FP4, čo drasticky zrýchľuje počet operácií na úkor presnosti.

Teoretický výkon (FLOPS)

Vďaka jednotke FLOPS (Floating point operations per second) zisťujeme hrubý výkon grafických kariet. Udáva, koľko operácií za sekundu dokáže grafická karta vykonať, a umožňuje nám tak ich vzájomné porovnanie. Tieto hodnoty sa však môžu líšiť v závislosti na bitovej dĺžke tzv. Pohyblivej rádovej čiarky (označované ako FP – floating point). Čím väčšia je bitová dĺžka, tým presnejšie sú výpočty, ale tiež ich je menej (teda nižší FLOPS).

VRAM (Video RAM)

VRAM je synchrónna pamäť, podobne ako je tomu u štandardnej RAM. V prípade grafickej pamäte sa však väčšinou jedná o pamäťové čipy s vyššou priepustnosťou a viacerými rýchlosťami prenosu dát. Dôsledkom je potom oveľa rýchlejší buffering dát, ktoré grafická karta alebo koprocesor počíta a odovzdáva procesoru. Najčastejšie sa u GPU stretnete s pojmami GDDR a HBM. GDDR, používaná primárne u desktopových GPU, je rozložená okolo čipu na doske grafickej karty a prepojená úzkymi, ale rýchlymi zbernicami. Nižšiu priepustnosť kompenzuje vysokou frekvenciou, práve to grafickej karte umožňuje rýchly prenos dát.

HBM (High-Bandwidth Memory) je typická pre AI GPU. Pamäťové čipy sú tu vrstvené na seba do väčších blokov a prepojené širokou, ale krátkou zbernicou. Vďaka šírke zbernice dosahuje táto pamäť obrovskú priepustnosť (až niekoľko TB/s) a efektivitu pri práci s veľkými objemami dát.

Komunikačné zbernice (BUS) a výstup

Systémová komunikácia (BUS)

Základnou komunikačnou zbernicou pre prepojenie so základnou doskou je PCI Express. Tieto sloty sa líšia podľa počtu liniek a generácie.

Aj keď je štandard PCI-E dopredu aj spätné kompatibilný, neodporúča sa využívať spätnú kompatibilitu (napr. pripojenie PCI-E 5.0 karty do 3.0 slotu). Užívatelia tým strácajú rýchlosť prenosu dát a vzniká tzv. "bottleneck" (úzke hrdlo) v rýchlosti komunikácie. Rýchlosť prenosu dát na jednu linku sa odvíja od generácie. Najrýchlejšou dnes masovo využívanou generáciou je PCI-E 5.0, ktorá zvláda prenosovú rýchlosť 3 .938 GB/s na linku.

Grafický výstup (OUTPUT)

Konečný grafický výstup závisí od typu karty. AI akcelerátory zvyčajne nemajú grafický výstup (výstupný port), pretože sú určené na výpočty na serveroch a dátových centrách. Klasické desktopové GPU majú štandardné výstupné porty ako HDMI alebo DP (DisplayPort). Ide o univerzálne porty, ktoré prenášajú obraz a zvuk pri vysokých rýchlostiach.

NVLink

NVLink je vysokorýchlostné drôtové prepojenie spoločnosti NVIDIA, ktoré slúži na prepojenie väčšieho počtu grafických kariet s procesormi na dosiahnutie čo najnižšej možnej latencie. Vďaka tomu dokáže niekoľko grafických kariet operovať, ako keby mali zdieľanú pamäť VRAM. V novších dátových centrách sa kombinuje základná technológia NVlinku s NVSwitchi a tým sa efektívne prepojujú stovky GPU do jedného výpočtového celku.

HGX

Opäť ide o produkt spoločnosti NVIDIA a nazývame tak špeciálny formát prídavnej dosky, na ktorej sa nachádzajú 4 alebo 8 grafických kariet, ktoré sú na doske pevne umiestnené do portu. Využívajú technológiu NVLink a vďaka tomu fungujú ako jedna výpočtová jednotka. Táto doska sa následne prepojuje so systémami rôznych výrobcov cez PCI-E port. Výrobcovia AMD a Intel využívajú obdobný systém, ktorý nie je proprietárny, ale podľa štandardov OCP.