Nvidia je ovaj tjedan predstavila H200, jedinicu za grafičku obradu dizajniranu za obuku i implementaciju vrsta modela umjetne inteligencije koji pokreću generativni procvat AI.
Novi GPU je nadogradnja H100, čipa koji je OpenAI koristio za treniranje svog najnaprednijeg modela velikog jezika, GPT-4. Velike tvrtke, startupi i vladine agencije natječu se za ograničenu ponudu čipova.
Čipovi H100 koštaju između 25.000 i 40.000 dolara. A tisuće njih potrebno je da rade zajedno kako bi se stvorili najveći modeli u procesu koji se zove “obuka”.
Uzbuđenje oko Nvidijinih AI GPU-a dodatno je povećalo dionice tvrtke, koje su do sada porasle za više od 230% u 2023. Nvidia očekuje oko 16 milijardi dolara prihoda za svoj treći fiskalni kvartal, što je 170% više nego prije godinu dana.
Ključno poboljšanje kod H200 je to što uključuje 141 GB “HBM3” memorije sljedeće generacije koja će pomoći čipu da izvede “zaključivanje” ili korištenje velikog modela nakon što se osposobi za generiranje teksta, slika ili predviđanja.
Nvidia je rekla da će H200 generirati izlaz gotovo dvostruko brže od H100. To se temelji na testu koji koristi Meta’s Llama 2 LLM.
H200, čija se isporuka očekuje u drugom kvartalu 2024., natjecat će se s AMD-ovim MI300X GPU-om. AMD-ov čip, sličan H200, ima dodatnu memoriju u odnosu na svoje prethodnike. Što pomaže u uklapanju velikih modela na hardver za izvođenje zaključaka.
Nvidia je rekla da će H200 biti kompatibilan s H100. To znači da AI tvrtke koje već treniraju s prethodnim modelom neće morati mijenjati svoje serverske sustave ili softver za korištenje nove verzije.
Nvidia kaže da će biti dostupan u serverskim konfiguracijama s četiri ili osam GPU-a na kompletnim HGX sustavima tvrtke. Kao i u čipu nazvanom GH200, koji spaja H200 GPU s procesorom temeljenim na Armu.
H200 možda neće dugo držati krunu najbržeg Nvidia AI čipa
Dok tvrtke poput Nvidije nude mnogo različitih konfiguracija svojih čipova, novi igrači često poduzimaju veliki korak naprijed otprilike svake dvije godine. Kada proizvođači prijeđu na drugu arhitekturu koja otključava značajnije dobitke u performansama od dodavanja memorije ili drugih manjih optimizacija. I H100 i H200 temelje se na Nvidijinoj Hopper arhitekturi, piše CNBC.
U listopadu je Nvidia rekla investitorima da će prijeći s dvogodišnjeg ritma arhitekture na jednogodišnji obrazac izdavanja. Zbog velike potražnje za svojim GPU-ima. Tvrtka je prikazala slajd koji sugerira da će najaviti i izdati svoj B100 čip, temeljen na nadolazećoj Blackwell arhitekturi, 2024. godine.
