Microsoft je na svojoj konferenciji Ignite u Seattleu predstavio dva čipa. Prvi, čip umjetne inteligencije Maia 100, mogao bi konkurirati Nvidijinim vrlo traženim AI grafičkim procesorskim jedinicama. Drugi, čip Cobalt 100 Arm, namijenjen je općim računalnim zadacima i mogao bi se natjecati s Intelovim procesorima.
Tehnološke tvrtke bogate novcem počele su svojim klijentima davati više opcija za cloud infrastrukturu koju mogu koristiti za pokretanje aplikacija. Alibaba, Amazon i Google to rade godinama. Microsoft, s oko 144 milijarde dolara u gotovini krajem listopada, imao je 21,5% tržišnog udjela u cloudu u 2022., samo iza Amazona.
Instance virtualnih strojeva koje se pokreću na Cobalt čipovima postat će komercijalno dostupne putem Microsoftovog Azure clouda 2024., rekla je Rani Borkar, korporativna potpredsjednica, u intervjuu za CNBC. Nije dala vremenski okvir za puštanje Maie 100, piše CNBC.
Google je 2016. najavio svoju originalnu jedinicu za obradu tenzora za AI. Amazon Web Services otkrio je svoj čip temeljen na Graviton Armu i AI procesor Inferentia 2018. godine. A najavio je Trainium, za modele za obuku, 2020. godine.
Posebni AI čipovi pružatelja cloud usluga mogli bi pomoći zadovoljiti potražnju u nedostatku GPU-a. Ali Microsoft i njegovi kolege za cloud računalstvo ne planiraju dopustiti tvrtkama kupnju poslužitelja koji sadrže njihove čipove, za razliku od Nvidije ili AMD-a. Tvrtka je napravila svoj čip za AI računalstvo na temelju povratnih informacija kupaca.
Testiranja u Microsoftu
Microsoft testira kako Maia 100 odgovara potrebama AI chatbota njegove tražilice Bing (sada Copilot), pomoćnika za kodiranje GitHub Copilot i GPT-3.5-Turbo, velikog jezičnog modela OpenAI koji podržava Microsoft. OpenAI je svoje jezične modele hranio velikom količinom informacija s interneta. A oni mogu generirati poruke e-pošte, sažeti dokumente i odgovoriti na pitanja s nekoliko riječi ljudskih uputa.
Model GPT-3.5-Turbo radi u OpenAI-jevom ChatGPT asistentu, koji je postao popularan ubrzo nakon što je postao dostupan prošle godine. Zatim su tvrtke brzo dodale slične mogućnosti chata svom softveru, povećavajući potražnju za GPU-ima.
Radili smo u cijelosti sa svim našim različitim dobavljačima kako bismo pomogli poboljšati našu poziciju opskrbe i podržali mnoge naše kupce i potražnju koju su postavili pred nas.
Colette Kress, Nvidijina šefica financija
OpenAI je prethodno obučavao modele na Nvidia GPU-ovima u Azureu.
Osim dizajniranja čipa Maia, Microsoft je osmislio prilagođeni hardver s tekućim hlađenjem pod nazivom Sidekicks koji se uklapa tik uz police s Maia poslužiteljima. Tvrtka može instalirati police za poslužitelje i Sidekick bez potrebe za naknadnim opremanjem, rekao je glasnogovornik.
Uz GPU-ove, maksimalno iskorištavanje ograničenog prostora podatkovnog centra može predstavljati izazov. Kompanije ponekad stave nekoliko poslužitelja koji sadrže GPU-ove na dno stalka poput “siročića” kako bi spriječile pregrijavanje, umjesto da popune stalak od vrha do dna, rekao je Steve Tuck, suosnivač i izvršni direktor pokretanja poslužitelja Oxide Computer. Tvrtke ponekad dodaju sustave hlađenja kako bi smanjile temperature, rekao je Tuck.
Microsoft bi mogao doživjeti brže usvajanje Cobalt procesora od Maia AI čipova ako je Amazonovo iskustvo vodič. Microsoft testira svoju aplikaciju Teams i uslugu Azure SQL Database na Cobaltu. Do sada su imali 40% bolje rezultate nego na Azureovim postojećim čipovima temeljenim na Armu, koji dolaze iz startupa Ampere.
Učinkovitost potrošnje
U proteklih godinu i pol dana, kako su cijene i kamatne stopeKamate su trošak, odnosno cijena koju plaćate za pozajmlji... rasle, mnoge su tvrtke tražile načine kako svoju potrošnju u cloudu učiniti učinkovitijom. A za korisnike AWS-a, Graviton je bio jedan od njih. Svih 100 najvećih kupaca AWS-a sada koriste čipove temeljene na Armu, koji mogu dati 40% poboljšanja cijene i performansi.
Prelazak s GPU-a na AWS Trainium AI čipove ipak može biti kompliciraniji od prelaska s Intel Xeona na Gravitone. Svaki AI model ima svoje karakteristike. Mnogi su ljudi radili na tome da razni alati rade na Armu zbog njihove rasprostranjenosti u mobilnim uređajima, a to manje vrijedi za silicij za AI, rekao je Brown. Ali s vremenom, rekao je, očekivao bi da će organizacije vidjeti slične dobitke u odnosu na cijenu i performanse s Trainiumom u usporedbi s GPU-ima.
Podijelili smo ove specifikacije s ekosustavom i s mnogim našim partnerima u ekosustavu, što koristi svim našim Azure korisnicima.
Borkar je rekla da nema pojedinosti o tome kako čip Maia radi u usporedbi s alternativama kao što je Nvidijin H100. U ponedjeljak je Nvidia objavila da će se H200 početi isporučivati u drugom kvartalu 2024.
