100億億次性能!NVIDIA發(fā)布256塊超級(jí)芯片
AI是當(dāng)前的熱點(diǎn),現(xiàn)在也成了NVIDIA最受人關(guān)注的部分,今天在臺(tái)北電腦展的主題演講上,NVIDIA又發(fā)布了針對(duì)AI推出的大內(nèi)存DGXGH200超算系統(tǒng),配備了256個(gè)Grace Hopper芯片,總計(jì)1.8萬CPU核心,144TB內(nèi)存,相比之前漲了500倍。
AI運(yùn)算對(duì)內(nèi)存容量的要求更高,所以DGX GH200通過最新的NVLink、NVLink Switch等技術(shù)連接了256塊Grace Hooper超級(jí)芯片,實(shí)現(xiàn)了極為夸張的性能及內(nèi)存。
Grace Hooper我們之前報(bào)道過,這是一塊CPU+GPU合體的超級(jí)芯片,CPU是NVIDIA自研的72核處理器,Neoverse V2內(nèi)核,擁有480GB LPDDR5內(nèi)存,512GB/s帶寬。
GPU部分是H100,F(xiàn)P64性能34TFLOPS,但更強(qiáng)的是INT8性能,AI運(yùn)算能力達(dá)到了3958TFLOPS,帶96GB HBM3內(nèi)存。
GH200總計(jì)有256塊Grace Hooper芯片,因此總計(jì)18432個(gè)CPU核心,144TB HBM3內(nèi)存,AI性能達(dá)到了1 exaFLOPS,也就是100億億次。
這是什么概念,當(dāng)前最強(qiáng)的TOP500超算也就是百億億次性能,只不過這個(gè)性能是HPC計(jì)算的,NVIDIA的是百億億次AI性能。
為了讓256個(gè)超級(jí)芯片互聯(lián),GH200還使用了256塊單口400Gb/s InfiniBand互聯(lián)芯片,256個(gè)雙口200Gb/s InfiniBand芯片,還有96組L1 NVLink、36組L2 NVLink開關(guān)等等,設(shè)計(jì)非常復(fù)雜。
NVIDIA表示,谷歌、Meta及微軟是首批獲得DGX H200系統(tǒng)的公司,后續(xù)他們還會(huì)開放給更多客戶,運(yùn)行客戶定制。
不過DGX H200還不是最強(qiáng)的,NVIDIA今年晚些時(shí)候會(huì)推出名為NVIDIA Helios的AI超算系統(tǒng),由4組GH200組成,總計(jì)1024個(gè)Grace Hooper超級(jí)芯片,576TB HBM內(nèi)存。