快科技6月28日消息，今天，機(jī)器學(xué)習(xí)與人工智能開(kāi)放產(chǎn)業(yè)聯(lián)盟MLCommons公布了AI性能基準(zhǔn)測(cè)試MLPerf Training 的結(jié)果，Intel旗下的Habana Gaudi2深度學(xué)習(xí)加速器、第四代至強(qiáng)可擴(kuò)展處理器聯(lián)合，展現(xiàn)出了優(yōu)秀的性能。

可以說(shuō)，Intel這套組合已經(jīng)成為唯一能夠可靠取代NVIDIA GPU的方案。

(資料圖)

MLPerf是目前最具信服力的AI性能測(cè)試基準(zhǔn)，能夠在各種解決方案之間進(jìn)行公平、可重復(fù)的性能比較。

目前，Intel已經(jīng)擁有超過(guò)100次的MLPerf性能測(cè)試結(jié)果，而且是唯一一個(gè)使用行業(yè)標(biāo)準(zhǔn)的深度學(xué)習(xí)生態(tài)系統(tǒng)軟件，并公開(kāi)提交CPU結(jié)果的廠商。

根據(jù)業(yè)內(nèi)當(dāng)前的普遍觀點(diǎn)，生成式AI和大語(yǔ)言模型(LLM)只適合在高性能GPU上運(yùn)行，但最新數(shù)據(jù)顯示，基于Intel CPU、加速器的組合方案，同樣有著極高的效率，而且是開(kāi)放生態(tài)環(huán)境，效率與規(guī)模不受限制，從而為客戶提供極具競(jìng)爭(zhēng)力的選擇。

其中，第四代可擴(kuò)展至強(qiáng)內(nèi)置的各種加速器，使其成為在通用CPU處理器上運(yùn)行大量AI工作負(fù)載的理想解決方案，Gaudi則在生成式AI、LLM方面有著優(yōu)秀的性能，此外Intel還提供了經(jīng)過(guò)優(yōu)化的、易于編程的開(kāi)放軟件，降低AI部署門(mén)檻。

Habana Gaudi2夾層卡

最新的MLPerf 測(cè)試結(jié)果顯示，面對(duì)要求極為苛刻的、1750億參數(shù)的GPT-3模型，Habana Gaudi2的性能非常出色，可擴(kuò)展性也非常靈活：

1、384個(gè)加速器上的訓(xùn)練時(shí)間僅為分鐘——512個(gè)NVIDIA H100加速器需要分鐘。

2、256個(gè)加速器到384個(gè)加速器，性能擴(kuò)展95％，接近線性提升。

3、在計(jì)算機(jī)視覺(jué)模型ResNet-50（8個(gè)加速器）和Unet3D（8個(gè)加速器），以及自然語(yǔ)言處理模型BERT（8個(gè)和64個(gè)加速器）上，都取得了優(yōu)異的訓(xùn)練結(jié)果。

4、與去年11月提交的數(shù)據(jù)相比，BERT和ResNet模型的性能分別提高了10％、4％。

5、支持“開(kāi)箱即用”，客戶在本地或在云端使用Gaudi2時(shí)，可以獲得與本次測(cè)試相當(dāng)?shù)男阅芙Y(jié)果。

值得一提的是，Gaudi2是僅有的兩個(gè)向GPT-3大模型訓(xùn)練基準(zhǔn)提交性能結(jié)果的解決方案之一。

軟件層面，本次提交的GPT-3模型基于PyTorch，并采用了當(dāng)前流行的、隸屬微軟大規(guī)模AI的DeepSpeed優(yōu)化庫(kù)，而非定制軟件。

DeepSpeed能夠同時(shí)支持Data、Tensor、Pipeline的三維并行，進(jìn)一步優(yōu)化了大語(yǔ)言模型的擴(kuò)展性能效率。

本次MLPerf 的Gaudi2結(jié)果以BF16數(shù)據(jù)類(lèi)型提交，在四種不同模型上的性能均優(yōu)于NVIDIA A100，價(jià)格更便宜。

第三季度還會(huì)發(fā)布對(duì)FP8數(shù)據(jù)類(lèi)型的軟件支持與新功能，預(yù)計(jì)屆時(shí)Gaudi2的性能將有明顯飛躍，預(yù)計(jì)性價(jià)比將超越NVIDIA H100。

Intel可擴(kuò)展至強(qiáng)則是向MLPerf 提交的眾多解決方案中，唯一基于CPU通用處理器的，也支持“開(kāi)箱即用”，即在通用系統(tǒng)上部署AI。

MLPerf 四代可擴(kuò)展至強(qiáng)測(cè)試的亮點(diǎn)有：

1、在封閉區(qū)，分鐘的訓(xùn)練時(shí)間即可完成BERT模型，分鐘即可完成ResNet-50模型。

2、多節(jié)點(diǎn)擴(kuò)展可以實(shí)現(xiàn)幾乎線性的性能提升，可達(dá)97-100％。

3、BERT模型的開(kāi)放區(qū)擴(kuò)展至16個(gè)節(jié)點(diǎn)時(shí)，分鐘即可完成模型訓(xùn)練。

4、對(duì)于較大的RetinaNet模型，16個(gè)節(jié)點(diǎn)上的訓(xùn)練時(shí)間僅為232分鐘。

5、基于Intel AMX高級(jí)矩陣擴(kuò)展，可提供顯著的“開(kāi)箱即用”性能提升，覆蓋多個(gè)框架、端到端數(shù)據(jù)科學(xué)工具，以及廣泛的智能解決方案生態(tài)系統(tǒng)。

Intel還對(duì)比了至強(qiáng)鉑金8480+、NVIDIA A100使用不同數(shù)據(jù)集完成HuggingFace Distilbert模型的結(jié)果，分別只需分鐘、分鐘。

雖然相比對(duì)手的分鐘、分鐘還有差距，但速度已經(jīng)相當(dāng)快，尤其是作為通用CPU對(duì)比專用GPU達(dá)到如此程度，實(shí)屬不易，這都得益于Intel良好、深入的系統(tǒng)優(yōu)化。

關(guān)鍵詞：