6 月 25 日消息，AI 創(chuàng)業(yè)公司 MosaicML 近日發(fā)布了其語(yǔ)言模型 MPT-30B，該模型具有 300 億參數(shù)，訓(xùn)練成本“僅有其他同類競(jìng)品模型的零頭”，有望促進(jìn)行業(yè)逐步降低此類模型訓(xùn)練成本，擴(kuò)大 AI 模型在更廣泛領(lǐng)域的運(yùn)用。

MosaicML 公司的首席執(zhí)行官兼聯(lián)合創(chuàng)始人 Naveen Rao 表示，MPT-30B 的訓(xùn)練成本為 70 萬(wàn)美元(約 502.44 萬(wàn)元人民幣)，遠(yuǎn)低于 GPT-3 等同類產(chǎn)品所需的數(shù)千萬(wàn)美元訓(xùn)練成本。此外，由于 MPT-30B 的成本較低，體積較小，它也可以更快速地被訓(xùn)練，并且更適合部署在本地硬件上。

據(jù)悉，MosaicML 使用了 Alibi 和 FlashAttention 技術(shù)來(lái)優(yōu)化模型，可以實(shí)現(xiàn)更長(zhǎng)的文本長(zhǎng)度和對(duì) GPU 計(jì)算的更高利用率。MosaicML 也是少數(shù)幾個(gè)能夠使用 Nvidia H100 GPU 的實(shí)驗(yàn)室，相比以往成果，當(dāng)下每塊 GPU 的吞吐量增加了 2.4 倍以上，可帶來(lái)更快的完成時(shí)間。

除了讓 AI 技術(shù)更容易獲得之外，MosaicML 還專注于提高數(shù)據(jù)質(zhì)量并提高模型性能。他們目前正在開發(fā)一款工具，可以幫助用戶在預(yù)訓(xùn)練過(guò)程中分層加入特定領(lǐng)域的數(shù)據(jù)，以確保訓(xùn)練中開業(yè)實(shí)現(xiàn)多樣化和高質(zhì)量的數(shù)據(jù)組合。

MosaicML 公司表示，將模型擴(kuò)展到 300 億參數(shù)只是第一步，接下來(lái)他們將以降低成本為前提，推出體積更大、質(zhì)量更高的模型。

IT之家注意到，目前開發(fā)者可以從 Hugging Face 下載并使用開源的 MPT-30B 基礎(chǔ)模型，開發(fā)者還可以在本地硬件上使用自己的數(shù)據(jù)，對(duì)模型進(jìn)行微調(diào)。

標(biāo)簽：