編程客棧（）5月30日 消息:當(dāng)下，開源語言模型如雨后春筍般的冒出，其中有部分號稱性能比Meta、谷歌等大科技公司開發(fā)的產(chǎn)品更優(yōu)秀。

最近，一款名為FalconLM 開源語言模型就號稱提供了比 Meta 的 LLaMA 更好的性能，也可以用于商業(yè)。但如果收入超過100萬美元，則商業(yè)用途需要繳納特許權(quán)使用費。

據(jù)了解，F(xiàn)alc編程onLM 是由阿拉伯聯(lián)合酋長國阿布扎比的技術(shù)創(chuàng)新研究所 （TII） 開發(fā)。該組織聲稱 FalconLM 是迄今為止最強大的開源語言模型。相比之下，F(xiàn)alconLM 最大的變體擁有400億個參數(shù)，這明顯小于Meta 的具有650億個參數(shù)的 LLaMA編程客棧。

(資料圖片)

在總結(jié)各種基準(zhǔn)測試結(jié)果的Hugging Face OpenLLM 排行榜上，兩個最大的 FalconLM 模型（其中一個已經(jīng)用指令進(jìn)行了改進(jìn)）目前以顯著優(yōu)勢占據(jù)前兩名。

FalconLM 比 GPT-3訓(xùn)練成本更低效果更好

根據(jù)開發(fā)團(tuán)隊的說法，F(xiàn)alconLM 競爭優(yōu)勢的一個重要方面是訓(xùn)練數(shù)據(jù)的選擇。語言模型在訓(xùn)練期間對數(shù)據(jù)質(zhì)量很敏感。

研究團(tuán)隊開編程客棧發(fā)了一種從公共爬網(wǎng)數(shù)據(jù)集中提取高質(zhì)量數(shù)據(jù)并刪除重復(fù)數(shù)據(jù)的流程。在徹底清除重復(fù)數(shù)據(jù)GHYZh后，仍保留了5萬億條文本（token）——足以訓(xùn)練強大的語言模型。

FalconLM 接受了萬億token的訓(xùn)練。TII 還提到了針對性能和效率優(yōu)化的架構(gòu)，但沒有提供詳細(xì)信息。

據(jù)該團(tuán)隊稱，優(yōu)化的架構(gòu)與高質(zhì)量的數(shù)據(jù)集相結(jié)合，使得 FalconLM 在訓(xùn)練期間僅需要GPT-3的75% 的計算量，但明顯優(yōu)于舊的 OpenAI 模型。據(jù)說推理成本是 GPT-3的五分之一。

TII 的 FalconLM 用例包括文本生成、解決復(fù)雜問題、將模型用作個人聊天機器人，或用于客戶服務(wù)或翻譯等商業(yè)領(lǐng)域。

在商業(yè)應(yīng)用中，TII 希望商業(yè)使用場景下，使用該語言模型獲得100萬美元收入后，將收取收入GHYZh的10% 作為版稅，而對于個人使用和研究，F(xiàn)alconLM 是免費的。

FalconLM 模型的所有版本均可從 Huggingface 免費下載，網(wǎng)址:https://huggingface.co/tiiuae。

除了這些模型，該團(tuán)隊還在Apache2.0許可下以開源形式發(fā)布了包含6000億個文本token的“Refinedweb”數(shù)據(jù)集的一部分。據(jù)說該數(shù)據(jù)集已準(zhǔn)備好進(jìn)行多模式擴(kuò)展，因為示例已經(jīng)包含圖像的鏈接和替代文本。網(wǎng)址:https://huggingface.co/datasets/tiiuae/falcon-refinedweb

標(biāo)簽：