7月2日消息，Kimi 開放平臺日前宣布其“上下文緩存”技術(shù)進入公測階段。該技術(shù)可為開發(fā)者大幅降低長文本旗艦大模型的使用成本，最高可達90%，并顯著提升模型的響應(yīng)速度。

據(jù)了解，上下文緩存技術(shù)作為一種高效的數(shù)據(jù)管理技術(shù)，其核心優(yōu)勢在于能夠預(yù)先存儲并快速提供那些可能被頻繁請求的大量數(shù)據(jù)或信息。當(dāng)用戶再次請求相同信息時，系統(tǒng)無需重新計算或從原始數(shù)據(jù)源中檢索，而是直接從緩存中快速提取，從而顯著節(jié)省時間和資源。

Kimi 開放平臺方面以某硬件產(chǎn)品說明書為例介紹了該技術(shù)的應(yīng)用場景。對于一份長達9萬字的說明書，在傳統(tǒng)模式下，售前支持人員需要在10分鐘內(nèi)對產(chǎn)品的功能/使用方式進行40次問答，問題大概100個字，回答在120字以內(nèi)。

然而，在接入上下文緩存技術(shù)后，9萬字的文檔只需創(chuàng)建并存儲一次緩存，40次問答將僅收取將只收取問題的100字+回答的120字的費用，預(yù)計節(jié)省費用達92.27%。

業(yè)內(nèi)人士稱，在當(dāng)前大模型行業(yè)日益注重效率和成本控制的背景下，Kimi的這一創(chuàng)新不僅為開發(fā)者提供了更經(jīng)濟、更高效的解決方案，也有望進一步推動大模型行業(yè)的應(yīng)用和發(fā)展。

標(biāo)簽：