7月2日消息，Kimi 開放平臺日前宣布其“上下文緩存”技術進入公測階段。該技術可為開發(fā)者大幅降低長文本旗艦大模型的使用成本，最高可達90%，并顯著提升模型的響應速度。

據了解，上下文緩存技術作為一種高效的數據管理技術，其核心優(yōu)勢在于能夠預先存儲并快速提供那些可能被頻繁請求的大量數據或信息。當用戶再次請求相同信息時，系統(tǒng)無需重新計算或從原始數據源中檢索，而是直接從緩存中快速提取，從而顯著節(jié)省時間和資源。

Kimi 開放平臺方面以某硬件產品說明書為例介紹了該技術的應用場景。對于一份長達9萬字的說明書，在傳統(tǒng)模式下，售前支持人員需要在10分鐘內對產品的功能/使用方式進行40次問答，問題大概100個字，回答在120字以內。

然而，在接入上下文緩存技術后，9萬字的文檔只需創(chuàng)建并存儲一次緩存，40次問答將僅收取將只收取問題的100字+回答的120字的費用，預計節(jié)省費用達92.27%。

業(yè)內人士稱，在當前大模型行業(yè)日益注重效率和成本控制的背景下，Kimi的這一創(chuàng)新不僅為開發(fā)者提供了更經濟、更高效的解決方案，也有望進一步推動大模型行業(yè)的應用和發(fā)展。

標簽：