本發(fā)明公開了一種transformer解碼器的計算優(yōu)化方法，所述方法通過改變flash?attention/feedforward?network以及線性層計算流程以及切分方式，減少不必要的ddr內(nèi)存訪問次數(shù)，減少SRAM內(nèi)存占用，優(yōu)化...

本發(fā)明公開了一種基于字典樹的AI大模型Tensor索引和保存方法，所述方法包括如下步驟：步驟一、字典樹構(gòu)建：初始化根節(jié)點，逐字符擴展節(jié)點，對鍵值終點進行標記；步驟二、預(yù)處理：將輸入的鍵值進行格式化，去除不必要的字符；步驟三、構(gòu)建索引：利...

本發(fā)明公開了一種生成標準圖像數(shù)據(jù)的方法，所述方法通過將輸入的圖像數(shù)據(jù)進行縮放、標準化，再經(jīng)過插值處理后獲得標準圖像數(shù)據(jù)，包括如下步驟：步驟一、輸入圖像，對圖像數(shù)據(jù)縮放至區(qū)間[0，1]；步驟二、對步驟一中獲得的縮放后的數(shù)據(jù)進行標準化并處理...

本發(fā)明公開了一種增加關(guān)鍵信息占比提高應(yīng)用效果的大模型微調(diào)方法，所述大模型微調(diào)方法包括如下步驟：步驟一、對輸入文本中的一般信息和關(guān)鍵信息進行處理，擴充分詞器詞表；步驟二、調(diào)整大模型的嵌入層維度，并初始化新加入token的權(quán)重值；步驟三、使...

本發(fā)明公開了一種基于最優(yōu)量化編碼的大語言模型權(quán)重量化方法，所述方法包括分塊、歸一化、生成量化編碼、量化和反量化，實現(xiàn)大語言模型的權(quán)重量化，包括以下步驟：步驟一、將待量化的權(quán)重矩陣分成若干數(shù)據(jù)塊；步驟二、對每個數(shù)據(jù)塊中的元素進行歸一化處理...

本發(fā)明公開了一種大模型權(quán)重加密存儲及解密加載方法，所述方法包括加密存儲、解密加載兩部分，包括如下步驟：步驟一、通過低秩適應(yīng)方法微調(diào)經(jīng)預(yù)訓(xùn)練的大模型的權(quán)重，得到低秩適應(yīng)權(quán)重文件；步驟二、接收步驟一中獲得的所述低秩適應(yīng)權(quán)重文件并寫入存儲設(shè)備...

本發(fā)明公開了一種基于改進的transformer結(jié)構(gòu)的通用特征提取系統(tǒng)，所述通用特征提取系統(tǒng)包括：輸入及預(yù)處理模塊、特征歸一化模塊、特征編碼模塊、改進的transformer模塊、任務(wù)適配模塊、結(jié)果輸出模塊；所述輸入及預(yù)處理模塊接收輸入...

本發(fā)明公開了一種支持大模型推理過程中上下文信息安全保存和恢復(fù)的硬件系統(tǒng)，所述硬件系統(tǒng)包括：推理主機和存儲系統(tǒng)；所述推理主機通過USB接口與所述存儲系統(tǒng)進行通訊；所述推理主機中包括：內(nèi)存、中央處理器、硬盤、GPU/NPU/TPU模塊；所述...