本申請?zhí)峁┑囊环N預(yù)訓(xùn)練數(shù)據(jù)的去重方法、電子設(shè)備、存儲介質(zhì)及程序產(chǎn)品,該方法包括:根據(jù)預(yù)訓(xùn)練數(shù)據(jù)集,獲取多個(gè)待處理的預(yù)訓(xùn)練數(shù)據(jù);根據(jù)預(yù)訓(xùn)練數(shù)據(jù)的總量,確定對應(yīng)的并行處理進(jìn)程數(shù),并根據(jù)并行處理進(jìn)程數(shù)和預(yù)訓(xùn)練數(shù)據(jù)的總量,將預(yù)訓(xùn)練數(shù)據(jù)劃分為多個(gè)...