【技術(shù)實(shí)現(xiàn)步驟摘要】
本專利技術(shù)屬于腦仿真，具體涉及一種支持快速大規(guī)模腦仿真的仿真系統(tǒng)。
技術(shù)介紹
1、目前以深度學(xué)習(xí)為代表的傳統(tǒng)人工智能的發(fā)展已經(jīng)遇到瓶頸，不僅難以實(shí)現(xiàn)類似人腦的通用人工智能，而且需要消耗大量能源。人類大腦代表了生物智能的巔峰，大腦模擬不僅反映了最先進(jìn)的人工智能，還啟發(fā)了人工智能技術(shù)的新發(fā)展，參考人腦的脈沖神經(jīng)網(wǎng)絡(luò)為通用人工智能提供了新的思路。人類大腦包含約860億個神經(jīng)元，要實(shí)現(xiàn)類似人腦的人工智能，首先需要實(shí)現(xiàn)類似人腦規(guī)模的腦仿真。創(chuàng)建和運(yùn)行大規(guī)模腦模型已經(jīng)成為一個重要的跨學(xué)科研究課題。但目前缺乏有效的支持快速大規(guī)模腦仿真的仿真系統(tǒng)，因此目前無法充分利用計(jì)算資源來實(shí)現(xiàn)更快更大規(guī)模的腦仿真。
2、現(xiàn)有技術(shù)中已有一些腦仿真相關(guān)的仿真系統(tǒng)被提出：例如neuron仿真系統(tǒng)專注于模擬生物神經(jīng)元模型，為神經(jīng)元和神經(jīng)元網(wǎng)絡(luò)中電和化學(xué)信號的生物學(xué)模型實(shí)現(xiàn)提供了強(qiáng)大而靈活的環(huán)境，試圖模擬復(fù)雜的生物神經(jīng)元模型；例如brain仿真系統(tǒng)側(cè)重于簡單靈活，它可以通過方程組和計(jì)算公式開發(fā)相關(guān)模型，方便用戶開發(fā)復(fù)雜神經(jīng)元模型，減少用戶代碼編寫所花費(fèi)的時間；例如genn(gpu?enhanced?neuronal?networks)仿真系統(tǒng)通過動態(tài)生成突觸在單個gpu上實(shí)現(xiàn)了獼猴視覺皮層4.13×106個神經(jīng)元規(guī)模的腦仿真；例如nest(neural?simulation?tool)仿真系統(tǒng)側(cè)重于脈沖神經(jīng)網(wǎng)絡(luò)的系統(tǒng)動力學(xué)特性和規(guī)模效應(yīng)，而不是復(fù)雜的神經(jīng)元模型，其可以在分布式集群上進(jìn)行腦仿真。
3、其中，neuron仿真系統(tǒng)和brain仿真系
技術(shù)實(shí)現(xiàn)思路
1、本專利技術(shù)的目的在于提供一種支持快速大規(guī)模腦仿真的仿真系統(tǒng)，充分利用集群硬件資源實(shí)現(xiàn)更快更大規(guī)模的腦仿真，解決了現(xiàn)有技術(shù)中缺乏資源調(diào)度和資源分配、未充分利用設(shè)備的并行性、通信耗時過長、支持硬件和接口有限的問題。
2、為實(shí)現(xiàn)上述目的，本專利技術(shù)所采取的技術(shù)方案為：
3、一種支持快速大規(guī)模腦仿真的仿真系統(tǒng)，所述支持快速大規(guī)模腦仿真的仿真系統(tǒng)包括硬件設(shè)備層、數(shù)據(jù)通信層、操作抽象層、api層、硬件抽象層和網(wǎng)絡(luò)抽象層，其中：
4、所述硬件設(shè)備層，用于提供多個硬件設(shè)備資源；
5、所述數(shù)據(jù)通信層，用于提供腦仿真網(wǎng)絡(luò)各計(jì)算節(jié)點(diǎn)之間多類型的通信方式；
6、所述操作抽象層，用于提供多類型的神經(jīng)元模型、突觸模型、連接規(guī)則和學(xué)習(xí)規(guī)則；
7、所述api層，用于提供預(yù)先定義的api接口，通過api接口接收用戶需求；
8、所述硬件抽象層，用于根據(jù)所述用戶需求中指定的硬件設(shè)備調(diào)用對應(yīng)的硬件內(nèi)核；
9、所述網(wǎng)絡(luò)抽象層，用于先記錄用戶需求中提供的腦仿真網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)，并根據(jù)指定硬件設(shè)備的信息和腦仿真網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)進(jìn)行資源分配以及神經(jīng)元簇映射，然后根據(jù)用戶需求中指定的神經(jīng)元模型、突觸模型、連接規(guī)則、學(xué)習(xí)規(guī)則和通信方式的類型，在對應(yīng)的硬件設(shè)備上創(chuàng)建腦仿真網(wǎng)絡(luò)，最后根據(jù)用戶需求在指定硬件設(shè)備上進(jìn)行腦仿真網(wǎng)絡(luò)的訓(xùn)練或執(zhí)行。
10、以下還提供了若干可選方式，但并不作為對上述總體方案的額外限定，僅僅是進(jìn)一步的增補(bǔ)或優(yōu)選，在沒有技術(shù)或邏輯矛盾的前提下，各可選方式可單獨(dú)針對上述總體方案進(jìn)行組合，還可以是多個可選方式之間進(jìn)行組合。
11、作為優(yōu)選，所述硬件設(shè)備層提供的硬件設(shè)備資源包括：中央處理器cpu、圖形處理器gpu和類腦計(jì)算單元bcu類型的硬件設(shè)備。
12、作為優(yōu)選，所述數(shù)據(jù)通信層提供的通信方式由通信規(guī)則、通信算子和通信庫決定。
13、作為優(yōu)選，所述通信規(guī)則的類型包括all_reduce、broadcast、reduce、all_gather、reduce_scatter、all_to_all和point_to_point；
14、所述通信算子用于對各計(jì)算節(jié)點(diǎn)之間的脈沖信息進(jìn)行編碼，編碼方式分為稠密編碼和稀疏編碼；
15、所述通信庫支持mpi通信庫和nccl通信庫。
16、作為優(yōu)選，所述神經(jīng)元模型的類型包括if神經(jīng)元模型、lif神經(jīng)元模型、hh神經(jīng)元模型和izh神經(jīng)元模型；
17、所述突觸模型的類型包括static_synapse靜態(tài)突觸、dynamic_synapse動態(tài)突觸和realtime_synapse實(shí)時突觸；
18、所述連接規(guī)則的類型包括one_to_one連接、all_to_all連接、fixed_prob連接、fixed_prenum連接、fixed_postnum連接和fixed_total_number連接；
19、所述學(xué)習(xí)規(guī)則為stdp學(xué)習(xí)規(guī)則。
20、作為優(yōu)選，所述api接口包括設(shè)備指定接口、模型組網(wǎng)接口和模型運(yùn)行接口；
21、所述設(shè)備指定接口，用于用戶指定硬件設(shè)備的類型和數(shù)量；
22、所述模型組網(wǎng)接口，用于用戶輸入腦仿真網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)，所述拓?fù)浣Y(jié)構(gòu)包括神經(jīng)元簇中神經(jīng)元的神經(jīng)元模型、神經(jīng)元的數(shù)量和神經(jīng)元的參數(shù)，并指定突觸模型、連接規(guī)則和通信方式的類型；
23、所述模型運(yùn)行接口，用于用戶輸入訓(xùn)練參數(shù)或執(zhí)行參數(shù)，所述訓(xùn)練參數(shù)包括學(xué)習(xí)規(guī)則。
24、作為優(yōu)選，所述網(wǎng)絡(luò)抽象層還用于根據(jù)所述用戶需求中指定的硬件設(shè)備的類型和數(shù)量，完成對指定硬件設(shè)備的初始化，并讀取各硬件設(shè)備的存儲空間。
25、作為優(yōu)選，所述根據(jù)指定硬件設(shè)備的信息和腦仿真網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)進(jìn)行資源分配以及神經(jīng)元簇映射，包括：
26、根據(jù)各硬件設(shè)備的存儲空間和腦仿真網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)，將腦仿真網(wǎng)絡(luò)中連接緊密的神經(jīng)元簇分配至同一硬件設(shè)備，完成資源分配；
27、根據(jù)資源分配，為每一神經(jīng)元簇指定一個進(jìn)程號，將神經(jīng)元簇映射至指定的硬件設(shè)備，并為跨硬件設(shè)備的突觸所連接的神經(jīng)元建立代理神經(jīng)元。
28、作為優(yōu)選，所述在對應(yīng)的硬件設(shè)備上創(chuàng)建腦仿真網(wǎng)絡(luò)，包括：
29、若用戶需求中未調(diào)用資源分配，則按照輪詢方式，根據(jù)記錄的腦仿真網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)在指定的硬件設(shè)備上創(chuàng)建腦仿真網(wǎng)絡(luò)；若用戶需求中調(diào)用資源分配，則按照資源分配以及神經(jīng)元簇映射，根據(jù)記錄的腦仿真網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)在指定的硬件設(shè)備上創(chuàng)建腦仿真網(wǎng)絡(luò)。
30、作為優(yōu)選，所述在對應(yīng)的硬件設(shè)備上創(chuàng)建腦仿真網(wǎng)絡(luò)時，所有硬件設(shè)備并行創(chuàng)建神經(jīng)元簇以及突觸連接。
31、作本文檔來自技高網(wǎng)...
【技術(shù)保護(hù)點(diǎn)】
1.一種支持快速大規(guī)模腦仿真的仿真系統(tǒng)，其特征在于，所述支持快速大規(guī)模腦仿真的仿真系統(tǒng)包括硬件設(shè)備層、數(shù)據(jù)通信層、操作抽象層、API層、硬件抽象層和網(wǎng)絡(luò)抽象層，其中：
2.如權(quán)利要求1所述的支持快速大規(guī)模腦仿真的仿真系統(tǒng)，其特征在于，所述硬件設(shè)備層提供的硬件設(shè)備資源包括：中央處理器CPU、圖形處理器GPU和類腦計(jì)算單元BCU類型的硬件設(shè)備。
3.如權(quán)利要求1所述的支持快速大規(guī)模腦仿真的仿真系統(tǒng)，其特征在于，所述數(shù)據(jù)通信層提供的通信方式由通信規(guī)則、通信算子和通信庫決定。
4.如權(quán)利要求3所述的支持快速大規(guī)模腦仿真的仿真系統(tǒng)，其特征在于，所述通信規(guī)則的類型包括All_Reduce、Broadcast、Reduce、All_Gather、Reduce_Scatter、All_To_All和Point_To_Point；
5.如權(quán)利要求1所述的支持快速大規(guī)模腦仿真的仿真系統(tǒng)，其特征在于，所述神經(jīng)元模型的類型包括IF神經(jīng)元模型、LIF神經(jīng)元模型、HH神經(jīng)元模型和IZH神經(jīng)元模型；
6.如權(quán)利要求1所述的支持快速大規(guī)模腦仿真的仿真系
7.如權(quán)利要求1所述的支持快速大規(guī)模腦仿真的仿真系統(tǒng)，其特征在于，所述網(wǎng)絡(luò)抽象層還用于根據(jù)所述用戶需求中指定的硬件設(shè)備的類型和數(shù)量，完成對指定硬件設(shè)備的初始化，并讀取各硬件設(shè)備的存儲空間。
8.如權(quán)利要求7所述的支持快速大規(guī)模腦仿真的仿真系統(tǒng)，其特征在于，所述根據(jù)指定硬件設(shè)備的信息和腦仿真網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)進(jìn)行資源分配以及神經(jīng)元簇映射，包括：
9.如權(quán)利要求1所述的支持快速大規(guī)模腦仿真的仿真系統(tǒng)，其特征在于，所述在對應(yīng)的硬件設(shè)備上創(chuàng)建腦仿真網(wǎng)絡(luò)，包括：
10.如權(quán)利要求1所述的支持快速大規(guī)模腦仿真的仿真系統(tǒng)，其特征在于，所述在對應(yīng)的硬件設(shè)備上創(chuàng)建腦仿真網(wǎng)絡(luò)時，所有硬件設(shè)備并行創(chuàng)建神經(jīng)元簇以及突觸連接。
11.如權(quán)利要求1所述的支持快速大規(guī)模腦仿真的仿真系統(tǒng)，其特征在于，所述網(wǎng)絡(luò)抽象層還用于根據(jù)腦仿真網(wǎng)絡(luò)的訓(xùn)練或執(zhí)行結(jié)果，繪制脈沖發(fā)放圖和/或膜電壓圖，并將脈沖發(fā)放圖和/或膜電壓圖通過所述API接口輸出。
...【技術(shù)特征摘要】
1.一種支持快速大規(guī)模腦仿真的仿真系統(tǒng)，其特征在于，所述支持快速大規(guī)模腦仿真的仿真系統(tǒng)包括硬件設(shè)備層、數(shù)據(jù)通信層、操作抽象層、api層、硬件抽象層和網(wǎng)絡(luò)抽象層，其中：
2.如權(quán)利要求1所述的支持快速大規(guī)模腦仿真的仿真系統(tǒng)，其特征在于，所述硬件設(shè)備層提供的硬件設(shè)備資源包括：中央處理器cpu、圖形處理器gpu和類腦計(jì)算單元bcu類型的硬件設(shè)備。
3.如權(quán)利要求1所述的支持快速大規(guī)模腦仿真的仿真系統(tǒng)，其特征在于，所述數(shù)據(jù)通信層提供的通信方式由通信規(guī)則、通信算子和通信庫決定。
4.如權(quán)利要求3所述的支持快速大規(guī)模腦仿真的仿真系統(tǒng)，其特征在于，所述通信規(guī)則的類型包括all_reduce、broadcast、reduce、all_gather、reduce_scatter、all_to_all和point_to_point；
5.如權(quán)利要求1所述的支持快速大規(guī)模腦仿真的仿真系統(tǒng)，其特征在于，所述神經(jīng)元模型的類型包括if神經(jīng)元模型、lif神經(jīng)元模型、hh神經(jīng)元模型和izh神經(jīng)元模型；
6.如權(quán)利要求1所述的支持...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：梁華駒，蔡炎松，王俊宜，杜帥帥，喻富豪，朱苗苗，賈海波，陸洋，任永甜，彭耿，
申請(專利權(quán))人：中國電子科技南湖研究院，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。