【技術(shù)實(shí)現(xiàn)步驟摘要】
本專利技術(shù)涉及數(shù)據(jù)計(jì)算，具體而言，涉及一種基于多種計(jì)算框架的領(lǐng)域特定語言編譯方法、裝置及設(shè)備。
技術(shù)介紹
1、在數(shù)據(jù)計(jì)算過程中，數(shù)據(jù)可以來自多個(gè)數(shù)據(jù)源，包括但不限于mysql數(shù)據(jù)庫、hdfs(hadoop?distributed?file?system，hadoop分布式文件系統(tǒng))分布存在、遠(yuǎn)程服務(wù)api(application?programming?interface)請(qǐng)求、本機(jī)csv(comma-separated?values，字符分隔值)文件等。針對(duì)不同的數(shù)據(jù)源，要采取不同的計(jì)算框架來處理。比如，有的需要調(diào)用sql語句進(jìn)行單節(jié)點(diǎn)計(jì)算，有的需要調(diào)用spark?sql進(jìn)行異步分布式計(jì)算，還有的需要進(jìn)行服務(wù)器restful請(qǐng)求調(diào)度，部分小數(shù)據(jù)量文本需要調(diào)用自定義jar包進(jìn)行計(jì)算。
2、在實(shí)際計(jì)算場(chǎng)景中，往往面臨數(shù)量龐大且錯(cuò)綜復(fù)雜的計(jì)算需求。一個(gè)復(fù)雜的計(jì)算意圖，可以將其執(zhí)行邏輯分解為一系列較小的計(jì)算步驟，然后對(duì)每個(gè)計(jì)算步驟利用不同的計(jì)算框架來分別處理。這樣的處理方式要求系統(tǒng)能夠靈活地調(diào)度多種計(jì)算框架，以實(shí)現(xiàn)混合計(jì)算。
3、然而，當(dāng)前尚無一種通用的計(jì)算機(jī)編程語言能夠全面識(shí)別并有效調(diào)度這些多樣化的計(jì)算框架，以應(yīng)對(duì)復(fù)雜的計(jì)算意圖。這種局限性導(dǎo)致了系統(tǒng)在處理復(fù)雜計(jì)算意圖時(shí)效率低下，難以滿足復(fù)雜計(jì)算場(chǎng)景的需求。
技術(shù)實(shí)現(xiàn)思路
1、本專利技術(shù)的目的包括，例如，提供了一種基于多種計(jì)算框架的領(lǐng)域特定語言編譯方法、裝置及設(shè)備，其能夠針對(duì)計(jì)算意圖對(duì)應(yīng)的領(lǐng)域特定語言轉(zhuǎn)換成指定編
2、第一方面，本專利技術(shù)提供一種基于多種計(jì)算框架的領(lǐng)域特定語言編譯方法，所述方法包括：基于計(jì)算意圖對(duì)應(yīng)的領(lǐng)域特定語言，構(gòu)建語法規(guī)則和詞法規(guī)則；其中，所述語法規(guī)則由所述領(lǐng)域特定語言語法元素組成；所述語法元素包括函數(shù)名、參數(shù)列表和返回值；不同所述函數(shù)名對(duì)應(yīng)不同計(jì)算框架；根據(jù)所述語法規(guī)則和詞法規(guī)則生成所述領(lǐng)域特定語言對(duì)應(yīng)的語法文件；將所述語法文件輸入解析器工具進(jìn)行語法解析，生成所述領(lǐng)域特定語言對(duì)應(yīng)的跨平臺(tái)編程語言的可執(zhí)行代碼。
3、第二方面，本專利技術(shù)提供一種基于多種計(jì)算框架的領(lǐng)域特定語言編譯裝置，包括：構(gòu)建模塊，用于基于計(jì)算意圖對(duì)應(yīng)的領(lǐng)域特定語言，構(gòu)建語法規(guī)則和詞法規(guī)則；其中，所述語法規(guī)則由所述領(lǐng)域特定語言語法元素組成；所述語法元素包括函數(shù)名、參數(shù)列表和返回值；不同所述函數(shù)名對(duì)應(yīng)不同計(jì)算框架；生成模塊，用于根據(jù)所述語法規(guī)則和詞法規(guī)則生成所述領(lǐng)域特定語言對(duì)應(yīng)的語法文件；編譯模塊，用于將所述語法文件輸入解析器工具進(jìn)行語法解析，生成所述領(lǐng)域特定語言對(duì)應(yīng)的跨平臺(tái)編程語言的可執(zhí)行代碼。
4、第三方面，本專利技術(shù)提供一種基于多種計(jì)算框架的領(lǐng)域特定語言編譯設(shè)備，包括處理器和存儲(chǔ)器，所述存儲(chǔ)器存儲(chǔ)有能夠被所述處理器執(zhí)行的計(jì)算機(jī)程序，所述處理器可執(zhí)行所述計(jì)算機(jī)程序以實(shí)現(xiàn)前述實(shí)施方式所述的基于多種計(jì)算框架的領(lǐng)域特定語言編譯方法。
5、本專利技術(shù)提供的一種基于多種計(jì)算框架的領(lǐng)域特定語言編譯方法、裝置及設(shè)備，具有如下優(yōu)點(diǎn)：通過構(gòu)建基于計(jì)算意圖的領(lǐng)域特定語言的語法規(guī)則和詞法規(guī)則，實(shí)現(xiàn)了對(duì)計(jì)算任務(wù)的標(biāo)準(zhǔn)化表達(dá)，然后基于詞法規(guī)則和語法規(guī)則構(gòu)建語法文件，并通過解析器工具對(duì)語法文件進(jìn)行解析，將領(lǐng)域特定語言轉(zhuǎn)換為跨平臺(tái)編程語言的可執(zhí)行代碼。本專利技術(shù)實(shí)施例通過領(lǐng)域特定語言中的函數(shù)名、參數(shù)列表和返回值等語法元素來構(gòu)建語法規(guī)則，這些語法元素中包括與計(jì)算框架對(duì)應(yīng)的函數(shù)名，在利用解析器工具進(jìn)行語法解析時(shí)可以將解析到的語法元素轉(zhuǎn)換成指定的跨平臺(tái)編程語言，這為后續(xù)統(tǒng)一識(shí)別和調(diào)度不同計(jì)算框架提供了依據(jù)，通過跨平臺(tái)編程語言，可以在不同平臺(tái)上運(yùn)行并解析領(lǐng)域特定語言，快速識(shí)別和調(diào)度復(fù)雜計(jì)算意圖需要的不同計(jì)算框架，提高了計(jì)算任務(wù)的執(zhí)行效率。
本文檔來自技高網(wǎng)...【技術(shù)保護(hù)點(diǎn)】
1.一種基于多種計(jì)算框架的領(lǐng)域特定語言編譯方法，其特征在于，所述方法包括：
2.根據(jù)權(quán)利要求1所述的基于多種計(jì)算框架的領(lǐng)域特定語言編譯方法，其特征在于，將所述語法文件輸入解析器工具進(jìn)行語法解析，生成所述領(lǐng)域特定語言對(duì)應(yīng)的跨平臺(tái)編程語言的可執(zhí)行代碼，包括：
3.根據(jù)權(quán)利要求2所述的基于多種計(jì)算框架的領(lǐng)域特定語言編譯方法，其特征在于，將所述語法文件中的各種規(guī)則映射成節(jié)點(diǎn)并基于所述節(jié)點(diǎn)構(gòu)建語法樹，包括：
4.根據(jù)權(quán)利要求1至3任一項(xiàng)所述的基于多種計(jì)算框架的領(lǐng)域特定語言編譯方法，其特征在于，在所述領(lǐng)域特定語言中，所述參數(shù)列表中包括槽位標(biāo)識(shí)；所述槽位標(biāo)識(shí)用于標(biāo)記動(dòng)態(tài)參數(shù)；所述返回值是所述動(dòng)態(tài)參數(shù)的其中一種；全部所述返回值的名稱全局唯一。
5.根據(jù)權(quán)利要求1所述的基于多種計(jì)算框架的領(lǐng)域特定語言編譯方法，其特征在于，所述方法還包括：
6.根據(jù)權(quán)利要求5所述的基于多種計(jì)算框架的領(lǐng)域特定語言編譯方法，其特征在于，所述方法還包括：
7.根據(jù)權(quán)利要求5所述的基于多種計(jì)算框架的領(lǐng)域特定語言編譯方法，其特征在于，將每個(gè)所述領(lǐng)域特定語言
8.一種基于多種計(jì)算框架的領(lǐng)域特定語言編譯裝置，其特征在于，包括：
9.根據(jù)權(quán)利要求8所述的基于多種計(jì)算框架的領(lǐng)域特定語言編譯裝置，其特征在于，所述編譯模塊，具體用于：
10.一種基于多種計(jì)算框架的領(lǐng)域特定語言編譯設(shè)備，其特征在于，包括處理器和存儲(chǔ)器，所述存儲(chǔ)器存儲(chǔ)有能夠被所述處理器執(zhí)行的計(jì)算機(jī)程序，所述處理器可執(zhí)行所述計(jì)算機(jī)程序以實(shí)現(xiàn)權(quán)利要求1至7任一項(xiàng)所述的基于多種計(jì)算框架的領(lǐng)域特定語言編譯方法。
...【技術(shù)特征摘要】
1.一種基于多種計(jì)算框架的領(lǐng)域特定語言編譯方法，其特征在于，所述方法包括：
2.根據(jù)權(quán)利要求1所述的基于多種計(jì)算框架的領(lǐng)域特定語言編譯方法，其特征在于，將所述語法文件輸入解析器工具進(jìn)行語法解析，生成所述領(lǐng)域特定語言對(duì)應(yīng)的跨平臺(tái)編程語言的可執(zhí)行代碼，包括：
3.根據(jù)權(quán)利要求2所述的基于多種計(jì)算框架的領(lǐng)域特定語言編譯方法，其特征在于，將所述語法文件中的各種規(guī)則映射成節(jié)點(diǎn)并基于所述節(jié)點(diǎn)構(gòu)建語法樹，包括：
4.根據(jù)權(quán)利要求1至3任一項(xiàng)所述的基于多種計(jì)算框架的領(lǐng)域特定語言編譯方法，其特征在于，在所述領(lǐng)域特定語言中，所述參數(shù)列表中包括槽位標(biāo)識(shí)；所述槽位標(biāo)識(shí)用于標(biāo)記動(dòng)態(tài)參數(shù)；所述返回值是所述動(dòng)態(tài)參數(shù)的其中一種；全部所述返回值的名稱全局唯一。
5.根據(jù)權(quán)利要求1所述的基于多種計(jì)算框架的領(lǐng)域特定語言編譯方法，其特征在于，所述方法還包括...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：張超，陶周天，張前帥，孫靜茹，
申請(qǐng)(專利權(quán))人：智慧足跡數(shù)據(jù)科技有限公司，
類型：發(fā)明
國別省市：
還沒有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。