【技術(shù)實(shí)現(xiàn)步驟摘要】
本專利技術(shù)涉及調(diào)度，尤其涉及一種基于調(diào)度模式lcm實(shí)時(shí)綜合推理繪圖方法。
技術(shù)介紹
1、stable?diffusion是一款開源的生成式ai工具，通過輸入文字或者圖片，進(jìn)而利用ai模型生成圖片，其強(qiáng)大的生成式ai能力在互聯(lián)網(wǎng)業(yè)界產(chǎn)生重大影響力，被廣泛應(yīng)用于設(shè)計(jì)師、圖像處理等領(lǐng)域。學(xué)校或企業(yè)內(nèi)部掀起了學(xué)習(xí)stable?diffusion繪圖的熱潮，業(yè)內(nèi)普遍采取的方案是將教學(xué)電腦設(shè)備獨(dú)立安裝stable?diffusion提供給學(xué)生或者企業(yè)員工學(xué)習(xí)使用，但是搭建安裝stable?diffusion流程繁瑣，需要計(jì)算設(shè)備具備能力不俗的顯卡，如果無法將其平臺(tái)化對(duì)外提供統(tǒng)一生成式ai能力，意味著計(jì)算設(shè)備的產(chǎn)能利用率將會(huì)偏低。
2、因此，現(xiàn)有技術(shù)存在缺陷，需要改進(jìn)。
技術(shù)實(shí)現(xiàn)思路
1、本專利技術(shù)要解決的技術(shù)問題是：提供一種基于調(diào)度模式lcm實(shí)時(shí)綜合推理繪圖方法，解決ai繪圖中機(jī)器使用效率和ai推理速度慢，機(jī)器效率問題，提升推理速度和增加機(jī)器使用效率。
2、本專利技術(shù)的技術(shù)方案如下：提供一種基于調(diào)度模式lcm實(shí)時(shí)綜合推理繪圖方法，包括以下步驟。
3、s1：客戶端向調(diào)度平臺(tái)申請(qǐng)推理機(jī)器，調(diào)度平臺(tái)向客戶端進(jìn)行異步調(diào)度，將客戶端的請(qǐng)求放入隊(duì)列中，并向客戶端返回隊(duì)列信息.
4、s2：客戶端向調(diào)度平臺(tái)輪詢調(diào)度結(jié)果，查看是否排到推理機(jī)器；若排到，調(diào)度平臺(tái)則向客戶端返回推理機(jī)器信息，進(jìn)入步驟s3；若沒有排到，重復(fù)步驟s2。
5、s3：客戶端攜帶任務(wù)
6、s4：該攜帶任務(wù)token的客戶端與推理機(jī)器集群中的空閑的推理機(jī)器建立socket長(zhǎng)連接，推理機(jī)器根據(jù)客戶端的推理信息進(jìn)行推理實(shí)時(shí)繪畫。
7、推理機(jī)器集群中的推理機(jī)器出現(xiàn)空閑算力時(shí)，向調(diào)度平臺(tái)返回該空閑算力信息。
8、調(diào)度平臺(tái)根據(jù)客戶端的ip地址信息或客戶端的軟件序列號(hào)來分配推理機(jī)器，驗(yàn)證平臺(tái)根據(jù)客戶端的ip地址信息或客戶端的軟件序列號(hào)將客戶端的信息發(fā)送給推理機(jī)器集群；推理機(jī)器集群根據(jù)客戶端的ip地址信息或客戶端的軟件序列號(hào)與客戶端進(jìn)行socket長(zhǎng)連接。
9、在推理機(jī)器集群搭建主備nginx流量接入層，通過虛擬ip地址映射的方式保證nginx流量接入層的穩(wěn)定性，當(dāng)主nginx發(fā)生故障時(shí)自動(dòng)切換到備用nginx，從而實(shí)現(xiàn)nginx不間斷提供服務(wù)，提升整體系統(tǒng)流量接入層服務(wù)的穩(wěn)定性，將虛擬ip地址映射到公網(wǎng)提供給外部客戶端訪問。
10、當(dāng)客戶端數(shù)量大量增加時(shí)候，推理機(jī)器集群橫向擴(kuò)展增加推理機(jī)器，安裝鏡像機(jī)器啟動(dòng)并自動(dòng)上線，并加入調(diào)度平臺(tái)中。
11、在步驟s1中，還包括客戶端向調(diào)度平臺(tái)上報(bào)需要進(jìn)行的推理信息；在步驟s3中，還包括：調(diào)度平臺(tái)向推理機(jī)器上報(bào)客戶端上報(bào)的需要進(jìn)行的推理信息。
12、在步驟s4中，客戶端向空閑的推理機(jī)器建立socket長(zhǎng)連接時(shí)，空閑的推理機(jī)器驗(yàn)證客戶端是否為驗(yàn)證平臺(tái)發(fā)送的攜帶任務(wù)token的客戶端的信息；若是，空閑的推理機(jī)器則與該客戶端建立socket長(zhǎng)連接；若不是，說明該空閑的推理機(jī)器的不是分配給該客戶端的推理機(jī)器，該客戶端尋找其他空閑的推理機(jī)器進(jìn)行驗(yàn)證。
13、采用上述方案，本專利技術(shù)提供過一種基于調(diào)度模式lcm實(shí)時(shí)綜合推理繪圖方法，采用調(diào)度模式服務(wù)器交互實(shí)現(xiàn)實(shí)時(shí)繪圖隊(duì)列加速，建立可靠、可擴(kuò)展推理繪圖服務(wù)集群提升系統(tǒng)吞吐、并發(fā)、加速ai繪圖推理，滿足學(xué)生或者設(shè)計(jì)師要求繪圖立即推理出來預(yù)期ai圖像效果。
本文檔來自技高網(wǎng)...【技術(shù)保護(hù)點(diǎn)】
1.一種基于調(diào)度模式LCM實(shí)時(shí)綜合推理繪圖方法，其特征在于，包括以下步驟：
2.根據(jù)權(quán)利要求1所述的一種基于調(diào)度模式LCM實(shí)時(shí)綜合推理繪圖方法，其特征在于，推理機(jī)器集群中的推理機(jī)器出現(xiàn)空閑算力時(shí)，向調(diào)度平臺(tái)返回該空閑算力信息。
3.根據(jù)權(quán)利要求1所述的一種基于調(diào)度模式LCM實(shí)時(shí)綜合推理繪圖方法，其特征在于，調(diào)度平臺(tái)根據(jù)客戶端的IP地址信息或客戶端的軟件序列號(hào)來分配推理機(jī)器，驗(yàn)證平臺(tái)根據(jù)客戶端的IP地址信息或客戶端的軟件序列號(hào)將客戶端的信息發(fā)送給推理機(jī)器集群；推理機(jī)器集群根據(jù)客戶端的IP地址信息或客戶端的軟件序列號(hào)與客戶端進(jìn)行socket長(zhǎng)連接。
4.根據(jù)權(quán)利要求1所述的一種基于調(diào)度模式LCM實(shí)時(shí)綜合推理繪圖方法，其特征在于，在推理機(jī)器集群搭建主備Nginx流量接入層，通過虛擬IP地址映射的方式保證Nginx流量接入層的穩(wěn)定性，當(dāng)主Nginx發(fā)生故障時(shí)自動(dòng)切換到備用Nginx，從而實(shí)現(xiàn)Nginx不間斷提供服務(wù)，提升整體系統(tǒng)流量接入層服務(wù)的穩(wěn)定性，將虛擬IP地址映射到公網(wǎng)提供給外部客戶端訪問。
5.根據(jù)權(quán)利要求1所述的一種基于調(diào)度模式L
6.根據(jù)權(quán)利要求1所述的一種基于調(diào)度模式LCM實(shí)時(shí)綜合推理繪圖方法，其特征在于，在步驟S1中，還包括客戶端向調(diào)度平臺(tái)上報(bào)需要進(jìn)行的推理信息；在步驟S3中，還包括：調(diào)度平臺(tái)向推理機(jī)器上報(bào)客戶端上報(bào)的需要進(jìn)行的推理信息。
7.根據(jù)權(quán)利要求1所述的一種基于調(diào)度模式LCM實(shí)時(shí)綜合推理繪圖方法，其特征在于，在步驟S4中，客戶端向空閑的推理機(jī)器建立socket長(zhǎng)連接時(shí)，空閑的推理機(jī)器驗(yàn)證客戶端是否為驗(yàn)證平臺(tái)發(fā)送的攜帶任務(wù)token的客戶端的信息；若是，空閑的推理機(jī)器則與該客戶端建立socket長(zhǎng)連接；若不是，說明該空閑的推理機(jī)器的不是分配給該客戶端的推理機(jī)器，該客戶端尋找其他空閑的推理機(jī)器進(jìn)行驗(yàn)證。
...【技術(shù)特征摘要】
1.一種基于調(diào)度模式lcm實(shí)時(shí)綜合推理繪圖方法，其特征在于，包括以下步驟：
2.根據(jù)權(quán)利要求1所述的一種基于調(diào)度模式lcm實(shí)時(shí)綜合推理繪圖方法，其特征在于，推理機(jī)器集群中的推理機(jī)器出現(xiàn)空閑算力時(shí)，向調(diào)度平臺(tái)返回該空閑算力信息。
3.根據(jù)權(quán)利要求1所述的一種基于調(diào)度模式lcm實(shí)時(shí)綜合推理繪圖方法，其特征在于，調(diào)度平臺(tái)根據(jù)客戶端的ip地址信息或客戶端的軟件序列號(hào)來分配推理機(jī)器，驗(yàn)證平臺(tái)根據(jù)客戶端的ip地址信息或客戶端的軟件序列號(hào)將客戶端的信息發(fā)送給推理機(jī)器集群；推理機(jī)器集群根據(jù)客戶端的ip地址信息或客戶端的軟件序列號(hào)與客戶端進(jìn)行socket長(zhǎng)連接。
4.根據(jù)權(quán)利要求1所述的一種基于調(diào)度模式lcm實(shí)時(shí)綜合推理繪圖方法，其特征在于，在推理機(jī)器集群搭建主備nginx流量接入層，通過虛擬ip地址映射的方式保證nginx流量接入層的穩(wěn)定性，當(dāng)主nginx發(fā)生故障時(shí)自動(dòng)切換到備用nginx，從而實(shí)現(xiàn)nginx不間斷提供服務(wù)，提升整體系統(tǒng)流量接入層服...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：戴學(xué)斌，高斌，鄒瓊，周雙全，
申請(qǐng)(專利權(quán))人：深圳市瑞云科技股份有限公司，
類型：發(fā)明
國(guó)別省市：
還沒有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。