【技術實現步驟摘要】
本申請涉及計算機，尤其涉及一種負載均衡方法、裝置、電子設備及存儲介質。
技術介紹
1、在使用深度學習模型進行內容理解的過程中，當面臨模型部署和服務調用的負載均衡問題時，使用的推理平臺依賴于grpc服務框架，并部署在內部平臺上，使用l4負載均衡方案。
2、然而，現有的l4負載均衡架構調度器根據連接調度算法選擇服務器，報文被發送給選中的服務器，一旦tcp連接建立，客戶端的請求會固定路由到同一服務器，由于l4基于tcp連接進行負載均衡，客戶端連接一旦成立，報文路由也固定，無法進行動態調整；導致當新的服務器啟動時，客戶端流量無法自動分配到新的服務端上；同時，當客戶端的數量少于服務器數量時，服務端中存在部分服務器始終沒有接收到客戶端請求；從而導致客戶端無法根據服務端的實時狀態進行均衡分配，影響服務端的性能和資源利用率。
3、因而，亟需研發一種負載均衡方法、裝置、電子設備及存儲介質解決上述存在的一個或多個問題。
技術實現思路
1、鑒于此，為解決上述技術問題或部分技術問題，本專利技術實施例提供一種負載均衡方法、裝置、電子設備及存儲介質。
2、第一方面，本申請提供了一種負載均衡方法，所述方法包括：
3、接收客戶端發起的服務請求，所述服務請求用于請求服務端向客戶端提供目標服務；
4、解析所述服務請求得到服務信息；
5、根據所述服務信息，從所述服務端中選取與所述服務請求對應的服務器集群；
6、根據預先設定的負載均衡規則
7、在一種可能的實施方式中，所述服務信息包括：服務類型信息和服務流量信息；
8、所述根據所述服務信息，從所述服務端中選取與所述服務請求對應的服務器集群，包括：
9、從所述服務端中選取符合所述服務類型信息的第一服務器，生成第一服務器列表；
10、基于所述服務流量信息，判斷所述第一服務器列表中的第一服務器是否符合負載需求，得到判斷結果；
11、根據判斷結果，從所述第一服務器集合中選取符合預設負載條件的服務器，作為第二服務器；
12、利用所述第二服務器，建立服務器集群。
13、在一種可能的實施方式中，所述基于所述服務流量信息，判斷所述第一服務器列表中的第一服務器是否符合負載需求，包括：
14、獲取所述第一服務列表中每個第一服務器的負載余量，以及所述第一服務列表中第一服務器的服務器數量；
15、根據所述服務流量信息與所述第一服務器的服務器數量，確定所述第一服務器的服務負載；
16、依次將所述第一服務列表中每個第一服務器的負載余量與服務負載進行對比，得到第一對比結果；
17、根據所述第一對比結果，判斷所述第一服務器列表中的第一服務器是否符合負載需求。
18、在一種可能的實施方式中，所述方法還包括：
19、在所述服務端中存在故障服務器的情況下，停用所述故障服務器，并判斷所述服務器集群中是否存在所述故障服務器；
20、在所述服務器集群中存在所述故障服務器的情況下，從服務端的非故障服務器中重新選取與所述服務請求對應的服務器集群。
21、在一種可能的實施方式中，所述方法還包括：
22、在所述服務端存在擴容時，判斷新增服務器是否符合所述服務類型信息；
23、在符合所述服務類型信息的情況下，基于所述新增服務器更新第一服務器列表；
24、利用更新后的所述第一服務器列表重新執行所述建立服務器集群的步驟。
25、在一種可能的實施方式中，在根據判斷結果，從所述第一服務器集合中選取符合預設負載條件的服務器，作為第二服務器之后，所述方法還包括：
26、獲取所述第二服務器的服務器數量；
27、根據所述服務流量信息與所述第二服務器的服務器數量，確定所述第二服務器的服務負載；
28、依次將每個第二服務器的負載余量與服務負載進行對比，得到第二對比結果；
29、在所述第二對比結果均未超出的情況下，執行所述利用所述第二服務器，建立服務器集群的步驟。
30、在一種可能的實施方式中，所述根據預先設定的負載均衡規則，將所述服務請求分配至服務器集群，包括：
31、確定服務器集群中服務器的服務器數量；
32、依據預先設定的負載均衡策略，將服務請求劃分為與所述服務器數量相匹配的多個服務子請求；
33、依次將多個服務子請求分配至所述服務器集群中的多個服務器。
34、第一方面，本申請提供了一種負載均衡裝置，所述裝置包括：
35、接收模塊，用于接收客戶端發起的服務請求，所述服務請求用于請求服務端向客戶端提供目標服務；
36、獲取模塊，用于根據所述服務請求獲取客戶端的服務信息；
37、選取模塊，用于根據所述服務信息，從所述服務端中選取與所述服務請求對應的服務器集群；
38、分配模塊，用于根據預先設定的負載均衡規則，將所述服務請求分配至服務器集群，以使服務器集群基于所述負載均衡規則向客戶端提供目標服務。
39、第三方面，本申請提供了一種電子設備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，所述處理器執行所述計算機程序時實現第一方面任一項實施例所述的負載均衡的步驟。
40、第四方面，本申請還提供了一種計算機存儲介質，其上存儲有計算機程序，所述計算機程序被處理器執行時實現第一方面任一項實施例所述的負載均衡的步驟。
41、本申請實施例提供的上述技術方案與現有技術相比具有如下優點：本申請實施例提供的負載均衡方法，在接收到客戶端發起的服務請求后，根據服務信息從服務端中選取與服務請求對應的服務器集群，然后根據預先設定的負載均衡規則將服務請求分配至該服務器集群，確保服務端的負載均衡，從而提高服務端的性能和資源利用率，并通過動態調整服務請求的路由，使得客戶端請求能夠根據服務端的實時狀態進行均衡分配，避免了部分服務器長時間無請求的情況，從而提升服務端的響應速度和穩定性。
本文檔來自技高網...【技術保護點】
1.一種負載均衡方法，其特征在于，包括：
2.根據權利要求1所述的方法，其特征在于，所述服務信息包括：服務類型信息和服務流量信息；
3.根據權利要求2所述的方法，其特征在于，所述基于所述服務流量信息，判斷所述第一服務器列表中的第一服務器是否符合負載需求，包括：
4.根據權利要求1所述的方法，其特征在于，所述方法還包括：
5.根據權利要求2所述的方法，其特征在于，所述方法還包括：
6.根據權利要求2所述的方法，其特征在于，在根據判斷結果，從所述第一服務器集合中選取符合預設負載條件的服務器，作為第二服務器之后，所述方法還包括：
7.根據權利要求1所述的方法，其特征在于，所述根據預先設定的負載均衡規則，將所述服務請求分配至服務器集群，包括：
8.一種負載均衡裝置，其特征在于，包括：
9.一種電子設備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，其特征在于，所述處理器執行所述計算機程序時實現權利要求1～7中任一項所述的負載均衡方法的步驟。
10.一種存儲介質，
...【技術特征摘要】
1.一種負載均衡方法，其特征在于，包括：
2.根據權利要求1所述的方法，其特征在于，所述服務信息包括：服務類型信息和服務流量信息；
3.根據權利要求2所述的方法，其特征在于，所述基于所述服務流量信息，判斷所述第一服務器列表中的第一服務器是否符合負載需求，包括：
4.根據權利要求1所述的方法，其特征在于，所述方法還包括：
5.根據權利要求2所述的方法，其特征在于，所述方法還包括：
6.根據權利要求2所述的方法，其特征在于，在根據判斷結果，從所述第一服務器集合中選取符合預設負載條件的服務器，作...
【專利技術屬性】
技術研發人員：張嘉文，
申請(專利權)人：北京愛奇藝科技有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。