System.ArgumentOutOfRangeException: 索引和長度必須引用該字符串內的位置。 參數名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技術實現步驟摘要】
本公開的示例實施例總體涉及計算機,并且更具體地,涉及數據處理的方法、裝置、電子設備、計算機可讀存儲介質和計算機程序產品。
技術介紹
1、現在互聯網業務中,將文件中的數據導入到軟件系統是一個常見的場景,通常,技術實現包括文件上傳、暫存、讀取、解析和導入等步驟,該過程中前端頁面將文件一次性的傳給后端應用,后端應用將其暫存到磁盤,再加載到內存后執行導入邏輯。然而,文件較大且多個任務并行時,一次性上傳到后端的文件及其容易發生超出內存的故障,即便能夠正常保存到磁盤,而磁盤的容量又會成為整個導入功能的瓶頸。
技術實現思路
1、在本公開的第一方面,提供一種用于數據處理的方法。該方法包括:響應于接收到前端設備發送的任務請求,根據任務請求中的目標地址,將目標文件導入到數據隊列中,目標地址為前端設備將目標文件上傳至指定服務器后得到的目標文件在指定服務器中的地址;通過調用業務應用,使得業務應用從數據隊列中導出目標文件;以及根據目標文件在數據隊列中的停留時間,動態調整數據導入配置和數據導出配置。
2、在本公開的第二方面,提供一種用于數據處理的裝置。該裝置包括:
3、導入模塊,被配置為響應于接收到前端設備發送的任務請求,根據任務請求中的目標地址,將目標文件導入到數據隊列中;導出模塊,被配置為通過調用業務應用,使得業務應用從數據隊列中導出目標文件;調整模塊,被配置為根據目標文件在數據隊列中的停留時間動態調整數據導入配置和數據導出配置。
4、在本公開的第三方面,提供了一種電子
5、在本公開的第四方面,提供了一種計算機可讀存儲介質。該介質上存儲有計算機程序,計算機程序被處理器執行時實現第一方面的方法。
6、在本公開的第五方面,提供了一種計算機程序產品。該產品包括計算機程序,其中計算機程序被處理器執行時實現根據本公開的第一方面的方法。
7、應當理解,該部分中所描述的內容并非旨在限定本公開的實施例的關鍵特征或重要特征,也不用于限制本公開的范圍。本公開的其他特征將通過以下的描述而變得容易理解。
本文檔來自技高網...【技術保護點】
1.一種數據處理方法,包括:
2.根據權利要求1所述的方法,其中將所述目標文件導入到數據隊列中包括:
3.根據權利要求1所述的方法,其中從所述數據隊列中導出所述目標文件包括:
4.根據權利要求1所述的方法,還包括:
5.根據權利要求1所述的方法,其中根據所述停留時間動態調整所述數據導入配置和所述數據導出配置包括:
6.根據權利要求5所述的方法,還包括:
7.根據權利要求5所述的方法,還包括:
8.根據權利要求7所述的方法,還包括:
9.根據權利要求7所述的方法,還包括:
10.一種用于數據處理的裝置,包括:
11.一種電子設備,包括:
12.一種計算機可讀存儲介質,其上存儲有計算機程序,所述計算機程序可由處理器執行以實現根據權利要求1至9中任一項所述的方法。
13.一種計算機程序產品,所述計算機程序產品被有形地存儲在計算機存儲介質中并且包括計算機可執行指令,計算機可執行指令在由設備執行時使設備執行根據權利要求1至9中任一項所述的方法。
...【技術特征摘要】
1.一種數據處理方法,包括:
2.根據權利要求1所述的方法,其中將所述目標文件導入到數據隊列中包括:
3.根據權利要求1所述的方法,其中從所述數據隊列中導出所述目標文件包括:
4.根據權利要求1所述的方法,還包括:
5.根據權利要求1所述的方法,其中根據所述停留時間動態調整所述數據導入配置和所述數據導出配置包括:
6.根據權利要求5所述的方法,還包括:
7.根據權利要求5所述的方法,還包括:
8.根據權利要求...
【專利技術屬性】
技術研發人員:張京港,
申請(專利權)人:北京京東遠升科技有限公司,
類型:發明
國別省市:
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。