【技術(shù)實(shí)現(xiàn)步驟摘要】
本申請(qǐng)涉及計(jì)算機(jī)技術(shù)的領(lǐng)域，尤其涉及一種ai訓(xùn)練大數(shù)據(jù)集的上傳和展示方法。
技術(shù)介紹
1、隨著人工智能技術(shù)的飛速發(fā)展，大數(shù)據(jù)集在ai訓(xùn)練中發(fā)揮著越來越重要的作用。然而，大數(shù)據(jù)集的上傳和展示目前仍面臨一些挑戰(zhàn)：首先，傳統(tǒng)的上傳方式需要將整個(gè)文件完全讀入內(nèi)存，在發(fā)生瀏覽器關(guān)閉或上傳中斷時(shí)，數(shù)據(jù)將丟失，用戶不得不重新選擇文件，這降低了上傳的成功率；其次，客戶端在處理大數(shù)據(jù)集時(shí)，耗時(shí)較長，這期間的前端界面可能出現(xiàn)大量空白，影響用戶對(duì)數(shù)據(jù)的即時(shí)感知；最后，數(shù)據(jù)展示時(shí)一次性加載頁面內(nèi)所有數(shù)據(jù)，導(dǎo)致初始加載時(shí)間長，引發(fā)不必要的數(shù)據(jù)交互，浪費(fèi)網(wǎng)絡(luò)資源。因此，亟需一種高效的大數(shù)據(jù)集上傳和展示方案，以提高上傳速度、成功率，減少前端空白時(shí)間，優(yōu)化數(shù)據(jù)展示性能。
2、對(duì)比現(xiàn)有技術(shù)，現(xiàn)有大數(shù)據(jù)上傳和展示技術(shù)存在以下主要問題：
3、1.上傳缺乏更有效的續(xù)傳機(jī)制，在斷電等異常情況發(fā)生時(shí)，需要重新選擇文件上傳。
4、2.客戶端處理大數(shù)據(jù)集時(shí)，耗時(shí)較長，前端界面可能出現(xiàn)大量空白，影響用戶體驗(yàn)。
5、3.數(shù)據(jù)展示時(shí)一次性加載所有數(shù)據(jù)，初始加載時(shí)間長，浪費(fèi)網(wǎng)絡(luò)資源，加載速度慢。
6、4.客戶端一次性渲染大數(shù)據(jù)集展示頁面，每次加載大量數(shù)據(jù)，對(duì)客戶端性能要求高，影響頁面加載速度。
7、5.缺乏對(duì)用戶操作和數(shù)據(jù)的解耦機(jī)制，導(dǎo)致系統(tǒng)靈活性差。
技術(shù)實(shí)現(xiàn)思路
1、為解決上述問題，本專利技術(shù)提供了一種ai訓(xùn)練大數(shù)據(jù)集的上傳和展示方法，采用如下的技術(shù)方案：>
2、一種ai訓(xùn)練大數(shù)據(jù)集的上傳和展示方法，包括：上傳步驟；所述上傳步驟包括：
3、步驟s101，客戶端對(duì)用戶選擇上傳的大數(shù)據(jù)集文件劃分為多個(gè)文件小塊，并將多個(gè)文件小塊緩存到瀏覽器的本地?cái)?shù)據(jù)庫indexeddb中；
4、步驟s102，客戶端對(duì)目標(biāo)文件小塊進(jìn)行讀取，并將所述目標(biāo)文件小塊上傳至服務(wù)端中，所述目標(biāo)文件小塊為瀏覽器的本地?cái)?shù)據(jù)庫indexeddb中的存儲(chǔ)多個(gè)文件小塊中的其中一個(gè)文件小塊；
5、步驟s103，當(dāng)客戶端上傳完畢所述目標(biāo)文件小塊時(shí)，將所述目標(biāo)文件小塊在瀏覽器的本地?cái)?shù)據(jù)庫indexeddb中刪除；
6、步驟s104，客戶端判斷所述瀏覽器的本地?cái)?shù)據(jù)庫indexeddb中是否存在文件小塊，若是，則繼續(xù)執(zhí)行步驟s102，若否，則繼續(xù)執(zhí)行步驟s105；
7、步驟s105，客戶端向服務(wù)端發(fā)送文件上傳完畢的信號(hào)；
8、在另一種可能實(shí)現(xiàn)的方式中，還包括展示步驟，所述展示步驟包括：
9、步驟s201，客戶端創(chuàng)建交叉觀察器intersectionobserver，創(chuàng)建信號(hào)對(duì)象signals；
10、步驟s202，客戶端加載頁面，并向服務(wù)端發(fā)送請(qǐng)求，接收服務(wù)端處理請(qǐng)求后反饋包括服務(wù)端渲染的圖表布局的代碼，并將其注入到客戶端渲染頁面，客戶端向服務(wù)端發(fā)送的請(qǐng)求中攜帶有包括圖表類型的基礎(chǔ)配置信息；
11、步驟s203，客戶端解析服務(wù)端響應(yīng)客戶端發(fā)送的請(qǐng)求而返回的對(duì)大數(shù)據(jù)集訓(xùn)練后的可視化圖表預(yù)覽圖，并對(duì)所述可視化圖表預(yù)覽圖進(jìn)行調(diào)整，得到占位圖表，使用所述占位圖表對(duì)實(shí)際圖表位置進(jìn)行占位；
12、步驟s204，客戶端根據(jù)可視窗口內(nèi)的可視圖表向服務(wù)端請(qǐng)求對(duì)大數(shù)據(jù)集處理后的訓(xùn)練結(jié)果數(shù)據(jù)并進(jìn)行解析，觸發(fā)前端圖表組件可視窗口內(nèi)的可視圖表繪制操作，并更新視圖，替換步驟s203中占位的占位圖表，所述可視窗口為提前設(shè)定的客戶端頁面上能夠展示大數(shù)據(jù)集的區(qū)域，所述可視圖表為在可視窗口內(nèi)顯示比例達(dá)到預(yù)設(shè)比例的圖表；
13、步驟s205，客戶端監(jiān)聽交叉觀察器intersectionobserver對(duì)頁面內(nèi)所有圖表與可視窗口重疊的響應(yīng)后，若可視窗口內(nèi)出現(xiàn)新的圖表，執(zhí)行步驟s207；
14、步驟s206，客戶端將篩選控件內(nèi)時(shí)間范圍或刷新頻率變化的結(jié)果注入信號(hào)對(duì)象signals，當(dāng)客戶端圖表組件監(jiān)聽到信號(hào)對(duì)象signals的更新時(shí)，跳至步驟s207；
15、步驟s207，客戶端根據(jù)可視窗口內(nèi)的可視圖表向服務(wù)端請(qǐng)求對(duì)大數(shù)據(jù)集處理后的訓(xùn)練結(jié)果數(shù)據(jù)并進(jìn)行解析，觸發(fā)前端圖表組件可視窗口內(nèi)的可視圖表繪制操作，若實(shí)際圖表位置有占位圖表，則替換占位圖表，否則更新圖表。
16、在另一種可能實(shí)現(xiàn)的方式中，所述大數(shù)據(jù)集文件包括多個(gè)文件，所述客戶端對(duì)用戶選擇上傳的大數(shù)據(jù)集文件劃分為多個(gè)文件小塊，并將多個(gè)文件小塊緩存到瀏覽器的本地?cái)?shù)據(jù)庫indexeddb中，包括：
17、客戶端對(duì)用戶選擇上傳的大數(shù)據(jù)集文件劃分為多個(gè)文件小塊，并對(duì)所述多個(gè)文件小塊生成各自對(duì)應(yīng)的哈希標(biāo)識(shí)以及對(duì)多個(gè)文件生成各自對(duì)應(yīng)的文件id；
18、將多個(gè)文件小塊按照blob類型，結(jié)合多個(gè)文件各自對(duì)應(yīng)的文件id以及多個(gè)文件小塊各自對(duì)應(yīng)的哈希標(biāo)識(shí)，統(tǒng)一存儲(chǔ)到瀏覽器的本地?cái)?shù)據(jù)庫indexeddb中。
19、在另一種可能實(shí)現(xiàn)的方式中，在本地?cái)?shù)據(jù)庫indexeddb中文件小塊有對(duì)應(yīng)的狀態(tài)標(biāo)志，狀態(tài)標(biāo)志包括：待上傳以及上傳中，目標(biāo)文件小塊為本地?cái)?shù)據(jù)庫indexeddb中根據(jù)文件id查找到的狀態(tài)標(biāo)志為待上傳的文件小塊中的首個(gè)文件小塊。
20、在另一種可能實(shí)現(xiàn)的方式中，步驟s202中，包括服務(wù)端渲染的圖表布局的代碼通過使用客戶端激活技術(shù)注入到客戶端渲染頁面。
21、在另一種可能實(shí)現(xiàn)的方式中，客戶端解析服務(wù)端響應(yīng)客戶端發(fā)送的請(qǐng)求而返回的對(duì)大數(shù)據(jù)集訓(xùn)練后的可視化圖表預(yù)覽圖，并對(duì)所述可視化圖表預(yù)覽圖進(jìn)行調(diào)整，得到占位圖表，包括：
22、服務(wù)端根據(jù)客戶端發(fā)送的請(qǐng)求中的基礎(chǔ)配置信息，使用后端渲染技術(shù)生成可視化圖表預(yù)覽圖，并將所述可視化圖表預(yù)覽圖返回給客戶端；
23、客戶端基于實(shí)際圖表位置以及所述實(shí)際圖表位置對(duì)應(yīng)的實(shí)際圖表的尺寸對(duì)所述可視化圖表預(yù)覽圖進(jìn)行調(diào)整，得到占位圖表。
24、綜上所述，本申請(qǐng)包括以下有益技術(shù)效果：
25、本申請(qǐng)采用了一種分塊上傳策略，將大數(shù)據(jù)集劃分為多個(gè)小塊，每個(gè)小塊獨(dú)立上傳至分布式存儲(chǔ)系統(tǒng)中，提高了上傳速度和成功率；并且，客戶端在上傳大數(shù)據(jù)集之前，將文件緩存到瀏覽器的本地?cái)?shù)據(jù)庫（indexeddb）中，保證在發(fā)生意外導(dǎo)致上傳中斷后，可以自動(dòng)繼續(xù)上傳文件；此外，本申請(qǐng)還實(shí)現(xiàn)了一種多維度且高效的展示技術(shù)，通過客戶端激活技術(shù)（一種在頁面加載完成后，將服務(wù)器端渲染的內(nèi)容注入到客戶端渲染頁面的方法）減少客戶端的加載時(shí)間、通過用低分辨率圖片占位降低等待時(shí)間、通過推遲加載技術(shù)（deferloading）減少不必要的數(shù)據(jù)傳輸?shù)却胧M(jìn)行更快捷高效的數(shù)據(jù)展示；同時(shí)，通過在客戶端使用信號(hào)對(duì)象（signals）機(jī)制按條件地更新圖表，實(shí)現(xiàn)了用戶操作與數(shù)據(jù)更新之間的解耦，提高了的模塊化和靈活性。
本文檔來自技高網(wǎng)...【技術(shù)保護(hù)點(diǎn)】
1.一種AI訓(xùn)練大數(shù)據(jù)集的上傳和展示方法，其特征在于，包括：上傳步驟；所述上傳步驟包括：
2.根據(jù)權(quán)利要求1所述的一種AI訓(xùn)練大數(shù)據(jù)集的上傳和展示方法，其特征在于，還包括：展示步驟；所述展示步驟包括：
3.根據(jù)權(quán)利要求1所述的一種AI訓(xùn)練大數(shù)據(jù)集的上傳和展示方法，其特征在于，所述大數(shù)據(jù)集文件包括多個(gè)文件，所述客戶端對(duì)用戶選擇上傳的大數(shù)據(jù)集文件劃分為多個(gè)文件小塊，并將多個(gè)文件小塊緩存到瀏覽器的本地?cái)?shù)據(jù)庫IndexedDB中，包括：
4.根據(jù)權(quán)利要求1所述的一種AI訓(xùn)練大數(shù)據(jù)集的上傳和展示方法，其特征在于，在本地?cái)?shù)據(jù)庫IndexedDB中文件小塊有對(duì)應(yīng)的狀態(tài)標(biāo)志，狀態(tài)標(biāo)志包括：待上傳以及上傳中，目標(biāo)文件小塊為本地?cái)?shù)據(jù)庫IndexedDB中根據(jù)文件ID查找到的狀態(tài)標(biāo)志為待上傳的文件小塊中的首個(gè)文件小塊。
5.根據(jù)權(quán)利要求2所述的一種AI訓(xùn)練大數(shù)據(jù)集的上傳和展示方法，其特征在于，步驟S202中，包括服務(wù)端渲染的圖表布局的代碼通過使用客戶端激活技術(shù)注入到客戶端渲染頁面。
6.根據(jù)權(quán)利要求1所述的一種AI訓(xùn)練大數(shù)據(jù)集的上傳和展示方法
...【技術(shù)特征摘要】
1.一種ai訓(xùn)練大數(shù)據(jù)集的上傳和展示方法，其特征在于，包括：上傳步驟；所述上傳步驟包括：
2.根據(jù)權(quán)利要求1所述的一種ai訓(xùn)練大數(shù)據(jù)集的上傳和展示方法，其特征在于，還包括：展示步驟；所述展示步驟包括：
3.根據(jù)權(quán)利要求1所述的一種ai訓(xùn)練大數(shù)據(jù)集的上傳和展示方法，其特征在于，所述大數(shù)據(jù)集文件包括多個(gè)文件，所述客戶端對(duì)用戶選擇上傳的大數(shù)據(jù)集文件劃分為多個(gè)文件小塊，并將多個(gè)文件小塊緩存到瀏覽器的本地?cái)?shù)據(jù)庫indexeddb中，包括：
4.根據(jù)權(quán)利要求1所述的一種ai訓(xùn)練大數(shù)據(jù)集的上傳和展示方法，其特征在于，在本地?cái)?shù)據(jù)庫indexedd...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：趙文浩，伍洲，鐘生平，汪黎，
申請(qǐng)(專利權(quán))人：麒麟軟件有限公司，
類型：發(fā)明
國別省市：
還沒有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。