【技術(shù)實現(xiàn)步驟摘要】
本專利技術(shù)屬于人機(jī)交互的，具體的，涉及一種繪畫大師風(fēng)格學(xué)習(xí)和風(fēng)格遷移的人機(jī)交互系統(tǒng)。
技術(shù)介紹
1、在人機(jī)工效學(xué)當(dāng)中，人性化的交互設(shè)計是一個非常重要的部分。目前的人機(jī)交互，已從人去理解機(jī)器轉(zhuǎn)向了機(jī)器去理解人，因此軟硬件的輸入與輸出方式也越發(fā)貼近人的使用習(xí)慣，模擬人與人的交互，例如：圖形化的交互界面，語音識別，語音輸出，動作識別，vr與ar技術(shù)等。合理的人機(jī)交互設(shè)計對于充分發(fā)揮軟硬件功能，提高工作效率有著至關(guān)重要的作用。
2、隨著交互技術(shù)與計算機(jī)圖形學(xué)的發(fā)展，越來越多的藝術(shù)創(chuàng)作從傳統(tǒng)介質(zhì)向電子載體轉(zhuǎn)移。例如現(xiàn)在的廣告繪畫，動畫制作等商業(yè)繪畫的主要領(lǐng)域，已經(jīng)幾乎全部由電腦繪畫完成。常用的電腦繪畫工具有：數(shù)位板，數(shù)位屏，平板電腦等。其中數(shù)位板與數(shù)位屏為配合個人電腦使用的特殊輸入設(shè)備，以模擬手繪為主要功能，以專業(yè)性為主。平板電腦繪畫由于平板電腦上搭載的軟件以及其硬件條件并非專門為繪畫設(shè)計，對于專業(yè)繪畫不能滿足其所有需求。但由于其普及性與便攜性，平板電腦更適用于輕量級的，大眾化的電腦繪畫。
3、目前已有的繪畫軟件，主要功能集中于提供更好的板繪輔助與更貼近手繪的繪畫手感。而目前存在的用于繪畫教學(xué)的軟件，其主要功能集中于視頻錄制，作品展示，網(wǎng)課管理等功能與一般繪畫功能的集成，暫無以繪畫軟件本身提供繪畫教學(xué)功能的軟件。
4、如果軟件需要達(dá)到繪畫教學(xué)效果，則識別繪畫內(nèi)容便是一個相當(dāng)重要的部分。對畫作進(jìn)行線稿的提取是其中的一個難點(diǎn)。目前有許多有關(guān)邊緣檢測的算法或神經(jīng)網(wǎng)絡(luò)，但在對畫作的線稿提取上效果不佳。僅僅使用o
5、機(jī)器學(xué)習(xí)領(lǐng)域中，在很長的一段時間里，如何定量地描述圖像藝術(shù)風(fēng)格這一特征是一個難以解決的問題。隨著卷積神經(jīng)網(wǎng)絡(luò)的發(fā)展，gatys等人首先提出了用神經(jīng)網(wǎng)絡(luò)提取出來的圖像特征的gram?matrix來刻畫一幅圖像的風(fēng)格屬性，但風(fēng)格效果用戶滿意度低。
技術(shù)實現(xiàn)思路
1、針對現(xiàn)有技術(shù)中的缺陷，本專利技術(shù)的目的是提供一種繪畫大師風(fēng)格學(xué)習(xí)和風(fēng)格遷移的人機(jī)交互系統(tǒng)。
2、根據(jù)本專利技術(shù)的一個方面，提供一種繪畫大師風(fēng)格學(xué)習(xí)和風(fēng)格遷移的人機(jī)交互系統(tǒng)，包括：
3、模式選擇模塊，所述模式選擇模塊選擇臨摹、寫生或自由創(chuàng)造的繪畫模式；
4、教學(xué)指導(dǎo)模塊，所述教學(xué)指導(dǎo)模塊在臨摹模式的繪畫過程中進(jìn)行交互式指導(dǎo)；
5、風(fēng)格遷移模塊，所述風(fēng)格遷移模塊將在臨摹模式和寫生模式下完成的繪畫進(jìn)行風(fēng)格遷移并對照展示，使得用戶所畫的零散線條或色塊整體風(fēng)格統(tǒng)一，美化用戶的畫作。
6、優(yōu)選地，所述教學(xué)指導(dǎo)模塊在臨摹模式的繪畫過程中進(jìn)行交互式指導(dǎo)，包括：
7、選定臨摹對象，識別當(dāng)前的臨摹畫作；
8、對比所述臨摹對象與所述臨摹畫作的線稿與顏色；
9、根據(jù)所述臨摹畫作與所述臨摹對象的線稿的位置差異，提出線稿位置的修正；
10、根據(jù)所述臨摹畫作與所述臨摹對象的對應(yīng)位置色差，提出色準(zhǔn)的修正。
11、優(yōu)選地，所述根據(jù)臨摹畫作與臨摹對象的線稿的位置差異，提出線稿位置的修正，包括：
12、調(diào)整所述臨摹畫作的大小與所述臨摹對象相同；
13、通過高斯模糊和高通濾波對所述臨摹畫作、所述臨摹對象進(jìn)行高反差保留；
14、使用訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)提取所述臨摹畫作、所述臨摹對象的線稿；
15、使用滑動窗口對兩幅線稿進(jìn)行相似性計算，記錄相似性最小的窗口位置及其對應(yīng)的最小值；
16、當(dāng)所述最小值小于設(shè)定閾值時，返回該窗口對應(yīng)位置線框及該窗口對應(yīng)的臨摹對象正確線稿，用以修正；若最小值大于設(shè)定閾值，則無需修正。
17、優(yōu)選地，訓(xùn)練好的所述神經(jīng)網(wǎng)絡(luò)，對輸入圖像進(jìn)行下采樣和卷積，再進(jìn)行對應(yīng)反向操作還原；在上采樣和卷積時結(jié)合了下采樣過程中的對應(yīng)中間結(jié)果，用于防止過程中信息丟失過多。
18、優(yōu)選地，利用相似性計算錯誤量，從而將線稿匹配程度量化，根據(jù)所述線稿匹配程度，予以用戶不同的評價等級，并分階段地為用戶提供指導(dǎo)：首先只指出存在錯誤的局部區(qū)域，然后根據(jù)用戶指示需求才展示該區(qū)域正確的線稿。
19、優(yōu)選地，所述根據(jù)所述臨摹畫作與所述臨摹對象的對應(yīng)位置色差，提出色準(zhǔn)的修正，包括：
20、調(diào)整臨摹畫作的大小與臨摹對象相同；
21、基于lab顏色空間對臨摹畫作和臨摹對象進(jìn)行逐像素顏色距離的計算，并濾去距離相差極小的可視作誤差的像素；
22、滑動窗口，記錄距離之和最大的窗口及其對應(yīng)的最大值；
23、當(dāng)所述最大值大于設(shè)定閾值時，返回該窗口對應(yīng)位置線框及該窗口對應(yīng)的臨摹對象的正確顏色，用以修正；若最大值小于設(shè)定閾值，無需修正。
24、優(yōu)選地，所述顏色距離的計算公式為：
25、
26、ar＝c1,r-c2,r
27、ag＝c1,g-c2,g
28、ab＝c1b-c2,b
29、
30、c1、c2分別代表臨摹畫作和臨摹對象相同位置的像素的顏色，r、g、b代表紅綠藍(lán)三基色。
31、優(yōu)選地，利用lab顏色空間計算顏色距離，將顏色匹配程度量化，根據(jù)所述顏色匹配程度，予以用戶不同的評價等級，分階段地為用戶提供指導(dǎo)：首先只指出存在錯誤的局部區(qū)域，然后根據(jù)用戶指示需求才展示該區(qū)域正確的顏色。
32、優(yōu)選地，所述風(fēng)格遷移模塊將在臨摹模式和寫生模式下完成的繪畫進(jìn)行風(fēng)格遷移并對照展示，使得用戶所畫的零散線條或色塊整體風(fēng)格統(tǒng)一，美化用戶的畫作，包括：
33、將用戶的畫作圖片進(jìn)行均值、方差以及大小修正；
34、將所述畫作圖片輸入到預(yù)先訓(xùn)練好的圖像轉(zhuǎn)換網(wǎng)絡(luò)，得到風(fēng)格遷移后的圖像；
35、將風(fēng)格遷移后的圖像再次經(jīng)過均值、方差、大小修正后作為用戶畫作的風(fēng)格遷移結(jié)果；
36、將所述風(fēng)格遷移結(jié)構(gòu)展示并保存。
37、優(yōu)選地，所述圖像轉(zhuǎn)換網(wǎng)絡(luò)的損失函數(shù)包括風(fēng)格損失函數(shù)和內(nèi)容損失函數(shù)，所述風(fēng)格損失函數(shù)由原圖和結(jié)果圖通過vgg16的中間結(jié)果計算gram?matrix得到，內(nèi)容損失由原圖和結(jié)果圖通過vgg16的中間結(jié)果計算2-范數(shù)得到。
38、與現(xiàn)有技術(shù)相比，本專利技術(shù)具有如下的有益效果：
39、本專利技術(shù)實施例的繪畫大師風(fēng)格學(xué)習(xí)和風(fēng)格遷移的人機(jī)交互系統(tǒng)，利用在繪畫過程中，加入交互式的檢測和修正，增加繪畫樂趣，提高繪畫教學(xué)質(zhì)量。
40、本專利技術(shù)實施例的繪畫大師風(fēng)格學(xué)習(xí)和風(fēng)格遷移的人機(jī)交互系統(tǒng)，解決了目前不存在獨(dú)立完成繪畫教學(xué)功能的輕量化軟件的問題，呈現(xiàn)了一種新穎的人機(jī)交互系統(tǒng)設(shè)計及其方法實現(xiàn)。
本文檔來自技高網(wǎng)...【技術(shù)保護(hù)點(diǎn)】
1.一種繪畫大師風(fēng)格學(xué)習(xí)和風(fēng)格遷移的人機(jī)交互系統(tǒng)，其特征在于，包括：
2.根據(jù)權(quán)利要求1所述的一種繪畫大師風(fēng)格學(xué)習(xí)和風(fēng)格遷移的人機(jī)交互系統(tǒng)，其特征在于，所述教學(xué)指導(dǎo)模塊在臨摹模式的繪畫過程中進(jìn)行交互式指導(dǎo)，包括：
3.根據(jù)權(quán)利要求2所述的一種繪畫大師風(fēng)格學(xué)習(xí)和風(fēng)格遷移的人機(jī)交互系統(tǒng)，其特征在于，所述根據(jù)臨摹畫作與臨摹對象的線稿的位置差異，提出線稿位置的修正，包括：
4.根據(jù)權(quán)利要求3所述的一種繪畫大師風(fēng)格學(xué)習(xí)和風(fēng)格遷移的人機(jī)交互系統(tǒng)，其特征在于，訓(xùn)練好的所述神經(jīng)網(wǎng)絡(luò)，對輸入圖像進(jìn)行下采樣和卷積，再進(jìn)行對應(yīng)反向操作還原；在上采樣和卷積時結(jié)合了下采樣過程中的對應(yīng)中間結(jié)果，用于防止過程中信息丟失過多。
5.根據(jù)權(quán)利要求3所述的一種繪畫大師風(fēng)格學(xué)習(xí)和風(fēng)格遷移的人機(jī)交互系統(tǒng)，其特征在于，利用相似性計算錯誤量，從而將線稿匹配程度量化，根據(jù)所述線稿匹配程度，予以用戶不同的評價等級，并分階段地為用戶提供指導(dǎo)：首先只指出存在錯誤的局部區(qū)域，然后根據(jù)用戶指示需求才展示該區(qū)域正確的線稿。
6.根據(jù)權(quán)利要求2所述的一種繪畫大師風(fēng)格學(xué)習(xí)和風(fēng)格遷移
7.根據(jù)權(quán)利要求6所述的一種繪畫大師風(fēng)格學(xué)習(xí)和風(fēng)格遷移的人機(jī)交互系統(tǒng)，其特征在于，所述顏色距離的計算公式為：
8.根據(jù)權(quán)利要求7所述的一種繪畫大師風(fēng)格學(xué)習(xí)和風(fēng)格遷移的人機(jī)交互系統(tǒng)，其特征在于，利用LAB顏色空間計算顏色距離，將顏色匹配程度量化，根據(jù)所述顏色匹配程度，予以用戶不同的評價等級，分階段地為用戶提供指導(dǎo)：首先只指出存在錯誤的局部區(qū)域，然后根據(jù)用戶指示需求才展示該區(qū)域正確的顏色。
9.根據(jù)權(quán)利要求1所述的一種繪畫大師風(fēng)格學(xué)習(xí)和風(fēng)格遷移的人機(jī)交互系統(tǒng)，其特征在于，所述風(fēng)格遷移模塊將在臨摹模式和寫生模式下完成的繪畫進(jìn)行風(fēng)格遷移并對照展示，使得用戶所畫的零散線條或色塊整體風(fēng)格統(tǒng)一，美化用戶的畫作，包括：
10.根據(jù)權(quán)利要求9所述的一種繪畫大師風(fēng)格學(xué)習(xí)和風(fēng)格遷移的人機(jī)交互系統(tǒng)，其特征在于，所述圖像轉(zhuǎn)換網(wǎng)絡(luò)的損失函數(shù)包括風(fēng)格損失函數(shù)和內(nèi)容損失函數(shù)，所述風(fēng)格損失函數(shù)由風(fēng)格圖和結(jié)果圖通過VGG16的中間結(jié)果計算gram?matrix得到，內(nèi)容損失由原圖和結(jié)果圖通過VGG16的中間結(jié)果計算2-范數(shù)得到。
...【技術(shù)特征摘要】
1.一種繪畫大師風(fēng)格學(xué)習(xí)和風(fēng)格遷移的人機(jī)交互系統(tǒng)，其特征在于，包括：
2.根據(jù)權(quán)利要求1所述的一種繪畫大師風(fēng)格學(xué)習(xí)和風(fēng)格遷移的人機(jī)交互系統(tǒng)，其特征在于，所述教學(xué)指導(dǎo)模塊在臨摹模式的繪畫過程中進(jìn)行交互式指導(dǎo)，包括：
3.根據(jù)權(quán)利要求2所述的一種繪畫大師風(fēng)格學(xué)習(xí)和風(fēng)格遷移的人機(jī)交互系統(tǒng)，其特征在于，所述根據(jù)臨摹畫作與臨摹對象的線稿的位置差異，提出線稿位置的修正，包括：
4.根據(jù)權(quán)利要求3所述的一種繪畫大師風(fēng)格學(xué)習(xí)和風(fēng)格遷移的人機(jī)交互系統(tǒng)，其特征在于，訓(xùn)練好的所述神經(jīng)網(wǎng)絡(luò)，對輸入圖像進(jìn)行下采樣和卷積，再進(jìn)行對應(yīng)反向操作還原；在上采樣和卷積時結(jié)合了下采樣過程中的對應(yīng)中間結(jié)果，用于防止過程中信息丟失過多。
5.根據(jù)權(quán)利要求3所述的一種繪畫大師風(fēng)格學(xué)習(xí)和風(fēng)格遷移的人機(jī)交互系統(tǒng)，其特征在于，利用相似性計算錯誤量，從而將線稿匹配程度量化，根據(jù)所述線稿匹配程度，予以用戶不同的評價等級，并分階段地為用戶提供指導(dǎo)：首先只指出存在錯誤的局部區(qū)域，然后根據(jù)用戶指示需求才展示該區(qū)域正確的線稿。
6.根據(jù)權(quán)利要求2所述的一種繪畫大師風(fēng)格學(xué)習(xí)和風(fēng)格遷移的人機(jī)交互系統(tǒng)，其特征在于，所述...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：肖雙九，郭黛筠，毛彥凱，竇嘉偉，劉勉之，
申請(專利權(quán))人：上海交通大學(xué)，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。