【技術實現步驟摘要】
本公開的示例實施例總體涉及計算機，特別地涉及用于模型評估的方法、裝置、設備和計算機可讀存儲介質。
技術介紹
1、隨著機器學習、深度學習技術已經在許多領域中獲得廣泛應用。生成式模型指的是基于給定模態的模型輸入，能夠生成新的模型輸出。生成式模型主要應用于自然語言處理、機器翻譯、語音合成、圖像生成等領域，未來可以將其應用于更多的領域，例如醫療、金融、教育等。對于生成式模型所輸出的內容，需要能夠準確評估模型的性能。
技術實現思路
1、在本公開的第一方面，提供了一種模型評估的方法。該方法包括：將輸入集中的多個輸入分別提供給第一生成式模型，以得到第一生成式模型輸出的第一輸出集，第一輸出集包括多個輸入分別對應的多個輸出；獲得針對第一輸出集中的多個輸出各自的第一標注信息，第一標注信息指示每個輸出在多個質量評估維度中每個質量評估維度下所劃分的多個質量等級中被標注的質量等級；以及至少基于第一輸出集中的多個輸出各自的第一標注信息以及多個質量評估維度下所劃分的多個質量等級各自對應的質量得分，確定第一生成式模型的第一總體質量得分。
2、在本公開的第二方面，提供了一種用于模型評估的裝置。該裝置包括：第一輸入提供模塊，被配置為將輸入集中的多個輸入分別提供給第一生成式模型，以得到所述第一生成式模型輸出的第一輸出集，所述第一輸出集包括所述多個輸入分別對應的多個輸出；第一標注獲得模塊，被配置為獲得針對所述第一輸出集中的多個輸出各自的第一標注信息，所述第一標注信息指示每個輸出在多個質量評估維度中每個質量評估
3、在本公開的第三方面，提供了一種電子設備。該設備包括至少一個處理單元；以及至少一個存儲器，至少一個存儲器被耦合到至少一個處理單元并且存儲用于由至少一個處理單元執行的指令。指令在由至少一個處理單元執行時使設備執行第一方面的方法。
4、在本公開的第四方面，提供了一種計算機可讀存儲介質。該介質上存儲有計算機程序，計算機程序被處理器執行時實現第一方面的方法。
5、應當理解，該部分中所描述的內容并非旨在限定本公開的實施例的關鍵特征或重要特征，也不用于限制本公開的范圍。本公開的其它特征將通過以下的描述而變得容易理解。
本文檔來自技高網...【技術保護點】
1.一種模型評估的方法，包括：
2.根據權利要求1所述的方法，還包括：對于所述多個質量評估維度中的給定質量評估維度，
3.根據權利要求1所述的方法，還包括：
4.根據權利要求1所述的方法，其中確定所述第一生成式模型的總體質量得分包括：
5.根據權利要求4所述的方法，其中還基于所述多個質量評估維度各自對應的權重來確定所述第一總體質量得分包括：
6.根據權利要求5所述的方法，還包括：
7.根據權利要求1所述的方法，還包括：
8.根據權利要求1所述的方法，其中所述輸入集中的每個輸入包括以下至少一個模態的數據：文本模態、圖像模態、視頻模態、音頻模態；并且
9.根據權利要求8所述的方法，其中所述多個質量評估維度的選擇基于以下至少一項：所述第一生成式模型的輸出所包括的模態，或所述第一生成式模型的輸入所包括的模態。
10.一種用于模型評估的裝置，包括：
11.一種電子設備，包括：
12.一種計算機可讀存儲介質，其上存儲有計算機程序，所述計算機程序被處理器執行時實現
...【技術特征摘要】
1.一種模型評估的方法，包括：
2.根據權利要求1所述的方法，還包括：對于所述多個質量評估維度中的給定質量評估維度，
3.根據權利要求1所述的方法，還包括：
4.根據權利要求1所述的方法，其中確定所述第一生成式模型的總體質量得分包括：
5.根據權利要求4所述的方法，其中還基于所述多個質量評估維度各自對應的權重來確定所述第一總體質量得分包括：
6.根據權利要求5所述的方法，還包括：
7.根據權利要求1所述的方法，還包括：
8.根據...
【專利技術屬性】
技術研發人員：馬玉昆，A·歐福，
申請(專利權)人：北京有竹居網絡技術有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。