一種計算機化自適應多階段測試選題方法、系統及介質技術方案

本發明專利技術公開了一種計算機化自適應多階段測試選題方法、系統及介質，涉及在線教育技術領域，對所考內容進行編碼，并分區；根據題目區分度參數的估計值做分區處理，在多階段考試時，同一區組內部的題目隨機選定；根據題目難度參數估計值把題目分區，根據考生得分情況選定各考試階段的考試題目；在多階段考試的第二階段及之后的考試階段，在難度相鄰的題組之間，設置6％

【技術實現步驟摘要】
一種計算機化自適應多階段測試選題方法、系統及介質


[0001]本專利技術涉及教育
，特別涉及一種計算機化自適應多階段測試選題方法、系統及介質。

技術介紹

[0002]隨著信息技術的迅猛發展，計算機化自適應考試模式(CAT)逐步成為國際考試行業的發展方向之一。CAT的突出優點是計算機考試系統可以根據考生在考試前期的作答反應水平，運用項目反應理論(IRT)的相關算法，在后期的作答過程中給考生逐步推送難度與考生能力水平接近的試題，從而快速、準確地估計考生能力水平。這種無紙化自適應考試方式，不僅可以在保障考試質量的前提下，大大縮短考試時長，提高考試效率，而且允許不同考生作答不同試題，其成績卻可以通過測驗等值手段被表達在一個共同的度量系統之上，方便考試成績的直接比較。這不僅從技術上提升了考試的效率和科學性水平，而且提升了防控考試舞弊的水平，保障了考試的公平性。
[0003]然而，早期的CAT選題策略過分依賴測驗信息量極大化這種單一目標，導致了題庫中區分度很高的優質試題被過渡調用慘遭淘汰，而區分度相對較低的合格試題很少被調用造成大量浪費等嚴重問題。為了解決這些問題，有學者或考試機構分別提出了基于“區分度分層”和基于“難度與區分度先后分層”的選題算法，以及降低自適應程度的多階段測試模式等方法，但這些方法仍然存在一定的缺陷。故此，本報告提出計算機化自適應多階段考試八標準選題策略。
[0004]現有的多階段測試選題，關于選題組卷工作，國內許多計算機化考試系統(簡稱機考系統)主要采用的是“固定試卷”或“線性組卷”(linear form)方法、“隨機選題”方法、基于“遺傳算法”的選題方法等，許多研究報告都側重在“自動組卷的計算機軟件開發”方面，缺乏嚴謹的現代考試科學的理論基礎。相關的理論研究主要圍繞著“信息量最大化”、“依據a參數分層選題”和“平衡考試內容”等主題。國外的研究更多側重在“心理計量學”(psychometric)方面，包括題目特征曲線(item characteristic curve，ICC)、題目信息函數(item information function，IIF)、題目和考生參數估計、測驗或題目參數等值(test equating or item parameter estimates linking)、以及測量信度(reliability)、效度(validity)、公平性(differential item functioning,DIF)，以及CAT和ca
?
MST考試模式研究等方面。現對其中的常用方法概述如下。
[0005]1)線性組卷(linear form)方法：即，嚴格根據考試藍圖人工選擇試題的方法。試卷一旦通過審定，其題目內容和順序不得更改。這種選題組卷方法普遍用于傳統的紙筆考試(paper
?
based test,pBT)，也可以用于基于計算機的考試(computer
?
based test,cBT，簡稱機考)或基于互聯網平臺的考試(internet
?
base test，iBT，簡稱網考)，只不過機考或網考中的試題試卷是電子版本。其突出缺點是考試實施過程中缺乏自適應功能；
[0006]2)隨機選題方法：即，從題庫中隨機選題的方法。其主要缺點是作答過程沒有“自適應”機制，而且很容易發生內容效度或結構效度，以及測量信度不夠理想等問題，也缺乏
自適應功能；
[0007]3)信息量極大化選題方法：即，利用IRT模型(如，Rasch模型或雙參數logistic模型或三參數logistic模型)，在題目參數估計值已知的情況下，事先估算每道試題的信息量(IIF)，再利用IRT框架下題目信息量具有可加性的特點，機考系統可以不斷給考生推送信息量最大題目的選題方法。通常，待到各題信息量累加到某個事先給定的臨界值，考試過程即自行終止。其中，根據考生在作答前期的作答反應表現，不斷調整題目難度使得題目信息量的累加量達到極大值的過程即為考試的自適應過程。這種選題方法后來被證明存在著優質試題會被過度選用從而被快速淘汰，以及區分度較低的合格試題很少被選用從而造成大量浪費等缺點。因此，這種在理論上十分完美的信息量最大化的選題策略存在著實用性不好的重大缺陷；
[0008]4)區分度分層選題方法：即，在考試的初始階段，機考系統給考生主要推送區分度較小的試題，待到作答反應信息量累加到某個臨界值后，再給考生推送區分度較大、而且難度與考生能力水平比較接近題目的選題策略。這種選題策略既實現了自適應的目標，又發揮了區分度相對較低題目的價值，同時讓高區分度試題用在考試的最后環節，為精準估計考生能力水平提供精準估計，發揮了“好鋼用在刀刃上”的效果。其缺點是選題過程過度依靠題目區分度參數，沒有考慮題目難度和考試內容等方面的要求；
[0009]5)基于難度區組的區分度分層方法：即，首先對題庫中的所有題目根據難度進行分區(blocking)，確保區組內部的題目難度接近，區組之間的難度存在較大差異。然后，再對同一個區組內部的試題按照區分度的高低進行分層。于是，在考試實施的過程中，首先調用中等難度區組中的試題，在同一個區組中首先使用區分度較低的試題。待到題目信息量累積到某個臨界值時，機考系統再根據其作答過程中的前期表現把考生推送給與其能力水平相當的難度區組參加后續的考試。依照這個邏輯進行作答，直到整個考試的信息量累積到事先給定的臨界值或達到最大題量才終止考試。這種選題方法對前述的所有方法都有很大改進，但仍然存在著過分依賴測量學參數的缺點；
[0010]線性模式與自適應模式相結合的選題方法。即，把一次考試分成兩個或兩個以上階段，在第一階段(router)使用線性模式選題組卷，在隨后階段采用基于難度區組的區分度分層選題方法。這種方法目前主要用于ca
?
MST考試模式。
[0011]但在上述技術方案實施的過程中，發現至少存在如下技術問題：
[0012]1、缺乏自適應功能(線性組卷法和隨機選題法)；
[0013]2、無法保障考試的內容效度或結構效度(隨機選題法，區分度分層法，以及基于題目難度區組的區分度分層方法)；
[0014]3、優質試題被快速用完而低區分度合格試題被大量閑置(信息量最大化法)；
[0015]4、過分依賴心理計量學指標(區分度分層方法以及基于難度區組的區分度分層方法)，為此，我們提出計算機化自適應多階段測試選題方法。

技術實現思路

[0016]針對現有技術的不足，本專利技術提供了計算機化自適應多階段測試選題方法，解決現有的多階段測試選題方法在使用時，缺乏自適應算法實質精神、無法保障考試的內容效度或結構效度的技術問題。
[0017]為實現以上目的，本專利技術通過以下技術方案予以實現：
[0018]計算機化自適應多階段測試選題方法，該選題方法包括：
[0019]考試內容分區：對所考內容進行編碼，并分區；
[0020]題目區分度分區：根據題目區分本文檔來自技高網...

【技術保護點】

【技術特征摘要】
1.一種計算機化自適應多階段測試選題方法，其特征在于，該選題方法包括：考試內容分區：對所考內容進行編碼，并分區；題目區分度分區：根據題目區分度參數的估計值做分區處理，在多階段考試時，同一區組內部的題目隨機選定；題目難度分區：根據題目難度參數估計值把題目分區，根據考生得分情況選定各考試階段的考試題目；題目曝光率監控：題目選定后，需核查每道試題在以往考試中的使用頻率和時間間隔，并設定標準值，根據標準值更換試題；題目友好度監控：針對題目之間的關聯情況，重新選定題目；錨題設計：在多階段考試的第二階段及之后的考試階段，在難度相鄰的題組之間，設置6％
?
10％的錨題。2.如權利要求1所述的計算機化自適應多階段測試選題方法，其特征在于：該選題方法還包括：題目組信息量達標：在考生所答題目累積信息量達到了事先設定的標準，自行終止考試。3.如權利要求1所述的計算機化自適應多階段測試選題方法，其特征在于：所述題目難度分區過程中，題目難度的推送包括以下步驟：在中間難度的難度區組中隨機選題；根據考生信息量與事先設定的臨界值對比，從而調整題目難度，依次類推，選定各個階段的題目。4.如權利要求3所述的計算機化自適應多階段測試選題方法，其特征在于：所述考生信息量與事先設定的臨界值對比，包括：當考生信息量大于事先設定的最大臨界值時，下一階段時隨機推送高一級難度分區中的題目；當考生信息量小于事先設定的最小臨界值時，下一階段時隨機推送低一級難度分區中的題目；當考生信息量位于最大臨界值和最小臨界值之間時，下一階段時隨機推送同一難度分區中的題目。5.如權利要求1所述的計算機化自適應多階段測試選題方法，其特征在于：所述題目友好度監控步驟中，關聯關系分為需要共享信息的題組和題目之間互為答案的題組，其中，需要共享信息的題組不拆分；題目之間互為答案或為作答提供線索的題組需重新更換。6.一種計算機化自適應多階段測試選題系統，應用于權利要求1至5任一項所述...

【專利技術屬性】
技術研發人員：祁長生，楊志明，夏勝俊，謝國技，吳平價，
申請(專利權)人：深圳市卓帆技術有限公司，
類型：發明
國別省市：