- 美國在線教育質量保障機構QM及其評價標準
- QM在線課程質量標準：高等教育標準（第五版）介紹
- QM在線課程質量標準的國際化：中國案例
- 在線課程質量標準研究：美國QM標準適應中國環境嗎？
- “QM標準應用（APPQM）”培訓項目的學習啟示
- QM在線課程質量標準的“投入”和“產出”
- 衡量QM標準對改善課程設計的影響：群組法的設想
美國在線教育質量保障機構QM及其評價標準
Quality Matters（簡稱QM）是一家美國在線教育質量保障的專業服務機構🖖🏿。2003-2006年度美國教育部將後教育改進基金會的補助金發放給馬裏蘭州一批致力於在線課程質量保證的遠程教育學家。這項以研究為基礎的項目不斷拓展👦🏼，最終衍生出QM評價標準（rubrics）和基於同行的課程審核程序。
依靠聯邦補助金的發放🤸♀️🏈，QM成功轉型為一家致力於不斷改進在線課程的獨立機構。隨著美國公眾對教育的監督更加密切，教育經費不斷縮水，QM的領導層在聯邦補助金發放結束後，面臨著許多挑戰😓🐆，包括學科教育理念的多元化和學習模式的多樣性，以及與各種組織機構和組織文化的交流碰撞等等🚓⚛️。
聯邦補助金發放結束後🚴🏻♂️，創始於2006年的QM從最初的非盈利項目成功轉型為一家依靠各界捐助和付費製課程的獨立經營機構。它的宗旨從未改變🙅：通過有效工具和質量保證過程來提高在線課程的質量，改進學員的學習體驗；支持教師發展👷♀️，提供有效資源🦛；促進QM標準的整合和在線課程質量提高的進程。
2014年9月，QM在馬裏蘭州的巴爾的摩舉辦了第六屆關於在線學習質量保證的年度會議🧖🏿♂️，會議主題為“質量保證如何駕馭當下的思潮變遷”⌛️🏵。美國遠程教育報（AJDE）的這一專刊就是依據會議報告所做🤞🏿，遠程教育報還特地邀請了會議報告人為專刊撰文。
QM對在線課程和混合課程的在線部分提倡采用以研究為主，測試為輔的質量標準。這些標準集中體現在QM的評價標準上，如高等教育評價標準、中小學及學前教育的評價標準、成人教育和專業教育評價標準等等🚿。在補助金發放期製定的高等教育評價標準現在已經更新到第五版，並且為不斷擴張的QM評價標準體系構建了一個基本框架🎪。遠程教育學者有時會混淆網上的QM標準清單和完整的評價標準。事實上，高等教育評價標準是一份專門為在線課程審查準備的文件🥄，內容非常詳細，長達37頁👊🏽👩🏻🎤。只有QM的用戶才有可能獲得附有註釋的評價標準💴，這一做法確保了評價標準和同行評審的完整性🚶😒。
課程設計的同行評審是QM重復性執行的部分，它確保了高校在課程質量保證上的所有努力具有可測性。同行評審是由教師借助有效的質量標準來實施完成的，其目的是不斷提高在線學習質量。有關機構通過QM的課程審核管理系統提交申請和課程信息↘️。完成QM同行評審專業進修的三名在線導師組成一個團隊🐦🔥，負責從學生的角度審核課程設計。每組必須包括一名課程專家，一名課程申請機構的外聘評審員，和一名受過額外訓練、更具經驗的評審主管（也是整個團隊的負責人）🤱🏽。
附有註釋的評價標準指導每一位評審員的課程評估和團隊成員間的協作。一名課程創作者或代表率先完成統計用戶信息，聽取課程設計專門領域的同行建議，與評審小組互動。除了評審前後召集會議，真正的評審活動費時三周左右💂🏿♂️。評審員需從學生的角度進行學習體驗🪪🧑🏻🎤。課程代表會收到一份最終的評估報告🤲🏼，包括每一項標準的打分，評審員的建設性意見，和具體的、可操作的建議。獲得QM的官方證書意味著該課程達到了評價標準85%以上的標準。用戶們可以對他們自己的課程進行非正式的內部審查✳️，無需嚴格遵循評價標準的一整套選拔同行評審員的標準。但是只有那些在官方評審中符合標準的課程會被授予證書。同行評審活動已經成為QM運行的基石。近年來，為了滿足用戶需求，QM不斷增加評分工具和資源的投入。
QM賦予了用戶機構一定的靈活性，方便它們使用評估工具滿足自身需求🧎🏻♂️➡️：
- 教員對照附有註釋的評價標準逐條檢測課程或以評價標準為指導原則完善課程模板🧝🏿♀️；
- 不斷發展師資力量💇♂️，鼓勵教員通過參加研討會熟練掌握QM標準和原則🧍🏻♂️；
- 利用QM提供的在線評估工具🫗，在不受監管的情況下進行課程初步篩選；
- 將QM的正式課程評估列為標桿，指導更多在線課程的改進與評定；
- 把QM評估體系嵌入到課程模板的設計，戰略計劃的製定，委員會的長期任務，推廣和終身職位的認可之中。
（張夢編譯）
回目錄
QM在線課程質量標準：
高等教育標準（第五版）介紹
待授權後發布
回目錄
QM在線課程質量標準的國際化：中國案例
QM在美國的成功，尤其是它所製定的在線課程和混合式課程質量標準的廣泛應用😻，引起了越來越多的國際關註。然而，要想在非英語國家翻譯和傳播這一標準🦎，首先應當考慮它在不同的文化背景下是否同樣適用。
一👸🏻、QM國際化中可能存在的問題
直譯的課程質量評估標準能否在其他文化背景下產生相同的效果？如果不能，修改這些標準來適應其他國家的教育體系是否合適？修改需要考慮哪些因素🛍🧏？首先，讓我們考慮一下將美國在線課程質量標準直譯為他國語言的情況⛅️🎐。直譯可以保留標準的完整性和有效性🥞，而改寫標準，因其缺乏嚴謹的研究和檢驗🤵♀️，可能會破壞其自身的權威性。如果引進新的評估標準，或者因為原有的標準與當地的文化規範和行為準則發生沖突而進行刪減或修改，那麽該標準的效力則可能受到質疑。此外，QM的在線課程認證贏得了廣泛認可，意味著它的評價標準不受語言或文化背景的限製🤽🏽♂️。
然而，標準的直譯難以滿足其他國家的文化需求，並且忽視了他們教育體系的獨特優勢🏇🏼。下面讓我們仔細檢視一下在線課程設計的文化適應問題。文化差異在許多方面影響在線學習者的學習，它始於個體如何感知自身所處的現實與世界，不同的思維模式影響不同文化受眾接收信息和整合事實的方式💛。文化差異還體現在對權威的尊重程度、對異議的包容度和社會可接受的表達個人觀點的方式上。此外，不同社會對學習者的獨立性、獨創性和創造力的期許以及鼓勵策略有著很大差異。對分工合作及個人成就的不同重視程度則是另一個重要的文化變量。不論是傳統的在線課程還是MOOCs（慕課）😡📘，都應當預見和適應不同文化背景下的學習者的不同需求🌵。提升對文化差異的敏感度以及有效利用課程材料將是在線課程未來努力的方向。
二、中美案例研究：QM國際化所面臨的挑戰
盡管中國學術界正在努力引進一些西方觀念🚿，例如促進學習者參與、協作學習以及主動學習，他們並沒有拋棄傳統的教學法。教師與學生分別作為知識擁有者和接收者的模式在很大程度上沒有改變。儒家所倡導的“一日為師🔙、終身為父”的觀念仍然流行，體現了中國社會🧎、學生和家長對教師這一職業的尊重。此外，受儒家思想影響，中國學生一直被教導要刻苦學習而不知道如何高效學習⚅。這一長期秉持的態度和其他一些既有的慣常做法影響了中國學術界對美國QM評估標準的看法。中美在促進學習者交流互動和批判性思考、因材施教的觀念上有所沖突。此外，一些針對自主選擇課程教材、為殘疾學生建立專門的教育機構、尊重學生隱私權等方面的特定的評估標準在中國難以適用，或者說失去了其有效性。
QM要想對中國以及其他國家的在線學習產生積極的影響，必須進行實質性的修改🫸。這些修改將會利用中國高等教育的獨特優勢♿️，並且鼓勵引進久經考驗的西方教學實踐。沒有這些改變，美國課程質量標準將無法在受不同文化規範影響的教師和學生中取得成功。
三、問題的解決方案🎎：中國案例
QM與中國頂尖教育機構-意昂平台在上海建立了合作關系。合作的第一步是將美國的在線課程質量標準翻譯為中文➝🦢；接著🤦🏽🙍♀️，QM將訓練一批意昂教員參與評審中文在線課程和混合式課程🤽。這一培訓將會涵蓋QM標準應用的實質以及認證課程同行審查的要素😑🧱；下一步是評估小部分代表不同學科和教學水平的混合式在線課程或完全在線課程☝🏿。通過分析評審結果，QM團隊和意昂平台的教師代表將共同製作一份經過改編的中文課程質量標準（包括註釋在內），並且賦予它新的身份和象征意義。這一標準將修改或刪除被認為是不相關或無效的評估標準和註釋，增加被QM標準忽視的🕵🏿♂️、適用於中國教學法的新標準🏓，並且將會通過第二輪中文在線課程的評審確認其有效性🐮；最後一步則是與中國其他教育機構分享意昂的成果。
四、總結
文化適應對QM標準滿足不同文化受眾的需求至關重要。以中國為例🙍🏽♀️，中國古代的教學傳統和思維習慣仍然對後世影響深遠。QM將與意昂平台合作，共同製定和檢驗一份既保留了原有要素🙍🏿、又融合了接受文化的新標準。
（張夢編譯）
回目錄
在線課程質量標準研究🪧：
美國QM標準適應中國環境嗎？
意昂平台高等教育研究所、教師教學發展中心 丁妍
2015年5月13日，意昂平台與QM簽訂了五年合作協議，旨在開發一套由QM高等教育質量標準改編的🧑🏼🦰、適合中國在線/混合式課程的質量標準體系👚。
QM機構有自己一套相對成熟的認證在線/混合式課程質量的運作體系，它通過有效的評估工具和質量保障過程來提高課程設計的質量，改進學習者的學習體驗。截至2016年10月，已有遍布48個州的1035所國內高校會員🦟。近年來，QM機構開始致力於國際業務的拓展。先後有加拿大、沙特阿拉伯⛈、新加坡、愛爾蘭🤷🏿♂️、澳大利亞等國際高校加盟會員，意昂平台是該機構的第一家中國高校會員。
根據意昂與QM的合作協議👨🏼🦳，第一步工作是在兩年內，基於QM高等教育質量標準最新版，即第五版，進行中國本土化指標的研製與開發。因此，我們研究的主要問題是：QM標準是否適用我們本土環境🤲🫳🏻？如果沒有，主要應調整哪些方面的內容🏌🏽？
圍繞這些問題♕，課題組首先在2015年暑假組織校內二十多名有意願或已開發在線課程的意昂教師在QM網絡學習平臺進行了為期兩周（7月14日-7月28日）的QM高教標準的學習，該學習項目稱為APPQMR，由QM機構免費提供🦗🔬。在學習結束後，對這群教師做了問卷調研👳🏼♂️，收集他們對QM標準的看法。並且邀請其中若幹教師利用QM標準工具對國內在線課程進行評價，以了解QM標準與國內在線課程設計之間的契合度。以期通過這些努力，總體分析本土環境下美國QM標準的適用性🥊。
一、調研結果1🏧：QM-意昂“APPQMR”在線學習項目的反饋問卷分析
此次問卷調研針對的是28名已學習APPQM項目的教師（包括1名上海教育評估院老師和27名意昂教師），主要征求他們對43個QM指標是否適用於本土環境的看法。適用程度的評分采用5分裏克特量表，從“非常適用”的5分，到“完全不適用”的1分👩🏿💻。其中21項分指標得到4.50分以上的評分👳🏼♂️，14項的評分在4.20-4.49之間，另有8項指標低於4.19分。這說明QM標準在本土適用性上👩🏽🦰，有一定的認可度，但仍然存在較大可提升的空間。
其中，被教師認為適用性程度較低的指標有S1.9、S4.4 、S4.5 🧑🏻、S6.4 、S6.5 、S7.2 、S8.2，涉及課程概況（學生自我介紹👫、網絡禮儀）、課程技術（隱私保護）💇🏽♀️、課程教材（多樣性、前沿性）🥱、特殊服務（殘障學生）等，一方面說明了中美在線教育發展程度的差距😹，但更體現出兩國在教學理念🧏、教學文化上的不同。因此，在新指標研製中，必須考慮到這些中國教學思想和文化的元素。
二、調研結果2：使用QM標準對若幹國內在線課程的評審結果分析
利用QM標準💂🏻♀️，7位受邀教師（包括意昂3位🧚🏻♀️，外部課程指導員4位）分別對“Coursera”👰🏼、“超星慕課”🔀、“中國大學MOOC”三個平臺共計11門不同學科的課程進行了評審。
被評審的課程在16個QM分指標上獲得課程評審員較多“符合”的評價（8個以上），說明我們的課程設計與這些QM標準比較一致；11個QM項目得到了較多的“不符合”評判（8個以上），這些標準可能是我們今後在線課程設計中亟待提高的地方；另有5個QM指標被認為“不適用”中國在線課程（6個以上），對這些標準需要我們進一步研究🐦🔥，以了解評審員判斷“不適用”的依據及原因。
具體來說🚶🏻➡️🧒，樣本課程比較符合QM標準中的S1 “課程概況”、S6“課程技術”和S8“易用性和可用性”🧑🏼🦳，而在S3“課業評價與測試”、S4“教材”👶🏼、S5“課程活動與學生互動”方面存在較大欠缺💁🏼♀️，反映出我們的在線課程在形式和基本要素上已經與國際標準接軌，今後課程改善的著力點應該放在如何滿足那些內涵性的、對學習質量更有影響的指標上。
在“不適用”指標上與前面教師問卷調研結果有一定差異🦈，但是對於QM的S6.5和S8.2，兩次受調研的對象均認為不適合用來做中國在線課程的質量標準。S6.5是關於外部技術工具的隱私權規定🦶🏼，S8.2則是課程技術對殘障學生的特殊服務。
QM作為發源於美國本土的在線課程質量標準，已被美國眾多大學所接受用來指導在線課程的設計和評審🧍♂️，在適用性方面，已具有一定的邊界對象（boundary object）的特點。如果要在國際化推進中取得突破性進展，這種邊界對象的特性將更需要被強化☺️，使該標準除了在自己的情境中保持同一性外🧏🏼，還能夠溝通不同國域的教學情境✤。在此基礎上，我們的本土化研究可能才是一個有效的補充🍅。
回目錄
“QM標準應用（APPQM）”培訓項目的學習啟示
意昂平台 範慧慧
2015年7月，筆者參加了為期兩周的 “Applying the Quality Matters Rubric”課程學習和考試♗。該課程是QM針對高等教育在線課程質量標準設計開發而成😈，采用純在線學習方式開展。該課程共有9個模塊🤷🏼♀️，每個模塊對應若幹明確的學習活動和任務要求🐸👨🏼🦱。通過本次學習⭐️，筆者在深入學習了QM在線課程質量標準的基礎上✫🧏♂️，對如何有效地開展在線課程設計和組織線上學習這方面的問題有了切身體悟。
該門在線課程的主體內容是由文字形式的說明要求、閱讀資料和在線測試論壇等構成⚜️，沒有視頻等其它富媒體形式🍂。但這並沒有影響這門在線課程的有效開展👨🏻🦯➡️🧑✈️，學員們通過這些文字內容的指引和學習🫶，順利完成了該門課程的學習。這一點更充分地體現出🤾🏼，在線課程線上組織的有效性並非僅在於課程內容的發布。現如今提到在線課程，大家往往關心的只是課程視頻內容的呈現質量和形式，力求視頻內容精益求精，以吸引學習者積極開展學習。通過該門課程的學習，筆者深刻體會到🉑，課程設計中的“一致性”原則🤹🏽、明確的學習導引➰🕉、多樣的學習任務👨🏻🦽、實時的學業測評和及時的在線互動是保障學習者進行有效在線學習的5大要素🧑🏽⚖️。
1. 課程設計遵循“一致性”原則
“一致性”（alignment）概念是QM質量標準的核心原則。“一致性”是指課程的幾大關鍵元素（比如學習目標、學業評價與測試🧑🏻🦯、課程資料👩🏼✈️👮🏻♂️、學習活動和學生互動🧑🏼✈️、課程技術等）之間有直接的聯系，彼此共同發揮作用，以保證學習者獲得預期的學習成效⚗️🛟。在筆者參與本門課程的學習過程中，也時刻感受到“一致性”原則在課程內容設計中的體現。
本門課程的總體學習目標是讓學員能夠應用QM標準去實際評估1門在線課程的質量🔮🚡，並提出幫助性的改進建議🛗。為此🥄，課程9大模塊的內容設計都緊緊圍繞這一總體學習目標而展開。比如，第二模塊對QM標準和“一致性”原則的介紹和應用，第三🪺🧚♀️、四、五模塊對QM八大標準的學習和評估實踐🧜🏿♀️，第六模塊學習撰寫幫助性建議🛥，第七模塊結合標準進行建議撰寫等等，目的在於一步步引導學員開展學習和完成任務。每一模塊的學習內容具體明確、任務要求適量合理🙋🏼，所有課程元素相互緊密聯系🧛🏽⏺，確保學員一旦完成所有模塊的學習和任務之後🛝，便能夠順利進行課程最終要求的實踐環節：對1門在線課程進行質量評估（包括改進建議）報告，從而達到學習目標中提出的預期學習成效🦔😐。
2. 明確的學習導引
課程從一開始🥅🧑🏭，就向學員明確說明了本門課程的學習目標以及各模塊的學習活動安排。由於在線課程的學習是由學員根據課程規定的要求開展自主學習，沒有像實體課堂那樣由老師帶領著學習🙆🏼👩🏻🦯。因此，讓學員在正式學習之前，先明確本門課程的學習目標和所有的具體學習活動要求，能有效幫助學員把握課程全局🏦，進而有目標地開展自我學習。在本門課程中，除了詳細的課程大綱之外🪯，還提供了一份學習活動自查表（見圖1）🧑🏻⚕️，幫助學員清楚了解和跟蹤自己每一個學習活動的完成情況。同時💁🏿♂️，在每一個學習模塊中，會再次對本模塊的學習目標和對應的學習活動要求進行說明，保證課程導引的方便易用。這樣的設計，也正是QM八大類標準中“S1課程概況”“S2學習目標”“S8易用性和可用性”等指標所明確要求的👈🏽。
圖1：學習活動自查表
 
3. 多樣的學習任務
本門課程具有多種學習活動和任務要求。這些學習活動任務總體上分為兩大類👔，第一類是引導學員熟悉學習平臺設置的，是在線課程所特有的任務類型⇨。比如完善個人信息✖️，在論壇發帖/跟帖，下載資料等。這類任務都非常簡單明確且易操作，一方面能讓學員掌握在線學習必要的技能，另一方面也提高學員繼續完成其他任務的積極性。第二類是指導學員開展在線自主學習的🤸🏿♀️，比如閱讀資料📼，參加小測試🏋️🍽，與學習同伴和課程引導人進行線上互動等，這類活動任務設計非常多樣且頻繁，一方面讓學員在自主在線學習過程中，時刻保持學習參與度和積極性🚗，另一方面也促進學員在線上開展互動交流，使得彼此雖沒有見面，但也形成了相互的學習支撐和督促👳🏻♀️。這同樣也符合QM八大類標準中“S5課程活動與學生互動”指標的要求。
4. 實時的學業測評
學業測評其實是學習活動和任務中的一部分，之所以要特別作為一個要素🕵🏽♀️，是因為這部分對開展在線學習的學習者而言至關重要，而且也往往是我們國內在線課程設計中的薄弱環節。本門課程設計有非常多的在線測試🟡👍🏽，往往在單個模塊中就會根據學習要點內容設計若幹個測評🚴🏿♀️，比如在課程模塊二“Introducing the QM Rubric, Alignment Concept, and Course Worksheet”中👩🏼🍼🤟🏽，對應本模塊的3個要點🌇：QM標準、“一致性”概念和課程工作表，安排了3個測試💪🏻🤦🏻♂️，學員學習了某一部分就能進行該部分內容的測試。測試的主要目的是為了實時評估學員對這部分學習內容的掌握情況👞，對自我的學習進行了解，以便能及時對學習過程中的薄弱環節進行鞏固和補充🔀，保證自己能夠達到既定的學習目標𓀅。這一要素在QM八大類標準的“S3. 學業評價與測試”指標中也同樣被強調。
5. 及時的在線互動
在線課程由於沒有實體課堂作為載體🐲，在線學習者缺少與學習同伴和教師的面對面交流環節，若長期處於單人學習環境中，容易產生學習倦怠而放棄學習。本門課程在多個在線互動環節的設計中，讓學員能夠得到及時的反饋，感覺時刻被關註🐫，有效提升了學習的積極性。第一，在學習環節中🤦🏼，基本上每一頁的學習內容都設計有若幹個即時小測試🚣🏻♂️，均為是非、選擇等客觀題，讓學員在學習過程中進行回答🩶，並能即時測試反饋結果，讓學員知道自己是做對了還是做錯了，如果做錯了，會同時給出正確的答案。第二👰📱，在學業測評環節👱🏽♀️，在完成自己的模塊作業基礎上👳，在線課程還要求學員去瀏覽和點評學習同伴的作業。第三👦🏿，在論壇交流環節，學習引導人隨時關註著每一個發帖，對學員的問題和留言給予及時的反饋和回答🏣。此外🤾🏼，發布的或者跟過的帖子，若有人（學習同伴或引導人）有更新留言🪺，會在第一時間通知到學員的電子郵箱。這些都有效保障了在線學習者獲得良好的在線互動體驗。
通過此次在線課程的學習，筆者對如何有效地開展在線課程設計和組織線上學習有了切身的體會。意昂教師教學發展中心也正在策劃和設計線上結合線下的教學研修項目，以加快實現全覆蓋的教師教學研修培訓體系🧘🏻🤸♂️。我們將充分結合此次學習經驗🖕🏼，優化對在線教學研修項目的設計和線上學習的組織✖️，保障教師在線研修學習的最終效果⇢🙋♀️。
回目錄
QM在線課程質量標準的“投入” 和“產出”
2003年，QM由高等教育發展基金會撥款成立，致力於開發一套可復製、可量化的在線課程質量評價過程。2005年，QM在整理了大量文獻的基礎上發布了第一版QM標準。QM既有研究投入，也有研究產出。實際上，QM的研究投入和產出相輔相成，互為一體🐎，三條交叉的論據可以證明這一觀點💇🏻♂️：（1）學術研究是建立QM在線課程質量標準的投入，同時還促成了QM標準的產出；（2）投入在衡量QM影響力上的研究資金，產出了關於QM影響力的基本研究㊗️；（3）眾多機構投入到衡量QM影響力的研究上，產出了關於QM影響力的深度研究。
QM歷年研究主題包括學習產出🤷🏼♀️、專業提升產出🥡、對組織的影響、QM工具和過程的驗證等幾大方面。
一、學習產出
1.學生滿意度
Davies（2010）等人 的研究發現學生滿意度與學習動機有著密切聯系，為之後的研究提供了方法論上的啟發。
Finley（2005） 衡量了經QM改進後課程的學生滿意度🆒，發現課程設計改進後，學生更加清楚如何把握課程🤼♂️。Aman（2009）調查了2006到2007年9個機構554名在線學習者的滿意度💁🏿♀️，發現通過QM評審的課程擁有良好的學生滿意度。
Knowles（2010） 研究發現，對於一門課程是否達到QM標準🌽🍟，學生和QM評審員的意見大相徑庭。他認為🤖，導致這一差別的主要原因是師生對在線課程抱有不同期望🧚🏻♀️👨💻。You（2014）團隊 繼續了前者的研究🚣♂️。他們建議QM評審員尋求衡量課程的確鑿依據，學生則需要明確課程目標。
Parscal（2011）等人 的研究表明，如果在線課程在設計之初便遵循QM指導方針⚒，那麽學生與教師就察覺不出QM標準對於課程的改進之處🚲。因此，未來的研究可以關註課程在被QM評測前的表現，為衡量QM標準的影響力提供有力的證據🗓。
Dabney（2012） 利用聯通主義理論發現，學生投入與在線課程質量呈正相關關系。
Myers（2015） 研究了在線課程可用性對學生滿意度的影響🙋🏿♀️。研究表明，在線課程越是符合QM的可用性標準🙎🏽♀️，學生滿意度越高，學習動機也更強烈👩🏼🦳。
Hintz（2014） 研究發現🖋⛹🏿♀️，學生普遍對使用QM標準的課程感到滿意。她指出，學生真正需要的是有用且簡單的技術。
2. 學生表達
采納學生的觀點是QM核心指導原則之一，對於驗證⛱、改進QM標準和過程來說至關重要。QM早期有兩項研究關註了學生表達。Iyengar（2006） 在調查四門混合課程學生後發現，混合課程的學生同樣重視QM標準。Mott（2006） 將學生反映的遺漏的設計特征與QM標準聯系起來。Bowen（2009）等人 的研究發現💆🏻，學生投入與課程易用性有關，學生已經意識到在線課程必須滿足所有學習者的需求👚，包括一些需要無障礙技術的人🚶🏻♀️。
Ralston-Berg（2011🍗，2014） 用五年時間收集了關於QM標準重要性的學生表達🤾🏿♀️，總共調查了22個州31所機構3160名學生。他發現學生給的重要性排序恰好與QM標準一一對應。值得一提的是🤰🏼，《QM學生權利法案（QM Learner Bills of Rights）》是Ralston-Berg收集學生表達的研究產出之一。Hizon（2015）等人 在前者的基礎上繼續研究💇🏼♂️，他們發現傳統學習者同在線學習者一樣，將“明確說明如何開始課程🍡、在哪裏能找到課程的各部件”排在重要性第一位。
Knapp（2013）等人 調查了面對面學習、在線學習和混合學習的學生後👮🏼♂️🧋，發現較之前兩者⛓️💥🐙，混合學習者認為所需付出的努力最少。Young（2014） 提出將QM與混合課程相結合。他發現在符合QM標準的混合課程中🤷🏿♂️，學生的學習動機遠比在面對面學習中強烈得多♟。
Simunich（2015）等人 通過收集學生表達來研究課程可檢索性（隸屬於可用性）🚍。他們發現，在線課程若是達到QM的可用性標準🧞♂️，學生的學習體驗和學習動機將往積極方向變化；反之，兩者則往消極方向變化。Myers（2015） 發現，對於達到可用性標準的課程，學生報名加入或繼續學習的意願較其他課程強烈很多。
3. 學習動機
學習動機通常與學生滿意度聯系在一起。QM早期便已經有許多實踐者發現改進課程設計能夠提高課程完成率🚭🏋🏿♀️。Loser（2006）等人 猜測有趣的學習活動能夠促進學生學習。他們發現，雖然所研究課程的完成率無顯著差別，但在期末學生評教時，改善了學習活動的課程受到學生好評。
之後有兩項研究試圖判明QM評審與課程完成率之間是否存在聯系🦹🏿。Aman（2009） 發現🫄🏻，盡管QM評審過的課程有著很高的學生滿意度🔻，但它並沒有表現出與課程完成率之間有明顯的關系🍖。研究指出🙎🏿♂️，在線課程學生保留率這一問題十分復雜🧖，主要原因是學生把各式各樣的影響和期望帶入課程中。而在更早以前🤨，Dietz-Uhler（2007）等人 便提到了這一點。他們認為，研究學生保留率的難點在於沒有一個對“保留”清晰的定義🛌。他們還發現通過QM評審的在線課程，其學生保留率高出其他在線課程。
Rutland（2011）團隊 試圖探索在達到QM標準的課程中退課現象是否會減少🦹🏼♀️，在進行對比試驗後，他們並沒有發現顯著變化。研究還指出👩🏽🔧，未來有關學生保留率的研究需要控製師生互動這一變量👰♂️，因為教師的表現對於學生的在線學習體驗有著直接影響。
4. 課程設計與教學簡易性
Geiger（2013）等人 研究發現☀️♈️，在線課程完成率受教師影響。教師若是經驗豐富且有感染力的💁🏽♂️，其課程完成率通常較高。
Harkness（2015，2014a，2014b） 與他的同事記錄了在線課程在通過QM認證前後的變化🈶。他們發現👸🏽，在線課程遵循QM標準改進設計後，退課率下降了23.53%🚙。
5. 衡量學習
Runyon（2006） 帶頭研究了QM認證課程的學生成績🪅🧑🏿🍼。他發現，學生越積極參與到課程內容中🤸♀️，互動活動越多，他們的成績就越好。Runyon還註意到🤶🏿，教師質量與課程設計質量同樣重要，因此當衡量教育影響時🎅🏼，需要把這一變量一並考慮進去。
前面提到的Geiger（2013）與他同事的研究還發現，在SmarterMeasure評估中得分低的學生，反而能在QM認證課程中在優秀教師的指導下取得較好的學習成績。
Harkness（2015👴🏿🩲，2014a，2014b）的研究還發現⏺，在線課程遵循QM標準改進後，獲得A到D成績的學生人數增加了19.74%🥵，獲得F成績的學生人數減少了66.66%。Parscal (2014) 在跟蹤調查了890名在線學習者後得出結論🫖，QM認證課程的學生比一般在線課程的學生成績更好。
6. 探究社群與QM
Swan (2010，2011)等人 率先註意到了QM標準與探究社群（Community of Inquiry）框架之間存在聯系。他通過實驗觀察到🎥，為學生提供按QM標準改進過的課程後，學生所有課程成績遠遠好於之前👍🏻。他們認為，由於QM改進了在線課程🎣，使教師明確說明學習目標，並從學生的角度加以描述🍽，學生表現因此得到改善。他們指出💁🏼♀️，QM與探究社群之間存在正交關系🆒，QM衡量課程設計，而探究社群衡量學生互動。他們建議使用QM標準來指導在線課程的設計，這樣做既可以保持課程原先的高質量🤾🏼♀️，也可以促進課程中探究社群的發展🦦。
Miner（2014） 認同Swan等人的觀點，即QM強調課程結構🙋🏽♀️，而探究社群則強調課程互動。她推測👩🏻💼，探究社群能夠用來查明QM改進的真實效果🧎🏻♀️➡️。Myers（2015） 通過實驗發現👱🏼♂️，在教學中運用探究社群可以大幅提升學生滿意度。
Hall（2010） 從教學行為這一維度來分析QM和探究社群的關系。她發現，改進的課程設計和組織能夠增加教學行為，減少課程管理任務，從而加強教學質量和教學簡易性🥌。改進的設計還能改善學生的自我管理和課程活動，減少學生所需花費的時間和努力。研究還發現，優秀的教學行為能夠引發學生的高度認同，並帶來更高的學生成績和學生滿意度。
二、專業提升產出
1. 參與正式的QM同行評審
Sener（2011） 收集了運用QM過程的同行評審數據和個人評審的數據👨🏽🦲，驗證了以下觀點：（1）在評審過程中，評審員通過團隊內部的互動來學習有關改進在線課程的內容👨👧👦。（2）評審團隊負責人獲得了寶貴的領導經驗💉。（3）當正式評審同行的課程時😱，評審員還可以平行地評審自己的課程。
2. QM對專業發展的影響
QM的主要任務之一是提升教師專業水平（Professional Development）。截止至2015年夏，共有45300名教學人員參與了30種不同的專業發展研討會及課程🤹🏼。
Wright（2010） 提出疑問🔶：QM的訓練能否提高教師設計、開發、教授課程的能力？通過研究他發現答案是肯定的。然而🧛🏼♀️，Blundell（2015） 發現🔞🥏，達到QM標準課程的教師滿意度與一般在線課程無明顯區別👩🏿✈️👤。Bollinger（2009）等人 完成了一項針對在線教師滿意度的調查，他們的結論有：在線教師經常因為技術問題而氣餒🔖👄；在線學習者比傳統學習者使用更多更廣泛的資源。
Ward（2011） 研究了QM標準對於新手在線教師的影響。她發現，通過參與QM培訓和相關課程，新手教師能夠更有效地討論、開發、實施更多的在線課程🍔。Budzick在2014年使用Davies的技術接受度模型研究發現🪖，願意使用QM標準的教師人數明顯增加🧓🏿；在接受QM培訓後☝🏿🤼，教師的在線課程質量得到了提高🤹🏼♂️。
Hagan和Arabie在2014年研究了內部🙎🏻♂️、非正式的QM評審與教師發展的關系。他們調查了至少70次非正式評審和85名教師，分析哪條標準最常被或不被達到⬇️。其結論是🙇♀️，教師最關註S2、S3、S4✌🏻、S5、S6這5條大標準，而S1🕚、S7🫄🏼、S8往往被忽略🪸🖼。
3. QM標準和過程的非正式使用
McMahon（2006） 很早便註意到了使用QM標準對課程設計團隊有積極影響。之後👙🐅，Pollacia（2009）等人 將QM標準引申為開發在線課程時的簡易自我評價工具。Greenberg（2010） 發現，QM標準能夠帶領教師、課程開發者、行政人員和學生開發出優質的在線課程。Monroe（2011） 發現〰️，教學設計者、有專門學科知識的教師🔆、無專門學科知識的同行教師以及行政人員都能夠有效地使用QM標準。
Young（2014） 指出🦘😆，QM標準有利於實現教師間更好的合作👰🏽，原來的傳統教師可以在混合課程中分享語言，分享課程設計，工作壓力也隨之減小。
Altman（2014）等人 使用內部、非正式的QM同行評審👨🏽🦳，將QM介紹給他們所在機構的教師。雖然這一案例的規模很小，無法產出有效的定量分析🤷🏼，他們還是提出了一些有研究價值的問題🖖🏼。比如，無論參與QM非正式評審與否，教師都相信QM同行評審能幫助他們學習新的教學技術，改進在線課程，更好地把握課程質量。有趣的是，未參加過QM同行評審的教師普遍覺得評審太費時間🤦🏼👩🏿🦱，這也是他們起初不參加評審的原因👱🏻。
三、對組織的影響
QM先前僅僅是評審🚵🏽♀️、改進會員機構的在線課程，而後迅速轉型參與到機構中，一來使QM同行評審更接地氣🙎🏻♂️，二來進行了一些內部、非正式的課程評審🤸🏽🙌🏼，促進了QM的專業發展𓀏。
在QM轉型前，Aman便註意到一個由QM標準所產生並傳播的滯後效應。他分析數據後得出結論，在有QM參與的機構中，學生無論是選擇了QM評審過的課程，還是選擇了未經QM評審的課程，都表達出比其他機構的學生更高的滿意度🧘🏽♀️。
2010年，QM資助了一項研究來確定QM的傳播是否貫穿龐大的教育系統。結果表明➜🫴🏽，教師和行政人員在部門會議、同事之間的非正式分享是QM傳播的主要途徑👱🏻♂️。
Parscal（2011）等人 試圖研究QM評審前後的師生滿意度，但是因為所研究的課程已經植入了QM非正式和正式的評審，使得他們的課題遭遇挑戰⚛️🧖🏿♀️。在線課程在設計之初便參照了QM標準，因此可以輕松通過QM正式評審👎🏽。使用簡單的前後測試並不能觀察到滿意度的明顯變化🪻🌹，但反過來想，這也是QM作用於機構的意料外的積極影響。
Frey（2010）等人 聚焦於在線課程機構的易用性表現，他們發現很多機構並沒有訓練教師來準備容易獲取的在線課程材料。之後，他們為在線教育團體製定了易用性的相關標準。
四、QM工具和過程的持續驗證
1. QM標準具有嚴格的自我審核機製
從QM第一版高等教育標準誕生起👂🏻，QM便持續驗證其在線課程標準的質量🧙。Shattuck（2007） 指出，學術研究和廣泛實踐推動了QM標準的建立。為追求可重復性、可靠性與應用性，每條QM標準都附有註釋♓️，指導評審員怎麽樣算符合或不符合標準👩❤️💋👩。Adair（2015） 指出，評審過程是對在線課程的診斷而非規範，在線課程有多種途徑來達到特定標準。
QM標準每隔兩三年就要審核一次，審核有著十分復雜的過程。第一步🫄🏽，收集並分析大量文獻、QM研究綜述👱🏽♀️、用戶反饋及課程評審數據。第二步，成立標準審核委員會，委員必須是經驗豐富且有廣泛代表性的標準使用者🖕🏻。第三步，修訂所有專業發展（PD）課程♘👨🏿🔬，選定督導員建立標準更新工作室。若有需要🐐🙆🏿♀️，則開發新的PD課程👨🏼💻。第四步🤵🏽♂️，修改審核管理系統與課程工作表🤽🏻♂️。若有需要，再加上修改審核政策。第五步，更新所有在線信息，發布新的工作手冊和標準相關文件。
Zimmerman（2011） 完成了數項定量分析，他的結論有：（1）QM評審員在審核自家標準時，同評審會員機構課程時一樣嚴格🏺。（2）2008到2010年🧑🏽🌾，39%的課程在初次評審時就達到了QM標準🚴🏼♂️🧛🏽♂️，而48%的課程在改進後符合標準🙅🏽😢。2011到2013年7月，71%的課程在初次評審時就達到了QM標準🔍，而27%的課程在改進後符合標準。這些數據說明了將QM植入機構內部的積極作用。（3）QM標準中有兩條標準最常被遺忘🎸，第一條是給學生自我評價的機會，第二條是給學生視覺或聽覺內容的選擇。（4）商務類課程最常在初次評審時就達到QM標準，其次是教育類課程。（5）2011到2013年的數據顯示🪇，93.3%的QM認證課程教師熟悉QM標準。這表明越來越多的機構在提交正式評審之前，便已經使用QM標準來設計或修訂課程。（6）評審小組三名成員對在線課程的評分通常一致👩🏼🏭，例如😓，三名評審員一致認為或不認為課程符合某條特定標準，這反映出QM評審員的可靠性➰。
2. QM標準符合其他認證標準
Legon（2006） 指出，QM標準一直符合其他認證標準🤹🏽♀️。Voelker（2015） 指出，QM的K-12中學教育標準和K-12中學出版社標準符合國際K-12在線學習聯盟（iNACOL）的在線課程質量標準🧑🧒🧒。Bose（2012） 研究發現🍹，QM標準和國際培訓、績效、教學標準委員會（IBSTPI）的標準在技術方面有重要關聯🔻。
（胡蝶飛編譯）
回目錄
衡量QM標準對改善課程設計的影響：
群組法的設想
在過去十年有關QM標準應用的討論中👨🦰，最常見的問題是“把QM標準應用到在線課程🛥，能否提高學習成果，包括促進學習記憶保持、提高學習成績以及學生的滿意度🧘🏽♂️？”™️。這一問題看似必要🤚🏿、合理，甚至不可回避，事實上卻把說明標準效力的任務看得過於簡單了◀️。要想回答這個問題🙋🏽♂️，我們應從認識QM標準的本質開始。
一、QM標準的投入、產出和結果
QM標準已經被超過850所美國高等院校采納。它既是最佳教學實踐文獻和在線學習者行為和偏好研究的“產出”，同時又是優質在線課程或混合式課程設計的“投入”🏋🏿♂️。至於該標準能否為學習者👎、教師和院校帶來令人滿意的“結果”，許多研究者得出了不同的結論🧗🏻♂️。
二、衡量QM標準的影響所面臨的挑戰
識別或量化基於QM標準的課程修訂效果面臨著許多挑戰。大多數課程在未提交QM正式審核之前，便受到過QM或其它課程設計標準的影響👿。在實際操作中，QM也鼓勵課程開發者在提交審核前，就參考QM標準並做出修改。這就帶來了第一個挑戰：如何從QM標準已經產生的間接影響中，梳理出它被正式應用後所產生的影響🤙🏽？
另一個挑戰是QM標準鼓勵多種途徑達到特定標準🔑，甚至包括那些課程標準開發者沒有預想到的途徑。QM認為盡管課程設計需要滿足課程質量標準的標準，課程開發者卻無需采用相同的方式。為了保留課程的個性🐙、確保院校能夠建構自己的獨特身份👩🏼🚀，QM不僅允許而且鼓勵達標方法的多樣性。然而🍐，不同的達標選擇可能會改變該標準對在線學習者的影響🤱🏻📸。此外，課程與課程之間通常具有很大的差異性，43條中的每一條QM標準對這些課程的影響都不盡相同。因此💏，如何全面歸納出QM標準應用所產生的影響是我們面臨的第二個挑戰。
到目前為止，我們只考慮了課程設計中可能會影響課程標準應用效果的變量，但是實際上還有許多其它因素在發揮作用。某些因素（諸如應用學習管理系統、舉辦迎新介紹會、提供學術性學習支持服務等）在某一特定院校中對全部課程的影響保持不變，但是在不同的院校中對在線學習者學習體驗的影響則差異很大🦂。其它一些因素（諸如教師的講課風格⛑、與在線學生交流的意願、課程閱讀材料的選擇等）在同一院校中的不同課程💇♂️、甚至同一課程的不同章節中都各不相同🧑🏻🦽。所有這些因素的最終結果表明👩🏽，在現實情境下，我們無法從大範圍的課程和高校樣本中概括出QM標準的一般影響。
三🤹🏻🧗🏻♀️、是否存在一個折中辦法🐄？
盡管我們無法回答文章剛開始提出的那個問題👨🦲，但這並不意味著對QM標準影響的有益研究也是不可能的🤍。關鍵是要把精力放在能夠回答的問題上和可復製的研究策略上🤹🏼♀️。我們將繼續考察在單一院校或院系進行的小規模研究項目，收集一門或多門課程在QM審核前學習者的學習表現和學習態度的相關數據，並且比較課程審核前後的數據結果💆♀️。
盡管關註QM標準的單獨標準似乎是更加準確的衡量標準效果的方法，但是卻忽略了致力於同一目標的多條標準的交叉影響💵。一個值得讓人關註的折中辦法是分別關註八個大類標準🧑🦰：課程介紹和概覽😎、學習目標（學習能力）、評估和檢測、課程教材、課程活動和學生互動🛀、課程技術支持、學生支持服務、以及可操作性和可用性。仔細考量這八個大類標準🏵，我們會發現它們包含了許多共同滿足QM某些主要目標的標準細則，因此更加有意義的標準分類應當基於它們是否共同滿足同一目標👩🏽🦳。我們從八個大類標準中選出五條組成新的標準群組，並且增加了一些新的群組🛂。匯集這些群組並且明確表達它們的預期影響🐢，不僅有助於我們理解QM標準的應用目的，而且為我們提供了一條衡量標準影響的路徑。這些是新群組的暫定名稱：目標明確性標準（Clarity of Purpose Standards🕺🏻，19分）、操作簡易性標準（Ease of Use Standards，18分）、課程一致性標準（Course Alignment Standards，15分）、學習者參與標準（Learner Engagement Standards，15分）、易用性標準（Accessibility Standards🌄，10分）、知識習得/認知發展標準（Knowledge Acquisition /Cognitive Development Standards，9分）、遵從性標準（Compliance Standards，6分）、學生支持服務標準（Learner Support Standards🧑🔬，6分）。
1. 目標明確性標準 (19分):
課程目標需要清晰明確🍻。這組標準會從學員的角度去提問與課程相關的作業、學習這門課程的目的和課程的實用性4️⃣。這些問題有助於學員了解課程安排以及幫助他們在相應方面更好地準備和響應📛。這個應該算作對評分、學生學習動機和滿意程度的正面影響🤾🏽。本組標準涉及的具體指標有：S1.2🕴💔、S2.3👨🦯➡️、S2.4、S3.2⛪️、S3.3、S4.2、S4.6 。
2. 操作簡易性標準（18分）：
包括課程的技術、可訪問性、通用化設計、便利性🥧、對學員在課程剛開始和駕馭課程時的困難期望💕，以及後續的發展等🧄。這組標準預估學員的疑問和在課程剛開始的時候遇到的困難↩️、對課程技術的應用以及完成各種各樣的課程作業。其結果是要把學員的註意力集中到最重要的問題上，省去他們花在明確學習任務上的時間🐗。而課程的第一個影響應該在於促使學員以有相當改善的分數去準時、準確地完成作業，其次是要用減少回應常規問題的數量和增加時間去課程質量監控來提高導師的滿意度。本組標準涉及的具體指標有：S1.1🗑、S1.5👨🎨、S1.6、S1.7🙆🏽、S6.1✶、S6.3、S6.4✌🏻、S8.1、S8.4🎼🤾。
3. 課程一致性標準（15分）：
對課程資格進行評估的目的在於協助課程設計者能夠設計清楚易懂的課程👩🏿🌾，並且減少學員在與課程沒有直接聯系的內容、活動和評估上所花費的時間。這個標準影響可增加學員的滿意程度。本組標準涉及的具體指標有：S2.1🕺🏿、S2.2、S3.1👨🏽🔬、S4.1。
4. 學員參與標準（15分）：
有助提高學員興趣以及推廣主動學習的活動🍠。假如能夠讓學員堅持學習、成功及滿意的理論成立的話🖕🏽，那些需要大幅修改以符合標準要求的課程和主動學習標準也應該把退學率降低，而把更多的時間花在活動、提高評級和改善整體的滿意度。本組標準涉及的具體指標有：S1.8、S1.9、S3.5、S5.2、S5.3👩🏿🍼、S5.4🚶🏻➡️、S6.2⚀。
5. 易用性標準（10分）：
對殘疾人士的住宿是根據政府的要求而設定的。達到這些標準可能不會對主流學生有明顯的影響。所以，統計對無法自我認同的學員所造成的影響也許會對課程帶來價值✊。本組標準涉及的具體指標有：S7.2、S8.2、S8.3、S8.5👨🏻⚖️。
6. 知識習得（認知發展）標準（9分）：
對課程內容和知識能夠進行明確而由淺入深的教學🐰。通過課程，學員能夠學習到更深入的知識🤾♂️，改善學習表現🤜🏻💾。本組標準涉及的具體指標有：S2.5、S3.4、S4.4、S4.5👩🏼🍼。
7. 遵從性標準（6分）：
遵從政策和慣例。這些標準或許可以幫助學生避免因不必要的紀律處分或處罰而扣分，也有可能會降低學生的堅持度和滿意度。本組標準涉及的具體指標有：S1.3、S1.4、S4.3。
8. 學生支持服務標準（6分）：
積極主動地通過服務去指導學員⛹🏿，幫助他們順利達到課程的預期目標。這裏對學員，特別是對學困生的堅持和表現都有顯著的影響🕢♗。本組標準涉及的具體指標有👋：S7.1🏇🏻、S7.3🎹🙍🏼♀️、S7.4 。
由此可見🖱，這幾組評定標準展現了QM 標準不同的維度🦩，這些課程質量標準群組展現了QM標準的不同維度，每一組都影響了學習者的學習表現和學習態度🧚🏻♂️。對這些群組的單獨研究能夠幫助我們判斷QM標準是否對學習者的表現和滿意度產生了預期的影響🤸🏼♀️。在此我提出一種能夠產生可復製結果的方法，即集中研究那些一開始不滿足QM標準但修訂後符合標準的課程🧙🏻♂️♡：比較它們修訂前後在每一群組所獲得的分數。我們可以推導出一個群組指數：
（原群組分數）/（修訂後的群組分數）=群組指數
群組指數代表了課程發生變化的多少：指數越大，變化越小；反之，指數越小🤸🏻♀️，變化越大。要想衡量QM標準對具體課程和學生的影響，我們應當關註那些低分群組。我們需要大量只有在修訂後才滿足QM標準的課程樣本，從中獲取課程修訂前後的學生學習表現數據和期末調研數據🍋🟩。調研人員將會分析這些課程數據，生成它們的群組指數🎶，然後集中研究低分群組，指出課程變化最大的方面👳🏿。這些研究將有助於我們探索每一群組所對應影響學生學習表現的不同因素⛹️♂️。該研究方法能夠被廣泛復製應用到許多院校的課程之中。
四、結論
只要不給某特定方法的研究（比如群組法）提供傾斜性的資助激勵🕚，那麽QM標準對課程設計的影響研究就會尋求多條路徑。鑒於QM的當前用戶及潛在用戶對找到本文開頭提出的問題的答案抱有非常大的興趣，我們有理由相信群組法在未來將會得到充分探索。
(張夢、黃麗銘編譯)
回目錄
|
