合約承諾×同儕審評 建立公信評分機制

文: 教育傳媒

教育資訊 專家分享 教育專業 教育傳媒 教育專業第19期 香港教育大學亞洲及政策研究學系胡志強教授 日內瓦國際發明展金獎 IIIC國際創新發明大賽金獎 數學與資訊科技學系蘇賜福博士 個人分數網上評估系統 OASIS 香港教育大學創新項目巡禮 香港教育大學

  香港教育大學亞洲及政策研究學系胡志強教授從過往的經驗裏提取構思,和其團隊開發了評核「個人分數網上評估系統」(下稱:OASIS)。OASIS 是一套為團隊項目的個人貢獻進行評分的系統,利用團隊成員的互相評估數據來計算基線,以數據為本,計算出公平合理的分數。美國和亞洲九間大學共二十八位教師採用了這個系統,改善了大約一千八百名學生參加的二十三種不同課程的團隊學習方式,在 2020 年 IIIC 國際創新發明競賽中奪得金獎,更在 2021 年再下一城,在日內瓦國際發明展上榮獲金獎。

投訴成研究契機
  胡教授坦言這個系統的念頭源於數年前,四名學生向他投訴一名成員沒有共同完成小組功課,不應跟其他組員獲得相同分數。「當時四名學生全是應屆畢業生,他們必須完成該課程才能畢業,所以該名不負責任的學生即使甚麼都不做,其餘四人也會自然接手他的工作。」胡教授很遺憾的表示當時只能夠在學生提出正式投訴後才能着手處理。於是胡教授開始想建立一個較為完善的機制,可以更公平地評估小組內個別人士的貢獻,而非等待組員投訴,才開始評定組員個別分數。
  合作學習的原意是透過學生之間互相溝通協作達至學習目標,以總體成績為評價標準,當學生逃避分擔責任時,學校和老師的處理手法卻一直沒有清晰的指示可遵循。有見及此,胡教授開始反思大
學現行的小組評分,希望創建一個更成熟、公正的評分機制,杜絕想坐享其成的Freerider 行為,提升團體工作效率。

獨立績效評估
  創建 OASIS 最大的挑戰就是量化每名組員在小組裏的貢獻,為此胡教授引入了合約承諾制度和表現計分制,塑造一個公平劃一的量化標準,鼓勵學生參與團體工作。透過合約承諾制度及契約精神約束學生,學生在工作進行前認真地思考學習目標和確定各人分工,減少爭議。胡教授說︰「基於各個學生都簽了合約,每人也有需要負責的部分,清晰列明,對工作內容有所承諾。學生亦了解若沒有履行承諾,在分數上會反映出來。這是防止學生躲懶的第一步。」
  學生在繳交小組功課後亦需就個人和組員的表現作評分,防止學生在小組工作途中的過度依賴行為。老師只須綜合評分結果和作業的整體分數,由 OASIS 轉化成數據,為每名學生獨立評分,消除學生對老師評分的質疑和抱怨。胡教授說︰「有了具體而完整的機制讓老師可以按部就班,即使是小組功課,仍可以公平地計算每位學生的個人成績。」

堵塞串通行為
  機制雖然能協助老師的評分工作,但在學生層面,他們可能會免卻麻煩而統一口徑,例如包庇某些躲懶的同學,又或是相反,因私怨而誣蔑某組員。蘇博士補充:「考慮到學生可能私下互相承諾給對方最高分數,或是參雜個人恩怨,系統會刪去最高和最低的互評分數,使分數更加公平,杜絕勾結、欺凌的行為。另外老師亦會因應自己的觀察而召見某些小組作深入了解,例如兩人小組本身是情侶關係,老師可能需要學生提出更多證據,證明二人之間有公平分工。」
  胡教授坦言在 OASIS 評分後,若學生認為評分依然有問題,可以申請調查,要求所有成員當面提交證據細節,阻止預先串通行為。「在沒有完整制度下,當學生投訴某位組員沒有貢獻時,往往可能缺乏證據。而由於一開始時每位組員都簽訂了合約,對自己負責的部分有所承諾,這已經可以讓其他有貢獻的組員,備有證據。而被投訴的一方若想平反,只要拿出證據證明自己的貢獻即可,方便快捷。」胡教授說,事實上很少來到當面對質的一步,因為一旦有組員作出投訴,沒有付出貢獻的一方已經自知理虧,產生「面紅效應」,自然會老老實實地完成自己負責的部分。
  對於不同的持份者而言 OASIS 方便實用,為老師提供透明的評分規則,為學生提供共同同意的互評機制,為大學管理層收集研究數據。胡教授說︰「就用戶的回饋,他們尤其滿意減少對Freerider 的投訴,反映OASIS 的合約承諾和同儕互評能有效阻嚇期望能不勞而獲的學生。」

知識轉移 從學界到商界
  OASIS 不只適用於學術評分上,甚至可以轉移應用在公司的管理層面上。一所著名跨國玩具製造公司將OASIS 引用至旗下兩所分公司。「他們同時有很多專案小組在進行,人數由二、三人不等到五十多人,每個專案小組成功完成後,各組員會獲得相應的獎金。對於那些身兼數個專案小組的高級員工而言,他們在每個小組的貢獻不盡相同,有時候他們可能只是負責簽署文件,有時則須要帶領小組方向。若只是將年終獎金按小組成員人數平分,對於所有員工而言是不公平的。OASIS 能夠評核各員工的工作量和表現,以決定所獲的年終獎金金額,真正的鼓舞員工士氣。」胡教授坦言 OASIS 仍有進步空間,希望將來為學校和企業,建立更完善的機制,讓成員得到更公平的待遇。

評核個人分數的網上評估系統(OASIS):http://oasis.eduhk.hk

如有興趣進行後續合作計劃,請聯絡香港教育大學知識轉移辦公室。
如有查詢,歡迎致電 2948 27 7556 聯絡香港教育大學,知識轉移辦公室凌先生。