談計算機(jī)動態(tài)評價模式同伴反饋有效性

前言：想要寫出一篇引人入勝的文章？我們特意為您整理了談計算機(jī)動態(tài)評價模式同伴反饋有效性范文，希望能給你帶來靈感和參考，敬請閱讀。

摘要：本研究基于動態(tài)系統(tǒng)評估理念，構(gòu)建了基于Peerceptiv寫作平臺的動態(tài)評價模型，應(yīng)用于江西一所普通高校大學(xué)英語寫作課堂評價活動。通過為期16周的動態(tài)教學(xué)與測試體驗，獲取大量學(xué)生的同伴互評數(shù)據(jù)和訪談數(shù)據(jù)。研究結(jié)果表明：基于計算機(jī)的動態(tài)評價能夠有效提高學(xué)生成績；與中低水平學(xué)習(xí)者相比，動態(tài)系統(tǒng)評價方式對高水平英語學(xué)習(xí)者寫作能力產(chǎn)生更為顯著的影響；被試在進(jìn)行互評作業(yè)時，高水平學(xué)習(xí)者對待互評的態(tài)度更加積極，與中低水平組存在顯著性差異。

關(guān)鍵詞：同伴反饋；動態(tài)評價；大學(xué)英語寫作；有效性

在心理學(xué)和普通教育領(lǐng)域，動態(tài)評價的研究早已碩果累累，但在大學(xué)英語教育領(lǐng)域尚不多見［1］。國內(nèi)學(xué)者彭金定和韓寶成對動態(tài)評價理論的研究使我國外語教師和研究者對動態(tài)評價有了初步了解。種種跡象表明動態(tài)評價理論涉及的領(lǐng)域與相關(guān)內(nèi)容正在引起國內(nèi)應(yīng)用語言學(xué)者的興趣，它為國內(nèi)外語教學(xué)領(lǐng)域的研究提供了全新視角［1］。本研究以江西某普通高等高校300名非英語專業(yè)大二學(xué)生為研究對象，將其分為高中低水平三組，整個過程為期16周。該課程每周在常規(guī)教室進(jìn)行一次，每次2小時，部分流程需要受試者在課外時間完成。對最終數(shù)據(jù)采用定性和定量研究相結(jié)合的方法，來探究動態(tài)系統(tǒng)評價方式對三組被試寫作能力的影響。

一、研究設(shè)計

（一）研究問題本研究主要回答了三個問題：一是在互評作業(yè)時，不同水平被試對待互評的態(tài)度是否存在顯著性差異？二是學(xué)生是否認(rèn)可同伴反饋的有效性？三是動態(tài)系統(tǒng)評價方式對高中低水平英語學(xué)習(xí)者寫作能力產(chǎn)生何種影響？

（二）研究步驟在外語語言教學(xué)動態(tài)評估基本原理的指導(dǎo)下，初步設(shè)計出適合大學(xué)英語教學(xué)且基于Peerceptiv平臺的動態(tài)評估模型。這一動態(tài)評估模型實現(xiàn)了教學(xué)與評估為一體的外語語言教學(xué)模式。簡單來說，主要包括三個過程，即寫作過程、干預(yù)過程和綜合評估過程，如圖1所示。在每個寫作周期的第一次授課時，先由教師發(fā)起頭腦風(fēng)暴式的交流，引入話題，如師生一起探討段落結(jié)構(gòu)和常見的修辭。并要求學(xué)生以小組為單位，圍繞主題討論問題。然后，他們在課后4天內(nèi)寫出初稿，并提交到Peerceptiv互評網(wǎng)站。然后再由每個學(xué)生通過互評網(wǎng)站對其他同學(xué)進(jìn)行匿名互評，指出問題并提出修改意見，每位學(xué)生評價4～5份作業(yè)。首輪匿名互評結(jié)束后，被評價學(xué)生根據(jù)評價者給出的意見，給出回評，評價互評學(xué)生的意見是否中肯，是否有幫助。課前教師對所有互評和回評進(jìn)行綜合審查，檢查互評和回評情況。在第二次見面課時，教師根據(jù)綜合審查情況給出指導(dǎo)意見，并與學(xué)生展開互動，回答學(xué)生疑問。經(jīng)過第一輪互評、回評、教師綜合審查后，學(xué)生根據(jù)各類意見以及自己的實際情況，對初稿進(jìn)行修改，并再次提交互評網(wǎng)站，再次進(jìn)行互評、回評和綜合評價操作。

（三）數(shù)據(jù)收集研究者將學(xué)生的前測寫作成績和分級考試中的寫作成績作為確定其英語水平的標(biāo)準(zhǔn)［2］。寫作成績和分級考試成績較高的前41名被編入高水平組，125人編入中等水平組，134人編入被分為低水平組。在進(jìn)行訪談和調(diào)查問卷時，研究者共招募50人參加小組訪談，并在期末對其進(jìn)行跟蹤訪談，圍繞學(xué)生參與同伴互評時的想法和行為展開。

（四）數(shù)據(jù)分析本研究對同伴反饋采用數(shù)據(jù)統(tǒng)計和文本分析相結(jié)合 的方法，先根據(jù)研究目的對整理的訪談?wù)Z料進(jìn)行編碼，之后結(jié)合SPSS24.0進(jìn)行推斷性統(tǒng)計分析［3］。第一，定量分析。本研究中使用了獨立樣本曼惠特尼（Mann-Whitney）U檢驗方法以考察高水平組與中低水平組之間最終成績是否存在顯著性差異。高水平組和中低水平組的平均秩次分別為11.29、9.66、9.25。檢驗結(jié)果表明，高水平組和中低水平組在經(jīng)過16周的動態(tài)評價后存在顯著性差異（U=9.4，Z=-2.44，p=.007），而且高水平組明顯優(yōu)于低水平組。效應(yīng)量超過了0.50（r=-0.621），按Cohen（1988）的標(biāo)準(zhǔn)，屬于大效應(yīng)量，表明高水平組與低水平組之間的實際差異較大。第二，定性分析。對三個水平組學(xué)習(xí)者的互評和回評進(jìn)行文本分析，從三組寫作者的視角分析對方的反饋類型［3］。然后，轉(zhuǎn)寫后續(xù)訪談并進(jìn)行文本分析，三方驗證同伴反饋類型的異同。

二、研究結(jié)果與討論

（一）反饋積極性研究發(fā)現(xiàn)，不同水平被試在進(jìn)行互評作業(yè)時，對待互評的態(tài)度存在顯著性差異。結(jié)果表明，高水平組參與程度更高，參與意識更強(qiáng)，任務(wù)一、任務(wù)二的參與程度分別為97%、100%。中等水平組次之，參與程度為89%，92%；而低水平組的參與意愿最低，兩個任務(wù)的參與程度分別為80%、76%。互評的參與程度與參與意愿類似，高中低三組參與意愿基本呈降序排列。這說明高水平組的學(xué)習(xí)態(tài)度要明顯優(yōu)于中低水平組。

（二）互評、回評數(shù)據(jù)分析1.高分組與中低分組同伴反饋類型分布的總體特征首先對互評、回評、面談記錄進(jìn)行編輯整理，并將在線的互評、回評評議和面談記錄分為三種類型，即全局反饋、局部反饋和非任務(wù)型反饋。全局反饋指評價者從文章整體做出的評價，如整體結(jié)構(gòu)、是否偏題等；局部反饋指評價者就文章局部做出反饋，如個別句子的語法問題；非任務(wù)反饋指跟任務(wù)不相關(guān)的其他反饋。統(tǒng)計結(jié)果表明，在三種反饋類型中，全局反饋的發(fā)生概率最高，分別占63.68%，81.91%，74.2%，說明與其他兩種類型相比，學(xué)生更傾向于集中精力進(jìn)行全局性反饋。高中低三組在局部反饋中差別巨大，在整理互評反饋數(shù)據(jù)時發(fā)現(xiàn)高等水平組更敢于就局部問題提出意見，而中低水平組就文章本身提出的意見非常少，局部反饋類型意見僅占總體意見的2.19%和1.3%。中低水平組評閱者全局反饋類型反而高于高等水平組，但很多全局性反饋僅限于“主題清晰”“語言表達(dá)較好”一類的模糊表達(dá)，很少指出作者的問題。同時在線互評模式下的評論表現(xiàn)出兩極化分布：修改型評論偏高（高水平組85.07%，中等水平組84.1%，低水平組75.5%），非修改型評論較少（高水平組14.93%，中等水平組15.89%，低水平組24.5%）。課題組結(jié)合訪談，分析了產(chǎn)生這種情況的原因，認(rèn)為在線互評模式是在課外時間進(jìn)行的，學(xué)生可能有更多時間去思考如何修改寫作問題并提供可行的反饋。高水平組的直接糾錯和錯誤分析明顯多于中低水平組。直接糾錯和錯誤分析三種反饋類型主要是學(xué)習(xí)者針對同伴的語法、詞匯和句型等語言使用問題給予的反饋信息［3］。高水平學(xué)習(xí)者因自身英語的熟練程度，在進(jìn)行互評時，顯得更加自信。2.同伴反饋在二語學(xué)習(xí)過程中的有效性本研究結(jié)果同樣表明同伴反饋對二語學(xué)習(xí)者在寫作質(zhì)量和寫作能力方面有積極影響。在教學(xué)與測試過程中通過對300名英語學(xué)習(xí)者互評數(shù)據(jù)分析發(fā)現(xiàn)，同伴反饋對學(xué)生作文修改類型的多樣性和寫作質(zhì)量方面都有積極影響，同時能夠培養(yǎng)學(xué)生的批判性思維［4］，反饋的發(fā)出者與接收者都能從中受益。以下是本例中動態(tài)同伴互評有效性的統(tǒng)計數(shù)據(jù)，其中5表示同伴互評對作者特別有幫助，4表示同伴互評對作者很有幫助，以此類推，1表示同伴互評對作者完全沒有幫助，0表示沒有進(jìn)行同伴互評。從表1可以看出，認(rèn)可同伴評論有效性的人數(shù)（4和5）各組數(shù)據(jù)分別為57.22%，67.25%，43.95%，說明大部分學(xué)習(xí)者均認(rèn)可同伴互評的有效性，但如何進(jìn)一步提高更加可靠的同伴互評需要更多方法或培訓(xùn)介入教學(xué)過程。3.訪談方式產(chǎn)生的同伴反饋與在線互評反饋類型比較從功能上區(qū)分訪談記錄、見面課產(chǎn)生的互評和在線同伴互評大致可以分為評估、解釋、建議、修改四種類型。根據(jù)RandallW.Sadler（2003）的說法，評估是指“對寫作好壞特征的評論”，解釋類陳述是尋找“解釋和理由”，建議是指表明“修改方向”的評論，修改是指“提供具體改變”的陳述。如表2所示，在訪談和見面課時，“評估”是最常見的評價類型，較少使用“修改”這一工具。而在在線互評過程中，“解釋”是較少使用的評論類型。這一結(jié)果表明，在訪談和在線互評過程中，學(xué)生會在寫作過程中直接做出直觀評價，他們可能沒有足夠的時間來解釋自己的不足或者直接修改。然而，在線互評模式產(chǎn)生的評論類型模式卻大不相同，其中“修改”出現(xiàn)次數(shù)最多，其次是建議、評估和解釋。在這種模式下，解釋的頻率只有2.78%。由于解釋通常需要作者和讀者之間進(jìn)行密集互動，因此在這種模式下，基于文本的交流和在線互評模式下缺乏互動可能不利于解釋的過程?？梢缘贸鲞@樣的結(jié)論：在有限的互動模式下，學(xué)生往往集中同伴的局部寫作錯誤上，他們會在有條件的情況下，使用網(wǎng)絡(luò)工具來完成批改任務(wù)。

三、結(jié)語

本研究考察了在動態(tài)理論框架下不同水平學(xué)生的任務(wù)參與度、評論類別以及對這些模式的看法。盡管在參與程度上有顯著差異，但三個級別的學(xué)生都對動態(tài)互評呈現(xiàn)出類似結(jié)果，即大多數(shù)學(xué)習(xí)者都認(rèn)為在線動態(tài)英語寫作模式有助于英語寫作能力提高。然而，正如以往的研究指出，同伴反饋效果是由多種因素決定的。本研究只有部分名學(xué)生參加了后續(xù)訪談，有限數(shù)據(jù)可能限制了我們對同伴評價中不同模式實施情況的全面了解。未來的研究可能會考慮這些問題，進(jìn)一步探討不同模式在二語寫作課程中整合同伴評價的效果。

參考文獻(xiàn)：

［1］任玲玲.動態(tài)評估在外語教學(xué)中的應(yīng)用研究綜述［J］.黑龍江教育學(xué)院學(xué)報，2015，34（2）：145-147.

［2］黃紹瑩，張荔.自動作文評閱系統(tǒng)對不同水平學(xué)習(xí)者英語寫作能力的影響——基于句酷批改網(wǎng)的研究［J］.外語與翻譯，2015，22（4）：70-76+4.

［3］裘瑩瑩，馬廣惠，游曉曄.中美跨洋寫作互動中同伴反饋類型的對比研究［J］.外語教學(xué)理論與實踐，2019（2）：69-76.

［4］崔瑩，蓋笑松，張紹杰.同伴反饋法的有效性及應(yīng)用于英語寫作教學(xué)的可行性探究［J］.外語電化教學(xué)，2019（2）：3-9.

作者：杜默君 單位：華東交通大學(xué)