Kvaliteten i distansstudenters kamratresponser och självvärdering

Kvaliteten i distansstudenters kamratresponser och självvärdering Lisbeth Amhag Lektor, fil.dr. & postdoktor i pedagogik Fakulteten för lärande och samhälle Malmö högskola NU2012 Gränslöst lärande 17 19 oktober 2012 Presentation 18 oktober Göteborg Konferensbidrag (sid. 91-92) http://www.nu2012.se/proceedings.shtml

Distansstudenters kamratresponser och självvärdering I studien är det fokus på kvaliteten i distansstudenters nätbaserade kamratresponser och självvärderingar för lärande. Min utgångspunkt är att ge/få och ta till sig kamratrespons på egna/andras texter och produktioner bidrar till att studenter blir mer medvetna granskare, eftersom de läser in sina egna erfarenheter och intentioner i dem. En praktisk fördel med att använda kamratrespons är att den blir tillgänglig snabbare under lärprocessen och ger fler betraktelsesätt än läraren kan ge ensam (Topping, 1998). Forskningsfrågorna är: Vilken effekt (potential, påverkan, intryck) och vilka mervärden (behållningar, förtjänster) kan identifieras i studenternas kollaborativa kamratresponser och självvärderingar som ett redskap för lärande och utveckling? På vilket sätt är studenters feedbackprocesser ett mellansteg till självvärdering?

Nyckelord Kamratrespons kan betraktas som ett mått på studentens förståelse för kursuppgiften och att främja förmågan med att ge, få och ta till sig återkoppling (van der Pol et al., 2008). Självvärdering syftar till att främja den metakognitiva förmågan genom att studenten reflekterar över kvaliteten på innehållet i de egna kursuppgifterna och jämför sina insatser med andras. Kamratrespons kan betraktas som ett mellansteg till självvärdering, eftersom studenterna bedömer och jämför sina egna arbetsprestationer och med andras. Det blir ett sätt att identifiera styrkor och svagheter i det egna arbetet, vilket främjar förmågan att granska, bedöma, planera och ta ansvar för sitt eget lärande. Sex huvudteman för självvärdering beskrivs i litteraturen: påverkan av olika förmågor, tidseffekten, arbetet med självvärdering, metoder för självvärdering och innehållet i självvärderingen (Dochy et al., 1999).

Metod Data samlades in från 22 lärarstudenters (15 kvinnor, 7 män) kursuppgifter vårterminen 2011 där det ingick kamratrespons och självärdering under de två första högskolekurserna i Lärarutbildning 90 hp; Läraruppdraget, 15 hp och Lärande och utveckling, 15 hp. I början av den första kursen hade studenterna haft genomgång i och tränat att ge kamratrespons utifrån följande kriterier (Dysthe, Hertzberg & Løkensgard Hoel, 2011): Koncentrera dig först på att fånga textens/produktionens fokus/syfte, markera det som du tycker är tydligt och intressant, notera också det som är oklart formulerat. Formulera kortfattat med egna ord vad du anser vara det viktigaste. Börja och avsluta med något positivt. Skriv ner några frågor, be om preciseringar och klargörande t.ex.: Jag känner igen/känner inte igen? Jag reagerar på att? Hur menar du att? Betyder det att? Som jag uppfattar det, så innebär det att? Kom med motförslag, alternativa lösningar och/eller råd och problematisera utifrån begrepp och litteratur. Svara på eventuella frågor som ställs i arbetet.?

6 grupper med 5-7 studenter Genomförande I båda studierna delades studenterna in i samma sex grupper, med fem till sju i varje. I varje grupp ingick både kvinnor och män. I kurs 1 hade studenterna i den första kursuppgiften övat responsgivning. I studien ingår den andra kursuppgiften där studenterna arbetade med dokumenterade fall om lärarens ledarskap och roll i skolan. I kurs 2 skulle de utifrån egna observationer om andraspråkslärande och tvåspråkighet i skolan beskriva ett undervisningsexempel och ge egna didaktiska förslag. Efter inlämningen av de individuella kursuppgifterna (LMS: It s learning) skulle de gruppvis ge kamratrespons under en viss tidsperiod och därefter självvärdera dem med vidare reflektioner om sina egna inlägg i kurs 1 och i kurs 2 jämföra sina egna och andras didaktiska förslag med vidare reflektioner och koppling till kurslitteratur. Denna sammanfattande version (N=44) lämnades in för bedömning och analys.

Data N=155 92 kurs 1 63 kurs 2 Analys kamratresponser Analysen genomfördes i två faser. Den första fasen innefattade att identifiera meningsinnehållet i kamratresponserna (N=155) med stöd av Toulmin s argumentmodell, TAP (1958). TAP går ut på att urskilja påståenden, fakta som är teorianknutna och/eller erfarenhetsbaserade, understödjande belägg och/eller motbevis, men också relationen mellan påstående och fakta. Toulmins argumentmodell (1958, pp. 98, 101, 103) innehåller sex element eller byggstenar och kan betraktas som en förenkling av den komplexitet och mångfald som finns i en argumentation. Emellertid kan modellen stödja hur skribenter och läsare kan ta itu med texter och hur de kan använda textresurser för att tolka vad de betyder - eller snarare några möjliga betydelser. Alla dessa förslag och lösningar som finns i meningsinnehållet är ett led i lärprocessen. Den logiska relationen dem emellan är grundläggande för en skribent att omsätta i praktiken. 6

Toulmin s argumentmodell D So, Q, C Tre obligatoriska element/byggstenar: C (claim/påstående) D (data/fakta) W (warrant/garant). Since W On account of B Unless R Tre frivilliga byggstenar: Q (qualifier/styrkemarkör) R (rebuttal/villkor) B (backing/understöd). Källa: Toulmin, Stephen E. (1958). The uses of argument. Cambridge, England: Cambridge University Press.

Reviderad version av Toulmin s argumentmodell Styrkemarkör (Q) bekräftar påståendet och anger graden av styrkan i det Data/grund (D) information som påståendet bygger på ex. studier, personliga erfarenheter, sunt förnuft eller uttalanden som används som stöd därmed så Påstående (C) ståndpunkt som fastställer eller rättfärdigar de normer eller värden som människor håller eller önskan om accept därför eftersom Garant (W) explicita eller implicita argument som förklarar relationen mellan data och påståendet om men Villkor (R) knyter an till Q med förklaringar eller omständigheter som motsäger påståendet, data eller garant eller kvalificerar ett argument Excerpt därför att på grund av Understöd (B) kopplas direkt till W med ofta implicita motiv till underliggande antagande eller påstående Reviderad och utvecklad version av Toulmins argument pattern (Toulmin, 1958; Kneupper, 1978; Simon, Erduran & Osborne, 2006)

Resultat kamratresponser Tabell 1. Nivåer i 22 studenters kamratresponser (N=155). Nivåer av objekt Kurs 1 CD, CW, CR, DR, WB 1 (1 %) CDW, CDR, CDQ, CWR, DWB 33 (37 %) CDWB, CDWQ, CDWR, CDWRB 55 (62 %) Totalt 89 (100 %) Kurs 2 Totalt 0 1 (1 %) 23 (35 %) 56 (36 %) 43 (65 %) 98 (63 %) 66 (100 %) 155 (100 %) Toulmin Note: C, claim; D, data; W, warrant; B, backing; Q, qualifier; R, rebuttal Resultatet efter den första analysen visar att studenterna i huvudsak presenterade sina idéer på ett begripligt och konsekvent sätt, baserat på påståenden och fakta som är teorianknutna och/eller erfarenhetsbaserade med understödjande belägg och/eller motbevis, men också relationen mellan påstående och fakta. Två tredjedelar av kamratresponserna (63 %) innehöll tre av Toulmin s obligatoriska byggstenar (C, D, W), kombinerade med en eller två av de frivilliga av dem (Q, R, B). 36 % innehöll tre av de obligatoriska eller frivilliga delarna och bara 1 % innehöll två av dem.

Analys feedbackprocessen Data N=44 baserade på 155 kamratresponser I den andra analysfasen av 22 studenters kollaborativa feedbackprocess (44 självvärderingar baserade på 155 kamratresponser, 92 i kurs 1, 63 i kurs 2) användes Hattie och Timperleys (2007) fyra nivåer på återkoppling som utgår från tre frågor: 1) Vad ska studenten utföra och vad är målet (feed up)? 2) Var är studenten i förhållande till målet (feed back)? 3) Vad behöver göras för att studenten ska närma sig målet (feed forward)? 10

Hattie och Timperleys feedbackmodell Lärande feedback svarar på tre frågor: Vart är jag på väg? (lärandemålen) Feed Up Hur går det? (progression mot lärandemålen) Feed Back Vart ska jag? (hur större framsteg kan nås) Feed Forward Feedbackprocessen minskar på avståndet mellan nivåerna Varje feedbackfråga bearbetas på fyra nivåer: Uppgiftsnivån (FT) Hur väl uppgifterna förstås och utförs Processnivån (FP) Den huvudsakliga processen som behövs för att förstå/utföra uppgifterna Metakognitiva nivån (FR) Egenkontroll, styra och korrigera åtgärder Personliga nivån (FS) Personliga utvärderingar och intryck (oftast positiva) av och om studenten Figur 3: Reviderad version av Hattie och Timperleys modell (2007, s. 87). Excerpt FT Excerpt FP Excerpt FR Excerpt FS Frågorna motsvarar designen av feed up, feed back och feed forward. Syftet med feedbackprocessen är att minska på avståndet mellan vad målet är med uppgiften och var studenterna befinner sig i förhållande till färdigheter, förutsättningar och tillvägagångssätt för att kunna bedöma och självvärdera lärandet. Jag fokuserade på skillnaden mellan uppgiftsnivån (FT), processnivån (FP), metakognitiva nivån med självreglerande handlingar (FR) och den personliga nivån (FS) och kombinerade sedan analysen med Toulmins argumentmodell.

Toulmin Hattie & Timperley FT uttalanden R villkor om, men FT kunskapsresultat FT reproduktioner Excerpt feedback på uppgiftsnivå (FT) Laura! (kamratrespons från Sara) Man måste som lärare vara aktsam om den maktposition man har gentemot eleverna. I ditt fall har läraren dessutom med sig en grupp barn som står på hennes sida eftersom de sägs vara vittne till den situation som pojken anklagas för. Hon utsätter honom för en flera mot en situation. Att han har sina kompisar runt omkring sig och kan ha svårt för att vara sig själv kränker honom bara ännu mer. [ ]. I detta fall har det skett en orättvis behandling gentemot eleven vilket är ett exempel på kränkande behandling. Man måste dessutom vara aktsam om elevens egenvärde (Erdis 2007:98). Läraren gör också fel när hon lämnar ut uppgifter till andra som kan bidra till missaktning, i detta fall alla hans kompisar i matsalen. Hon utpekar på så sätt eleven klandervärt vilket är ett brott (Erdis 2007: 99). Det är i strid med skollagens paragrafer att en lärare förolämpar en elev (Erdis 2007:109). Processnivå FT, feedback på uppgiftsnivå hur väl en uppgift görs eller utförs efterfrågar mer eller annan input korrigerande återkoppling eller vissa kunskapsresultat uttalanden och reproduktioner från andra brist på egna reflektioner om lärande C påstående W garant eftersom Q styrkemarkör vilket D fakta B understöd därför W garant eftersom

Toulmin FP textfokus FP rel. fakta & påstående FP diskuterar vidare FP alt. lösningar Hattie & Timperley Excerpt feedback på processnivå (FP) Sara: Att elever med svenska som andraspråk skulle få möjlighet att läsa litteratur i svenska på sitt modersmål angav jag i min redogörelse på didaktiska förslag. Givetvis håller jag med expertråd 1 och 2 om att det är viktigt att eleverna läser litteratur till större delen på svenska då syftet med litteraturläsningen är svenska som språk. Däremot menar jag att eleven skulle kunna få ta del av litteratur på sitt modersmål då syftet med skönlitteraturen är att få en djupare förståelse för hur människor har levt och tänkt i skilda kulturer under olika tider (www.skolverket.se). Att skrivandet i sig är viktigt för alla elever håller jag helt med om. Däremot tror jag att man kan skapa olika tillfällen för eleverna där det är mer eller mindre lämpligt att skriva. Har man elever i klassen med svenska som andraspråk står jag fast vid att det kan bli för svårt för dem att koncentrera sig på både vad som sägs och på vad som ska skrivas (Lindberg, 2005:339). Det är viktigt att försöka skapa samma förutsättningar för alla elever och inte exkludera någon. Det finns så många andra situationer där skrivandet kommer in i bilden, speciellt i den form av undervisning som lärarna använder sig av idag. Processnivå FP, feedback på processnivå fångar textens fokus eller syfte underliggande motiv eller relaterar till och vidgar uppgiften insikt och relationer mellan fakta och påstående förslag på alternativa lösningar diskuterar problem utifrån litteraturen C påstående W garant eftersom Q styrkemarkör så R villkor D fakta men B understöd därför

FR tankar & reflektioner FR strävar & hanterar FR self-efficacy FR utvärderar Toulmin Hattie & Timperley Excerpt feedback på metakognitiv nivå (FR) Hannah: Sammantaget tycker jag vi har spänt över ett ganska stort område av olika ledarskapsproblem, om än långt ifrån alla. Det har varit intressant och lärorikt att ta del av allas åsikter och samtidigt kunna se att vi inte har identisk bild av hur skolan ska bedriva sitt ledarskap. Litteraturmässigt har jag baserat mycket av mina tankegångar på skolornas likabehandlingsplaner med utgångspunkt i framförallt Barn och elevskyddslagen (SFS 2006:67) och Sveriges diskrimineringslagstiftning (SFS 2008:567). Att fler tänker som jag tycker jag mig se även om jag inser att jag inte varit så aktiv som många av de andra i källhänvisningen till dessa. [ ] De svåra frågorna för mig är kanske inte så mycket vad som är fel utan hur man får alla med på tåget så att säga. Var blir det fel? Är det ett samhällsproblem eller är det enskilda skolor, enskilda rektorer eller lärargrupper? Vill vi inte öppna ögonen och se att man behöver ett systematiskt och långvarigt arbete på de här områdena för att förändra attityder och frambringa empatiska elever? W garant Processnivå FR, feedback på metakognitiv nivå med självreglerande handlingar eftersom skapar intern återkoppling, tankar och reflektioner känslor av self-efficacy (tro på egen förmåga) eftersträvar och hanterar meningen i kamratresponserna utvärderar olika nivåer av förståelse och strategier förmåga att söka stöd C påstående R villkor om D fakta Q styrkemarkör så B understöd på grund av

Toulmin FS sällan kritisk förmåga FS lite uppgiftsrel. info FS sällan kritisk förmåga FS sällan engagerad Hattie & Timperley Excerpt feedback på personlig nivå (FS) Eric: Gemensamt för de fall som redovisats ovan och som avsett kränkningar har varit att det verkar ha saknats en konkret handlingsplan för vilka åtgärder som skall sättas in och när. Det har till stor del rört sig om enstaka riktade insatser och det har också brustit i uppföljningen. Saknar också mera förebyggande insatser där såväl eleverna som deras föräldrar involveras. Exempelvis att ta fram gemensamma regler för hur man skall bete sig mot varandra, grupparbeten som bland annat syftar till att lära eleverna att umgås med varandra. Maria: Jag tycker att gruppens didaktiska, alternativa förslag överensstämmer med mina egna didaktiska förslag angående min observation om Sena. De didaktiska förslag och åtgärder som gruppen nämner har jag själv tagit upp, reflekterat och analyserat i mina egna didaktiska förslag, därför känner jag att jag har inget mer att tillägga i det här avsnittet. Processnivå FS, feedback på personlig nivå innehåller lite uppgiftsrelaterad information omvandlas sällan till mer engagemang i lärandet förbättrar inte ofta den personliga värderingen utvecklar undantagsvis kritisk förmåga C påstående Q styrkemarkör så R villkor om C påstående B understöd därför

Summering av feedbackprocessen Hattie & Timperley Processnivå FT, feedback på uppgiftsnivå N=17 (11 kurs 1, 6 kurs 2) FP, feedback på processnivå N=14 (3 kurs 1, 11 kurs 2) FR, feedback på metakognitiv nivå N=10 (7 kurs 1, 3 kurs 2) Analys av 44 självvärderingar utifrån 155 kamratresponser hur väl en uppgift görs eller utförs efterfrågar mer eller annan input korrigerande återkoppling eller vissa kunskapsresultat uttalanden och reproduktioner från andra brist på egna reflektioner om lärande fångar textens fokus eller syfte underliggande motiv eller relaterar till och vidgar uppgiften insikt och relationer mellan fakta och påstående förslag på alternativa lösningar diskuterar problem utifrån litteraturen skapar intern återkoppling, tankar och reflektioner känslor av self-efficacy (tro på egen förmåga) eftersträvar och hanterar meningen i kamratresponserna utvärderar olika nivåer av förståelse och strategier förmåga att söka stöd FS, feedback på personlig innehåller lite uppgiftsrelaterad information nivå omvandlas sällan till mer engagemang i lärandet Figur N=3 (1 4: Summering kurs 1, 2 kurs av 2) de fyra nivåerna förbättrar i feedbackprocessen inte ofta den personliga online värderingen (N=199). utvecklar undantagsvis kritisk förmåga

Forskningsresultat Resultaten av analyserna visar att; a) kombinationen av vad studenterna gör tillsammans med kursuppgifterna och b) det ansvar och de roller studenterna engagerar sig i som medförfattare och medaktör samt c) den interaktiva strukturen, som ligger till grund för att ge/få och ta till sig kamratrespons och självvärdera, är ett mellansteg till självvärdering och ger en potential att utveckla och utvidga utrymmet för lärande. Emellertid saknade hälften av studenterna i kurs 1 reflektioner över de egna kamratresponserna i självvärderingen. De innehöll återupprepningar om vad de redan hade beskrivit. Kanske de var osäkra på hur de skulle självvärdera dem eller på vilket sätt de skulle kvalificera innehållet och/eller hade de låga känslor av selfefficacy (tro på egen förmåga att utföra kursen/utbildningen på ett framgångsrikt sätt). I kurs 2 hade majoriteten av studenterna (82 %) självvärderat egna och andras kamratresponser med didaktiska förslag och jämfört dem med sina egna, men det finns en hel del reproduktioner och brist på egna reflektioner. De hade svårt att identifiera styrkor och svagheter i sitt arbete och reflektera över och värdera sitt lärande.

Implikationer Slutsatser som kan dras av studien är att kunna ge och ta till sig ändamålsenlig och relevant kamratrespons och självvärdera sitt lärande är mångfacetterat och måste tränas och integreras i kursupplägget. För det första kan kombinationen av kamratrespons och självvärdering med fördel användas som ett lärande redskap för formativa ändamål genom att lärprocessen granskas och främjar progressionen av kritisk förmåga och meningsfullt lärande. För det andra bidrar feedbackprocesserna till ökad delaktighet genom att studenter och lärare arbetar tillsammans och skapar en ömsesidig förståelse för kursmålen och genomförandet av kursuppgifterna. För det tredje blir studenterna medlärare och denna rollförändring ger dem insikter i sambedömning, medan lärare får mer tid till att följa och coacha lärprocesserna genom feed up, feed back och feed forward och för den slutliga summativa bedömningen. För det fjärde kan lärare dra nytta av meningsinnehållet i studenternas kamratresponser och självvärderingar som en resurs i sin återkoppling och för en kalibrerad bedömning, men också att justera och förbättra undervisningsaktiviteterna, såväl på campus som i den nätbaserade lärgemenskapen.

Referenser Adams, Carl & King, Karen (1995). Towards a Framework for Student Self-Assessment. Innovations in Education & Training International 32 (4), 336-343. De Wever, B., Schellens, T., Valcke, M., & Van Keer, H. (2006). Content analysis schemes to analyze transcripts of online asynchronous discussion groups: A review. Computers & Education, 46 (1), 6-28. Dochy, F., Segers, M., & Sluijsmans, D. (1999). The use of self-, peer- and co-assessment in higher education: a review. Studies in Higher Education, 24 (3), 331-350. Dysthe, Olga, Hertzberg, Frøjdis & Løkensgard Hoel, Torlaug (2011). Skriva för att lära: skrivande i högre utbildning. Lund: Studentlitteratur. (2:a uppl.) Hattie, John & Timperley, Helen (2007). The Power of Feedback. Educational Research. Vol. 77, No. 1, pp. 81 11. Kneupper, Charles W. (1978). Teaching Argument: An Introduction to the Toulmin Model. College Composition and Communication, 29 (3), 237-241. Kostons, Danny, van Gog, Tamara, & Paas, Fred (2010). Self-assessment and task selection in learner-controlled instruction: Differences between effective and ineffective learners. Computers & Education(54), 932-940. Simon, Shirley, Erduran, Sibel & Osborne, Jonathan (2006). Learning to Teach Argumentation: Research and development in the science classroom. International Journal of Science Education, 28 (2-3), 235-260. Toulmin, Stephen E. (1958). The uses of argument. Cambridge, England: Cambridge University Press. van der Pol, J., van den Berg, B.A.M., Admiraal, W.F. & Simons, P.R.J. (2008). The nature, reception, and use of online peer feedback in higher education. Computers & Education, 51(4), 1804-1817.