Muntliga prov i svenska och bedömningen av dem Liisa Suomela, Niina Elf, Sivi Lindroos och Outi Hakola Institutionen för nordiska språk och nordisk litteratur, HU
Flyt en jämförelse mellan två par Liisa Suomela 16.5.2008 Institutionen för nordiska språk och nordisk litteratur, HU
Forskning kring flyt Flyt är ett mångfasetterat begrepp Stor variation mellan definitionerna Frågan om icke-flyt Olika syn på vad som utgör flyt Bedömning av flyt beroende av bedömares uppfattningar och omdöme Liisa Suomela, Flyt - en jämförelse mellan två par 16.05.2008 3
Mitt syfte I pro gradu-avhandlingen Undersökning av flyt hos en grupp gymnasister Jämförelse mellan bedömningar av flyt Vad utgör flyt hos mina informanter? I dag En kvalitativ jämförelse Vad finns det för skillnader mellan paren i genomförandet av uppgiften Diskutera fritt varandras hobbyer? Liisa Suomela, Flyt - en jämförelse mellan två par 16.05.2008 4
Bedömning av flyt inom HY-TALK (1/2) Tabell 1: De genomsnittliga betygen i flyt Nivåskalan för språkfärdigheter A1.1 C1.1 Skalan 1 10 Evaluerare 1 Evaluerare 2 Evaluerare 3 Evaluerare 4 Medeltal Paula A2.2 5,0 B1.1 6,0 B1.2 7,2 B1.1 5,8 B1.1 6,0 Oona A2.1 4,2 A2.1 4,2 B1.2 6,6 A2.1 4,0 A2.2 4,8 Saila A2.1 4,0 A2.1 3,8 B1.2 7,2 A2.1 3,6 A2.2 4,7 Lauri A1.3 3,0 A1.3 3,0 B1.2 7,4 A1.3 3,4 A2.1 4,2 Liisa Suomela, Flyt - en jämförelse mellan två par 16.05.2008 5
Bedömning av flyt inom HY-TALK (2/2) Tabell 2: De genomsnittliga betygen i flyt i uppgiften: Diskutera fritt varandras hobbyer Jämförelse med helhetsbedömningen Medeltal Helhetsbedömning Paula B1.1 6,3 B1.1 6,0 Oona A2.2 4,8 A2.2 4,8 Saila A2.2 4,8 A2.2 5,0 Lauri A2.1 4,0 A2.2 4,8 Liisa Suomela, Flyt - en jämförelse mellan två par 16.05.2008 6
Genomförandet av uppgiften Tabell 3: Genomförandet av uppgiften i siffror Paula och Oona Saila och Lauri Längd 3 34 2 18 Icke-fyllda pauser Tempo (ord/min) 38 54 92 70 Liisa Suomela, Flyt - en jämförelse mellan två par 16.05.2008 7
Icke-fyllda pauser: Par 1 Ordsökning Ex1: ja tar (.) sjungklasser Ex2: ja har inte tid att göra mina läxor elle: läsa (.) till provet? Självreparation Ex3: ja ha: (.) ja gör alltid va ja vill Turkonstruktionsenhet Ex4: ja vet inte ännu (.) vi måste (.) titta Ex5: saker som ja måste göra men: (.) när ja: har tid ja: Liisa Suomela, Flyt - en jämförelse mellan två par 16.05.2008 8
Icke-fyllda pauser: Par 2 Ordsökningar Ex6: mm vilken (.) hoppar har du Ex7: ja kan: öö (.) mm ja kan: öö REST mej själv Självreparation Ex8: dä: jag (.) när jag jogga Turkonstruktionsenhet Ex9: ja gå gym (.) å du Liisa Suomela, Flyt - en jämförelse mellan två par 16.05.2008 9
Jämförelse: flyt och icke-flyt Par 1 Flera självreparationer Flera icke-fyllda pauser mellan TKE Par 2 Större andel av pauser består av ordsökningar Pauser som består av ordsökningar flera i tal som bedöms som icke-flytande Förmågan att kunna reparera sig själv hör till flytande tal Liisa Suomela, Flyt - en jämförelse mellan två par 16.05.2008 10
Muntliga prov i svenska och bedömningen av dem Liisa Suomela, Niina Elf, Sivi Lindroos och Outi Hakola Institutionen för nordiska språk och nordisk litteratur, HU
Bedömarattityder Sivi Lindroos 16.5 2008 Institutionen för nordiska språk och nordisk litteratur
Hur förhåller sig bedömarna till nivåskalan för språkfärdigheter? I pro gradu-avhandlingen: Bedömarnas attityder till den CEF-baserade nivåskalan för språkkunskaper. Mina forskningsfrågor är följande: Hur upplever en grupp lärare bedömningen av elevernas muntliga språkkunskaper enligt nivåskalan? Hurdan är reliabiliteten mellan lärarna i bedömningen enligt nivåskalan? Sivi Lindroos, Bedömarattityder 16.5 2008 13
Hur förhåller sig bedömarna till nivåskalan för språkfärdigheter? Idag: Bedömarnas åsikter om nivåskalan. Bedömningsresultaten med tanke på reliabiliteten. Sivi Lindroos, Bedömarattityder 16.5 2008 14
Den teoretiska referensramen I performansbaserad bedömning samverkar bedömaren med skalan, poängen, utförandet, uppgifterna och den bedömda (McNamara 1996: 9). Bachman & Palmer (1996): Kriterier för ett användbart test: Reliabilitet Begreppsvaliditet Autenticitet Interaktivitet Inverkan Användbarhet Sivi Lindroos, Bedömarattityder 16.5 2008 15
Forskningsfråga 1: Bedömarattityder I personliga intervjuer nämnde de fyra bedömarna både positiva och negativa saker i bedömningen. Kommentarna gällde både bedömningen av muntliga språkfärdigheter allmänt och användningen av nivåskalan. Sivi Lindroos, Bedömarattityder 16.5 2008 16
Forskningsfråga 1: Bedömarattityder Positivt: Skalan synliggör nyanserna i talat språk Bedömningen är kriteriebaserad, inte normbaserad Skalan gör det enklare för bedömaren att motivera och ge deltagaren respons Skalan gör bedömningen mera valid och objektivare Ett exempel: Det har nog åtminstone hjälpt mig väldigt mycket. Jag tycker att nu är det mycket enklare att motivera varför man bedömer på ett visst sätt, och kunna visa och ge respons samt motivera varför det blev på ett visst sätt. Sivi Lindroos, Bedömarattityder 16.5 2008 17
Forskningsfråga 1: Bedömarattityder Utmaningar: Skalan är inte enkel att lära sig eller använda Beskrivningarna är för grova och svåra att tillämpa Skalan beaktar inte att en provsituation inte är en autentisk situation, utan kommunikativt onaturlig och olik än I det verkliga livet Ett exempel: När folk sitter och tittar på dig när du ska prata, så har det inte riktigt med kommunikation att göra, det är mera att uppträda. Det är en annan genre och det beaktas inte av kriterierna.... Jag tror inte riktigt på det helt och hållet, att det mäter det det ska mäta. Sivi Lindroos, Bedömarattityder 16.5 2008 18
Forskningsfråga 2: Reliabilitet mellan bedömarna Inter-rater reliability Reliabiliteten var bra, och det fanns inte stora skillnader i bedömningen Bedömare nr 3 skilde sig från de andra Sivi Lindroos, Bedömarattityder 16.5 2008 19
Forskningsfråga 2: Reliabilitet mellan bedömarna Tabell 1. Helhetsbedömningen, alla övningar Student Bedömare 1 Bedömare 2 Bedömare 3 Bedömare 4 Paula A2.2++ 5,0 B1.1 6,0 B1.2 7,0 B1.1 6,0 Oona A2.1 4,0 A2.1 4,0 B1.2 7,0 A2.1 4,0 Saila A2.1-4,0 A2.1 4,0 B2.1 8,0 A2.1 4,0 Lauri A1.3 3,0 A1.3 3,0 B2.2 9,0 A2.1 4,0 Sivi Lindroos, Bedömarattityder 16.5 2008 20
Slutsats Bedömningen av muntliga språkfärdigheter är en komplicerad och tidskrävande process. Kriteriebaserad bedömning gör bedömningen enhetligare och objektivare. Bedömarna kritiserade skalan men bedömningen var ändå ganska enhetlig. Ordentlig utbildning krävs för att nivåskalan ska bli mera känd på fältet. Sivi Lindroos, Bedömarattityder 16.5 2008 21
Muntliga prov i svenska och bedömningen av dem Liisa Suomela, Niina Elf, Sivi Lindroos, Outi Hakola Institutionen för nordiska språk och nordisk litteratur, Nordica, HU
Helhetsbedömning och självbedömning av muntlig färdighet Outi Hakola Helsingfors universitet 16.5.2008 Institutionen för nordiska språk och nordisk litteratur, Nordica, HU
Helhetsbedömning och självbedömning av muntlig färdighet Pro gradu-avhandling: Hur bedömer en professionell bedömargrupp muntlig språkfärdighet hos en grupp gymnasister med svenska som A-språk? Hur bedömer gymnasisterna själva sin muntliga språkfärdighet? Hur korrelerar bedömningen med gymnasisternas senaste skolvitsord och med de finska läroplansgrunderna? Outi Hakola, Institutionen för nordiska språk och nordisk litteratur, HU 02/09/2009 24
Helhetsbedömning och självbedömning av muntlig färdighet I dag: Vad betyder bedömning av andra och självbedömning? Hur ser helhetsbedömningen, självbedömningarna och de senaste vitsorden ut? Jämförelse mellan helhetsbedömningen, självbedömningen och gymnasisternas senaste vitsord i svenska. Outi Hakola, Institutionen för nordiska språk och nordisk litteratur, HU 02/09/2009 25
Helhetsbedömning och självbedömning av muntlig färdighet Bedömning av andra: Bedömning som görs av en lärare, en person som tar emot examen eller studiekamrat. Fungerar som ett pålitligt bevis på inlärarens kunskaper (ett prov, en examen). Självbedömning: Bedömning som inläraren gör själv. Fungerar som ett verktyg för motivation och medveten inlärning. Hjälper inläraren att se egna styrkor och svagheter. Outi Hakola, Institutionen för nordiska språk och nordisk litteratur, HU 02/09/2009 26
Läroplansgrunderna för den grundläggande utbildningen och den europeiska referensramen (CEF) I de finska läroplansgrunderna tillämpas nivåskalan från den europeiska referensramen (CEF) CEF innehåller 6 nivåer för språkliga kunskaper Nivåskalan för språkfärdigheter i läroplansgrunderna innehåller 10 nivåer I slutet av grundskolan är eleven som får vitsordet 8 i tal på nivå A2.1 (den grundläggande språkfärdighetens begynnelseskede) enligt den finska modellen av referensramen Outi Hakola, Institutionen för nordiska språk och nordisk litteratur, HU 02/09/2009 27
A2.1 Den grundläggande språkfärdighetens begynnelseskede Kan med korta satser berätta om sin närmaste krets. Reder sig i enkelt umgänge och i de vanligaste servicesituationerna. Kan inleda och avsluta en kort dialog men sällan själv uppehålla en längre diskussion. Vissa bekanta avsnitt är flytande, men det förekommer många uppenbara pauser och felaktiga inledningar i talet. Uttalet är förståeligt trots att den främmande accenten är mycket uppenbar och trots att det felaktiga uttalet kan vålla enstaka problem med förståelsen. Behärskar det lätt förutsägbara basordförrådet och många av de viktigaste strukturerna (såsom konjunktioner och tempusformer i förfluten tid). Behärskar i fritt tal den allra enklaste grammatiken på elementär nivå, men fortfarande förekommer det många fel även i språkets grundstrukturer Outi Hakola, Institutionen för nordiska språk och nordisk litteratur, HU 02/09/2009 28
Medeltalet i helhetsbedömningen Tabell 2. Medeltalet i helhetsbedömningen samt självbedömningen och det senaste helhetsvitsordet i svenska Student Medeltalet av alla övningar Självbedömning Vitsord Paula B1.1 6,0 (ca. 9 i skolvitsord) C1 (ca.10 i skolvitsord) 9 Oona A2.2 4,8 (ca.8) B1 (ca. 9) 9 Saila A2.2 5,0 (ca.8) B1 (ca. 9) 7 Lauri A2.2 4,8 (ca.8) B1 (ca. 9) 7 Outi Hakola, Institutionen för nordiska språk och nordisk litteratur, HU 02/09/2009 29
Sammanfattning Bedömning av muntlig färdighet är en mycket krävande form av bedömning Självbedömning kan och bör användas som stöd för bedömningen som läraren gör - Inläraren kan betrakta sina styrkor och svagheter - Motiverar inläraren att utveckla sina kunskaper - Ger möjlighet att tänka på sin egen inlärning - Inläraren får viktig information om sin egen inlärning Proven borde innehålla både styrda och icke-styrda delar för att man ska kunna bedöma muntlig färdighet som helhet Outi Hakola, Institutionen för nordiska språk och nordisk litteratur, HU 02/09/2009 30