Muntliga prov i svenska och bedömningen av dem

Transkript

1 Muntliga prov i svenska och bedömningen av dem Liisa Suomela, Niina Elf, Sivi Lindroos och Outi Hakola Institutionen för nordiska språk och nordisk litteratur, HU

2 Flyt en jämförelse mellan två par Liisa Suomela Institutionen för nordiska språk och nordisk litteratur, HU

3 Forskning kring flyt Flyt är ett mångfasetterat begrepp Stor variation mellan definitionerna Frågan om icke-flyt Olika syn på vad som utgör flyt Bedömning av flyt beroende av bedömares uppfattningar och omdöme Liisa Suomela, Flyt - en jämförelse mellan två par

4 Mitt syfte I pro gradu-avhandlingen Undersökning av flyt hos en grupp gymnasister Jämförelse mellan bedömningar av flyt Vad utgör flyt hos mina informanter? I dag En kvalitativ jämförelse Vad finns det för skillnader mellan paren i genomförandet av uppgiften Diskutera fritt varandras hobbyer? Liisa Suomela, Flyt - en jämförelse mellan två par

5 Bedömning av flyt inom HY-TALK (1/2) Tabell 1: De genomsnittliga betygen i flyt Nivåskalan för språkfärdigheter A1.1 C1.1 Skalan 1 10 Evaluerare 1 Evaluerare 2 Evaluerare 3 Evaluerare 4 Medeltal Paula A2.2 5,0 B1.1 6,0 B1.2 7,2 B1.1 5,8 B1.1 6,0 Oona A2.1 4,2 A2.1 4,2 B1.2 6,6 A2.1 4,0 A2.2 4,8 Saila A2.1 4,0 A2.1 3,8 B1.2 7,2 A2.1 3,6 A2.2 4,7 Lauri A1.3 3,0 A1.3 3,0 B1.2 7,4 A1.3 3,4 A2.1 4,2 Liisa Suomela, Flyt - en jämförelse mellan två par

6 Bedömning av flyt inom HY-TALK (2/2) Tabell 2: De genomsnittliga betygen i flyt i uppgiften: Diskutera fritt varandras hobbyer Jämförelse med helhetsbedömningen Medeltal Helhetsbedömning Paula B1.1 6,3 B1.1 6,0 Oona A2.2 4,8 A2.2 4,8 Saila A2.2 4,8 A2.2 5,0 Lauri A2.1 4,0 A2.2 4,8 Liisa Suomela, Flyt - en jämförelse mellan två par

7 Genomförandet av uppgiften Tabell 3: Genomförandet av uppgiften i siffror Paula och Oona Saila och Lauri Längd Icke-fyllda pauser Tempo (ord/min) Liisa Suomela, Flyt - en jämförelse mellan två par

8 Icke-fyllda pauser: Par 1 Ordsökning Ex1: ja tar (.) sjungklasser Ex2: ja har inte tid att göra mina läxor elle: läsa (.) till provet? Självreparation Ex3: ja ha: (.) ja gör alltid va ja vill Turkonstruktionsenhet Ex4: ja vet inte ännu (.) vi måste (.) titta Ex5: saker som ja måste göra men: (.) när ja: har tid ja: Liisa Suomela, Flyt - en jämförelse mellan två par

9 Icke-fyllda pauser: Par 2 Ordsökningar Ex6: mm vilken (.) hoppar har du Ex7: ja kan: öö (.) mm ja kan: öö REST mej själv Självreparation Ex8: dä: jag (.) när jag jogga Turkonstruktionsenhet Ex9: ja gå gym (.) å du Liisa Suomela, Flyt - en jämförelse mellan två par

10 Jämförelse: flyt och icke-flyt Par 1 Flera självreparationer Flera icke-fyllda pauser mellan TKE Par 2 Större andel av pauser består av ordsökningar Pauser som består av ordsökningar flera i tal som bedöms som icke-flytande Förmågan att kunna reparera sig själv hör till flytande tal Liisa Suomela, Flyt - en jämförelse mellan två par

11 Muntliga prov i svenska och bedömningen av dem Liisa Suomela, Niina Elf, Sivi Lindroos och Outi Hakola Institutionen för nordiska språk och nordisk litteratur, HU

12 Bedömarattityder Sivi Lindroos Institutionen för nordiska språk och nordisk litteratur

13 Hur förhåller sig bedömarna till nivåskalan för språkfärdigheter? I pro gradu-avhandlingen: Bedömarnas attityder till den CEF-baserade nivåskalan för språkkunskaper. Mina forskningsfrågor är följande: Hur upplever en grupp lärare bedömningen av elevernas muntliga språkkunskaper enligt nivåskalan? Hurdan är reliabiliteten mellan lärarna i bedömningen enligt nivåskalan? Sivi Lindroos, Bedömarattityder

14 Hur förhåller sig bedömarna till nivåskalan för språkfärdigheter? Idag: Bedömarnas åsikter om nivåskalan. Bedömningsresultaten med tanke på reliabiliteten. Sivi Lindroos, Bedömarattityder

15 Den teoretiska referensramen I performansbaserad bedömning samverkar bedömaren med skalan, poängen, utförandet, uppgifterna och den bedömda (McNamara 1996: 9). Bachman & Palmer (1996): Kriterier för ett användbart test: Reliabilitet Begreppsvaliditet Autenticitet Interaktivitet Inverkan Användbarhet Sivi Lindroos, Bedömarattityder

16 Forskningsfråga 1: Bedömarattityder I personliga intervjuer nämnde de fyra bedömarna både positiva och negativa saker i bedömningen. Kommentarna gällde både bedömningen av muntliga språkfärdigheter allmänt och användningen av nivåskalan. Sivi Lindroos, Bedömarattityder

17 Forskningsfråga 1: Bedömarattityder Positivt: Skalan synliggör nyanserna i talat språk Bedömningen är kriteriebaserad, inte normbaserad Skalan gör det enklare för bedömaren att motivera och ge deltagaren respons Skalan gör bedömningen mera valid och objektivare Ett exempel: Det har nog åtminstone hjälpt mig väldigt mycket. Jag tycker att nu är det mycket enklare att motivera varför man bedömer på ett visst sätt, och kunna visa och ge respons samt motivera varför det blev på ett visst sätt. Sivi Lindroos, Bedömarattityder

18 Forskningsfråga 1: Bedömarattityder Utmaningar: Skalan är inte enkel att lära sig eller använda Beskrivningarna är för grova och svåra att tillämpa Skalan beaktar inte att en provsituation inte är en autentisk situation, utan kommunikativt onaturlig och olik än I det verkliga livet Ett exempel: När folk sitter och tittar på dig när du ska prata, så har det inte riktigt med kommunikation att göra, det är mera att uppträda. Det är en annan genre och det beaktas inte av kriterierna.... Jag tror inte riktigt på det helt och hållet, att det mäter det det ska mäta. Sivi Lindroos, Bedömarattityder

19 Forskningsfråga 2: Reliabilitet mellan bedömarna Inter-rater reliability Reliabiliteten var bra, och det fanns inte stora skillnader i bedömningen Bedömare nr 3 skilde sig från de andra Sivi Lindroos, Bedömarattityder

20 Forskningsfråga 2: Reliabilitet mellan bedömarna Tabell 1. Helhetsbedömningen, alla övningar Student Bedömare 1 Bedömare 2 Bedömare 3 Bedömare 4 Paula A ,0 B1.1 6,0 B1.2 7,0 B1.1 6,0 Oona A2.1 4,0 A2.1 4,0 B1.2 7,0 A2.1 4,0 Saila A2.1-4,0 A2.1 4,0 B2.1 8,0 A2.1 4,0 Lauri A1.3 3,0 A1.3 3,0 B2.2 9,0 A2.1 4,0 Sivi Lindroos, Bedömarattityder

21 Slutsats Bedömningen av muntliga språkfärdigheter är en komplicerad och tidskrävande process. Kriteriebaserad bedömning gör bedömningen enhetligare och objektivare. Bedömarna kritiserade skalan men bedömningen var ändå ganska enhetlig. Ordentlig utbildning krävs för att nivåskalan ska bli mera känd på fältet. Sivi Lindroos, Bedömarattityder

22 Muntliga prov i svenska och bedömningen av dem Liisa Suomela, Niina Elf, Sivi Lindroos, Outi Hakola Institutionen för nordiska språk och nordisk litteratur, Nordica, HU

23 Helhetsbedömning och självbedömning av muntlig färdighet Outi Hakola Helsingfors universitet Institutionen för nordiska språk och nordisk litteratur, Nordica, HU

24 Helhetsbedömning och självbedömning av muntlig färdighet Pro gradu-avhandling: Hur bedömer en professionell bedömargrupp muntlig språkfärdighet hos en grupp gymnasister med svenska som A-språk? Hur bedömer gymnasisterna själva sin muntliga språkfärdighet? Hur korrelerar bedömningen med gymnasisternas senaste skolvitsord och med de finska läroplansgrunderna? Outi Hakola, Institutionen för nordiska språk och nordisk litteratur, HU 02/09/

25 Helhetsbedömning och självbedömning av muntlig färdighet I dag: Vad betyder bedömning av andra och självbedömning? Hur ser helhetsbedömningen, självbedömningarna och de senaste vitsorden ut? Jämförelse mellan helhetsbedömningen, självbedömningen och gymnasisternas senaste vitsord i svenska. Outi Hakola, Institutionen för nordiska språk och nordisk litteratur, HU 02/09/

26 Helhetsbedömning och självbedömning av muntlig färdighet Bedömning av andra: Bedömning som görs av en lärare, en person som tar emot examen eller studiekamrat. Fungerar som ett pålitligt bevis på inlärarens kunskaper (ett prov, en examen). Självbedömning: Bedömning som inläraren gör själv. Fungerar som ett verktyg för motivation och medveten inlärning. Hjälper inläraren att se egna styrkor och svagheter. Outi Hakola, Institutionen för nordiska språk och nordisk litteratur, HU 02/09/

27 Läroplansgrunderna för den grundläggande utbildningen och den europeiska referensramen (CEF) I de finska läroplansgrunderna tillämpas nivåskalan från den europeiska referensramen (CEF) CEF innehåller 6 nivåer för språkliga kunskaper Nivåskalan för språkfärdigheter i läroplansgrunderna innehåller 10 nivåer I slutet av grundskolan är eleven som får vitsordet 8 i tal på nivå A2.1 (den grundläggande språkfärdighetens begynnelseskede) enligt den finska modellen av referensramen Outi Hakola, Institutionen för nordiska språk och nordisk litteratur, HU 02/09/

28 A2.1 Den grundläggande språkfärdighetens begynnelseskede Kan med korta satser berätta om sin närmaste krets. Reder sig i enkelt umgänge och i de vanligaste servicesituationerna. Kan inleda och avsluta en kort dialog men sällan själv uppehålla en längre diskussion. Vissa bekanta avsnitt är flytande, men det förekommer många uppenbara pauser och felaktiga inledningar i talet. Uttalet är förståeligt trots att den främmande accenten är mycket uppenbar och trots att det felaktiga uttalet kan vålla enstaka problem med förståelsen. Behärskar det lätt förutsägbara basordförrådet och många av de viktigaste strukturerna (såsom konjunktioner och tempusformer i förfluten tid). Behärskar i fritt tal den allra enklaste grammatiken på elementär nivå, men fortfarande förekommer det många fel även i språkets grundstrukturer Outi Hakola, Institutionen för nordiska språk och nordisk litteratur, HU 02/09/

29 Medeltalet i helhetsbedömningen Tabell 2. Medeltalet i helhetsbedömningen samt självbedömningen och det senaste helhetsvitsordet i svenska Student Medeltalet av alla övningar Självbedömning Vitsord Paula B1.1 6,0 (ca. 9 i skolvitsord) C1 (ca.10 i skolvitsord) 9 Oona A2.2 4,8 (ca.8) B1 (ca. 9) 9 Saila A2.2 5,0 (ca.8) B1 (ca. 9) 7 Lauri A2.2 4,8 (ca.8) B1 (ca. 9) 7 Outi Hakola, Institutionen för nordiska språk och nordisk litteratur, HU 02/09/

30 Sammanfattning Bedömning av muntlig färdighet är en mycket krävande form av bedömning Självbedömning kan och bör användas som stöd för bedömningen som läraren gör - Inläraren kan betrakta sina styrkor och svagheter - Motiverar inläraren att utveckla sina kunskaper - Ger möjlighet att tänka på sin egen inlärning - Inläraren får viktig information om sin egen inlärning Proven borde innehålla både styrda och icke-styrda delar för att man ska kunna bedöma muntlig färdighet som helhet Outi Hakola, Institutionen för nordiska språk och nordisk litteratur, HU 02/09/