Maria Eklund Heinonen Konferanse om prosessbarhetsteori Høgskolen i Østfold 11-12 april 2013 maria.eklund.heinonen@sh.se Grammatical competence in an oral language test Processability theory applied to oral assessment
Disposition Theoretical background Processability theory (PT) Communicative Language Ability Data and methodology Resultats of the main study The follow-up study Test-takers with a deviant pattern The oral test as a conversation
The purpose of the study The correlation between the grammatical ability and the result on an oral language test Does the grammatical development differ between the two groups in terms of different developmental stages? Does the test-takers ability to process certain grammatical structures have any relevance to their overall test result? Is there a correlation between grammatical ability and communicative language ability in general? Is PT applicable in oral testing?
Theoretical background Bridge the gap between linguistic theories of SLA and theories of language testing Processability theory (PT, Pienemann 1998, 2005) Communicative Language Ability (Bachmann & Palmer 1996)
PT hierarchy (Pienemann & Håkansson, 1999:392) Order of development Procedures 1 2 3 4 5 Subordinate clause procedure - - - - + S-procedure - - - + + Phrasal procedure - - + + + Category procedure Word or lemma access - + + + + + + + + +
PT-hierarchy for Swedish morphosyntax (from Pienemann & Håkansson, 1999) 1. Word or lemma access: single constituents, memorized chunks 2. Cathegory procedure, lexical morphemes: e.g. plural on nouns, canonical word order (SV+ADV) Två flicka, jag kommer imorgon 3. Phrasal procedure: Attributive agreement, topicalized adverb without inversion (ADV+ SV) ett gult hus, sen ja åkte hem 4. Interphrasal information: predicative agreement, subject-verb inversion (ADV + VS) huset är gult, nu studerar jag 5. Main and subordinate clause: cancel inversion, preverbal negation in subordinate clause dom som inte kastade sten
Communicative Language Ability (Bachman & Palmer 1996, Lindberg 1997) Organizational knowledge Pragmatic knowledge Grammatical knowledge Textual knowledge Functional knowledge Sociolinguistic knowledge Phonology Vocabulary Syntax Knowledge of cohesion Rethorical organization Idealtional, manipulative, heuristic, imaginative functions Strategic kompetence Knowledge of dialects, registers, idiomatic expressions, cultural references etc.
Tisus Test in Swedish for University Studies Reading comprehension test Written test Oral test Sports and society Health and illness Environment and climate
Rating criteria Functions Language ability Describe and narrate Pronunciation Investigate and analyze Argue and speculate Vocabulary Grammar
Material 1999 2002, 148 66 recordings Passed:115 Failed: 33 Sample 33
Analyses criteria Emergence criterion the first systematic use Accuracy measures 50 % accuracy 80 % accuracy
Analyses Morphology Attributive agreement (level 3) Ett gul-t hus Predicative agreement (level 4) Hus-en är gul-a Syntax Topicalization without inversion (level 3) Imorgon jag kommer Topicalization with inversion (level 4) Imorgon kommer jag Preverbal negation in subordinate clause (level 5) Hon som inte kommer imorgon Morfologi och syntax
Table 1:, Morphology and syntax: emergence criterion (U = fail, G = pass, / = no contexts) PT-nivå 1 2 3 4 5 PT-nivå 1 2 3 4 5 Testtagare Testtagare U2 + + + + G7 + + + + U6 + + + + G15 + + + + U8 + + + + G18 + + + + U9 + + + + G25 + + + + U10 + + + + G26 + + + + U16 + + + + G31 + + + + U17 + + + + G6 + + + + / U20 + + + + G10 + + + + / U21 + + + + G11 + + + + / U27 + + + + G22 + + + + / U29 + + + + G1 + + + + + U30 + + + + G2 + + + + + U31 + + + + G3 + + + + + U32 + + + + G4 + + + + + U33 + + + + G5 + + + + + U11 + + + + / G8 + + + + + U14 + + + + / G9 + + + + + U15 + + + + / G12 + + + + + U22 + + + + / G13 + + + + + U23 + + + + / G14 + + + + + U24 + + + + / G16 + + + + + U26 + + + + / G17 + + + + + U28 + + + + / G19 + + + + + U1 + + + + + G20 + + + + + U3 + + + + + G21 + + + + + U4 + + + + + G23 + + + + + U5 + + + + + G24 + + + + + U7 + + + + + G27 + + + + + U12 + + + + + G28 + + + + + U13 + + + + + G29 + + + + + U18 + + + + + G30 + + + + + U19 + + + + + G32 + + + + + U25 + + + + + G33 + + + + +
Table 2: Morphology and syntax: 50 % accuracy (U = fail, G = pass, / = no context, ( ) = few contexts) PT-nivå 1 2 3 4 5 PT-nivå 1 2 3 4 5 Testtagare Testtagare U9 + + + G5 + + + U13 + + + G7 + + + + U17 + + + G15 + + + + U18 + + + G20 + + + + U19 + + + G26 + + + + U20 + + + G27 + + + + U29 + + + G31 + + + + U30 + + + G18 + + + + ( ) U31 + + + G25 + + + + ( ) U32 + + + G6 + + + + / U16 + + + ( ) G10 + + + + / U11 + + + / G11 + + + + / U14 + + + / G22 + + + + / U15 + + + / G12 + + + (+) U22 + + + / G9 + + + + U23 + + + / G23 + + + + (+) U24 + + + / G1 + + + + + U3 + + + + G2 + + + + + U5 + + + + G3 + + + + + U6 + + + + G4 + + + + + U7 + + + + G8 + + + + + U8 + + + + G13 + + + + + U10 + + + + G14 + + + + + U25 + + + + G16 + + + + + U27 + + + + G17 + + + + + U33 + + + + G19 + + + + + U2 + + + + ( ) G21 + + + + + U21 + + + + ( ) G24 + + + + + U26 + + + + / G28 + + + + + U28 + + + + / G29 + + + + + U1 + + + + (+) G30 + + + + + U4 + + + + + G32 + + + + + U12 + + + + + G33 + + + + +
Table 3: Morphology and syntax: 80 % accuracy (U = fail, G = pass, / = no context, ( ) = few contexts) PT-nivå 1 2 3 4 5 PT-nivå 1 2 3 4 5 Testtagare Testtagare U3 + + + G5 + + + U4 + + + G9 + + + U5 + + + G10 + + + / U6 + + + G11 + + + / U7 + + + G1 + + + + U8 + + + G3 + + + + U9 + + + G4 + + + + U10 + + + G7 + + + + U12 + + + G14 + + + + U13 + + + G15 + + + + U17 + + + G19 + + + + U18 + + + G20 + + + + U19 + + + G21 + + + + U20 + + + G26 + + + + U25 + + + G27 + + + + U27 + + + G30 + + + + U29 + + + G31 + + + + U30 + + + G32 + + + + U31 + + + G18 + + + + ( ) U32 + + + G25 + + + + ( ) U33 + + + G6 + + + + / U16 + + + ( ) G22 + + + + / U21 + + + ( ) G12 + + + (+) U11 + + + / G8 + + + + U14 + + + / G33 + + + + U15 + + + / G23 + + + + (+) U22 + + + / G2 + + + + + U23 + + + / G13 + + + + + U24 + + + / G16 + + + + + U26 + + + / G17 + + + + + U28 + + + / G24 + + + + + U2 + + + + ( ) G28 + + + + + U1 + + + (+) G29 + + + + +
Results Passed the test: PT level 4 (26/33) Predicative agreement Varg-ar e farlig-a Wolf-PL are dagerous-pl wolves are dangerous Subject-verb inversion till slut skrev hon inte alls finally wrote she not at all finally she did not write at all
Results Failed the test: PT level 3 (32/33) Attributive agreement Vuxn-a människ-or Adult-PL people-pl Adult people No predicative agreement *Varg-ar e farlig_ Wolf-PL are dangerous-sg wolves are dangerous No subject-verb inversion *sen jag gick hem then I went home
Conclusions There is a correlation between PT-level and test result The ability to process grammatical information correlates with the communcative language ability in general The results support PT and indicate that PT can be applied in the oral test
Follow-up study Test-takers who deviate from the pattern of results Focus study of two conversations with a deviant pattern Same test occasion Same topical theme Deviated the most What other factors contributed to their test results? Why did Ursula fail despite a high PT level? Why did George pass despite a lower PT level?
Test conversation as institutional talk Between a professional and a client Similar to traditional classroom interaction The test leader is in control Introduces and concludes topics Structure of three turns (question answer evalutation) Double communicative role Client in an institutional conversation debater (argues and initiates) Clear structure (phases and topics)
Example 1:Ursula 1 B: kan du ge exempel sådär på nåt land som du tycker bryter mycket mot / dom här grundläggande reglerna 2 U: bryta? 3 B: jaa 4 U: // ja ehm / ja har inte / s- särskilt tittat på ett- / ett land 5 B: näe 6 U: men dom kan uppfylla / de var bara / att de fanns / många olika levnadsvillkör som alla människor måste leva under 7 B: mm
Example 2: Ursula 1 U: ja / de finns eh / orsakerna kan ligger att ehm / de fanns fattig de finns fattigdom och ut- underutvecklingen i dom- / i dom tredje vä- tredje eh / världeländerna 2 B: mhm 3 U: och eh / dom var kolonier / och / varoch dom exploiteras / och eh / nu försöker man / eh / genom- / nu äh- / FN försöker nu att eh / komma underfund en lösning för att / skapa bättre liv / en bättre levnadsstandard / eum / till dom / och så eh var de en nyck ett nyckelord / eum / underveg- under- ja kommer inte ihåg de nu / underentveckutveck[lings]stöd 4 B: [jhha] mm
Example 3: Ursula 1 B: men hur skulle man då kunna till exempel argumentera mot- de finns nån som också talar om / va e re lika lön för lika arbete / e de en- en artikel som du skulle då kunna tänka dig att / argumentera emot därför att den e omöjlig att uppfylla 2 U: pratar ni om TCO nu? 3 B: nej / *ja pratar om dom mänskliga rättigheterna* 4 U: SKRATTAR 5 B: de finns en artikel där som säger att alla bör ha lika lön om ar- gör samma arbete 6 U: jaja ja
Example 4: Ursula 1 I: mm // man kan ju fråga- / man kan ju liksom undra å spekulera i hu- om vi nu ser på att de e såna här problem / har FN nån möjlighet att b- att / bestraffa / dom som bryter mot dom mänskliga rättigheterna / ska dom ha nån möjlighet att bestraffa 2 U: dom ja s- / ja tror om man tar exemplet av Pinochet / [så] har dom 3 I: [ja] 4 U: ingen- / ingen möjlen[het] / dom kan 5 I: [jha] 6 U: bara / ja godkännar att- /att eh dom s- spanska / skulle vilja ha Pinochet [tillbaka] för eh en / rättegång 7 I: [mm]
Questionnaire Narrate Describe Investigate How are violations against the human rights prosecuted? Argue Speculate
Example 5: Samtal med George 1 I: va kan- va kan va kan man göra / va finns de egentligen för eh reella möjligheter å [å] / va ska ja säga bestraffa dom som 2 G: [oj] 3 I: som inte följer dom här deklarationerna / som bryter mot / mot- 4 G: jamen de e bra fråga ja e inte säkert vad ska hända om dom / inte följer de men eh-/ 5 I: kan FN göra nånting 6 G: SUCKAR jamen de ähh / vilken debatt den / men ja ja tror att dom eh- / nu kan dom inte göra n- / inte så mycke 7 I: mm 8 G: ja tror att vi har / eeh världen har sett va dom inte har gjort med Irak / och eh- / vad dom har bestämt att inte göra med Kosovo /...
Example 6: George 1 G: ja tror de e en bra organisation / [på] 2 I: [jaa] 3 G: ungefär / etthundraåtti plus medlem / eeh / även om dom har börjat med / mycke mindre / femti år sedan / ja tror att de e viktig att eum // dom måste har eh / godkänd av eh / ja säger / säkerhet council 4 I: rådet [säkerhetsrådet] 5 G: [precis] de finns ungefär fem sex länder på den / och alla måste / hålla med
Example 7: George 1 I: [men hur-] men [hur] ska FN 2 G: [hur] 3 I: kunna bli starkare om- om f- för de- för de du har pratat [om hittills de talar ju snarare för att-] 4 I:[ja tror att alla- dom starkares länder -] /nu det finns fem eller sex ska vä- kanske växa till åtta eller nie därför att de finns a- andra länder that vill / bli / emellan nånting / säkerhetsrådet / [a-]
Example 8: George 1 I: jaha du / de ä 2 G: mm 3 I: / mycke man kan *spekulera i de där* man önskar att de [x x x x] 4 G: [men va tycker] ni skulle hända till Kosovo 5 I: // [ja ja önskar att-] 6 G: [vad tycker ni vara] lö- / va- huhur kan vi lösa problem 7 I: att allting va slut *redan höll ja [på å säga* att de va-] att de aldrig 8 G: [*att allting va slut*] 9 I: hade hänt
Conversation with Ursula Traditional classroom interaction question-answer-evaluation Follows the questionnaire Interruptions pauses repairs misunderstandings
Conversation with George Genuine, engaged debate Freer from the questionnaire Own initiatives Faster and smoother rhythm
Pedagogical implications Strategies to take and keep the floor in a conversation Fill out pauses with suitable phrases
Referenser Bachman, L. & Palmer, A. 1996: Language testing in practice. Oxford. Håkansson, G. & Pienemann, M. 1999: A unified approach towards the development of Swedish as L2: A processability account. I: Studies in second language acquisition 21. 383 420. Lindberg, I. 1997: Lärarhandledning. Nationellt prov för sfi: 3. Skolverket. Pienemann, M. 1998: Language processing and second language development: Processability theory. Amsterdam Pienemann, M. 2005: Cross-linguistic aspects of processability theory. Amsterdam. Spolsky, B. 1985: The limits of authenticity in language testing. I: Language testing 2 (1). S. 31-40. Van Lier, L. Reeling, writhing, drawling, stretching and fainting in coils: Oral proficiency interviews as conversation. I: TESOL Quarterly 23. S. 480 508.
Transkriptionsnyckel [ överlappning börjar ] överlappning slutar xxx ohörbart avsnitt (ett x = ett ord) men sägs med emfas me- avbrutet tal / kortare paus // längre paus --- utelämnade delar SKRATTAR talaren skattar SKRATT alla skrattar