Studenter drillar Lärkas sång om hur studenter lär grammatik via korpusverktyget Lärka Håkan Jansson*, Therese Lindström Tiedemann**, Elena Volodina*** *Högskolan Väst, **Helsingfors universitet / Uppsala universitet, ***Göteborgs Universitet
Jag kollade Språkbankens korpus "Äldre svenska romaner" och hittade 13 förekomster av våran, så det verkar ha varit tämligen väletablerat. [Bloggmix 2008] TOKEN MSD LEMMA LEX SALDO DEP. HEAD Jag PN. UTR. SIN. DEF. SUB jag jag..pn.1 jag..1 2 SS DEP. REL kollade VB. PRT. AKT kolla Språkbankens PM. GEN kolla..vb.2, kolla..vb.1 kolla..2, kolla..1 Språkbanke n Språkbanken..pm.1 Språkbanken..1 10 MS 4 DT korpus NN. UTR. SIN. IND. NOM korpus korpus..nn.1 korpus..1, korpus..2, korpus..3, korpus..4, korpus..5 2 OO " PAD 4 IR Äldre JJ. KOM. UTR+NEU. SIN+PLU. IND+DEF. NOM gammal gammal..av.1 gammal..1 8 DT svenska JJ. POS. UTR+NEU. PLU. IND+DEF. NOM svensk svensk..av.1 svensk..1, svensk..3 8 AT romaner NN. UTR. PLU. IND. NOM roman roman..nn.1 roman..1 10 CJ " PAD 4 JR och KN och och..kn.1 och..1 ROOT hittade VB. PRT. AKT hitta hitta..vb.1 hitta..1 10 +F 13 RG. NOM 13 DT förekomster NN. UTR. PLU. IND. NOM förekomst förekomst..nn.1 förekomst..1 11 OO av PP av av..pp.1 av..1 13 ET våran PS. UTR. SIN. DEF vi vi..pn.1 vi..1 17 MS
Bakgrund Lärka Lär språket via KorpusAnalys 2011 2013, finansierad av NordPlus Sprog Syftet: återanvända NLP vertyg och resurser för svenska
Om Lärka ICALL plattform för L2 inlärare av svenska (CEFR-baserad) och Studenter i språkvetenskap ICALL Intelligent Computer-Assisted Language Learning Webb-baserad, fritillgänglig, ingen installation www.spraakbanken.gu.se/larka
Resurser Korp: verktyg för korpussökning Svenska korpusar, delvis manuellt annoterade Olika genrer: tidningstexter, romaner etc. Karp: verktyg för sökning inom lexikala resurser
Resurser Korp: korpus query vertyg Svenska korpusar, delvis manuellt annoterade Olika genrer: tidningstexter, romaner etc. Karp: verktyg för sökning inom lexikala resurser
Lexikonanvändning Indirekt, via annotering av källkorpusar för lemmatisering, ordklasstaggning, syntaktisk och semantisk annotering Saldo Svensk AssociationsLexikon som används som hub för alla Språkbankens lexikala resurser Direkt som referensmaterial under övningens gång Saldo morfologi, Wiktionary, text-till-tal modul Princip: bara fria resurser används
Ordkunskap Uttal Indirekt annotation syntaktiska funktioner e.g. semantiska roller Stavning Former: grundform vs böjning Användning: kontext och kombinationer Betydelse e.g. Wiktionary Direkt uppslag
Övningstyper Studenter inom språkvetenskap kan öva: Ordklasser Satsdelar Semantiska roller Övningar för L2-språkinlärare: Ordkunskap Ordböjning Stavningsövningar
Gemensamma drag i övningarna Övningsobjektet är en mening (en mening i taget) Flervalsformat (1 korrekt + 2-4 fel svarsalternativ) Resultatsamlare: uttal syntaktisk struktur ytterligare information
Gemensamma drag i övningarna Modes / lägen : självstudier (ändringar i efterhand är möjliga) diagnos test test på tid Tips (referensinformation): Saldo morfologi (böjningar) Wikipedia, Wiktionary Uttal med en talande huvud
Specifikt för språkvetare Diagnos- läget : Alla kategorier x 3 gånger Sammanställning Loggade svar Rekommendationer
Svarsstatistik: Sammanställning per kategori Alla meningar, svarsalternativ + valda alternativ Specifikt för språkvetare
Om terminologi i ordklassövningen Lexikala ord Funktionsord Adjektiv Adverb Substantiv Particip Verb Konjunktion Determinerare Räkneord (grundtal, ordningstal) Preposition (& verbpartiklar! ) Pronomen Subjunktion Adjektiv Adverb Substantiv Particip Verb Konjunktion Artikel Räkneord (grundtal, ordningstal) Preposition Pronomen Subjunktion Verbpartiklar Infinitivmärke Interjunktioner http://spraakbanken.gu.se/larka
Om terminologi i satsdelsövningen Finit verb Infinit verb Objekt (+ egentligt & formellt objekt) Indirekt objekt (dativobjekt) Subjekt Adverbial (+ prepositionsobjekt!) Predikativ Predikat Direkt objekt Objektiv infinitiv Indirekt objekt Subjekt, egentlig & formell subjekt Innehållsadverbial, satsadverbial Prepositionsobjekt Subjektiv & objektiv predikativ Agentadverbial Subjektiv infinitiv http://spraakbanken.gu.se/larka
Demo spraakbanken.gu.se/larka
Studier 2014-2015 Studie 1: Utvärdering GU-Uppsala, 2014 Studie 2: Högskolan Väst 2014-2015 http://spraakbanken.gu.se/larka
Studie 1
Utvärdering VT 2014 Statistisk del: Studentloggar, inkl. Session (ej namn), tid o. datum, övning, övningsläge Meningar, korpus POS/satsdel i fokus, svarsalternativ, svaren, poäng Användning av referensinformation (antal ikon-klickar), i.e. syntaktiska träd, Wikipedia, saldo lexikon, etc. Empirisk del: Online frågeformulär: http://goo.gl/qjb57c 45 svar: 19 från Uppsala, 26 från GU http://spraakbanken.gu.se/larka
Labbupplägg Intro/demo/prova-på tillsammans OBS! skillnader i terminologi Öva övningstyp i taget (ordklasser/satsdelar/sem. roller) Diagnos 1 (individuellt, men det uppstod diskussioner ibland) Självstudier (urval med de problematiska kategorierna) Självstudier/test/test på tid med alla områden Diagnos 2 (spara resultat, och skicka till läraren) Sammanfattning Vissa (svåra/motstridiga) exempel tillsammans på tavlan Uppmuntra att använda hemma på egen hand www.spraakbanken.gu.se/larka
Labbledaren Går runt, lyssnar, frågar och hjälper vid behov Hjälper studenter att resonera sig fram till svaren Hjälper till att diskutera motstridiga fall/skillnader i olika lingvistiska teorier Samlar in exempel som tas på tavlan i början och mot slutet Efter labben Bedömmer vad som bör förtydligas Analyserar inskickade underlag för att hjälpa studenter och Lärkautvecklare www.spraakbanken.gu.se/larka
Statistisk del
18000 Lärka labbar Lärka loggar Number Lärka logs under per 2014 2014 16000 14000 Nr logs 12000 10000 8000 Prov på kurserna Kurser i Uppsala 6000 4000 2000 0 Februari March April May June July August September October November December Months
Logöversikt 39 339 logs totalt, indelade i POS ordklassövning (Parts-Of-Speech) SYNT satsdelsövning (SYNTaktiska relationer) SEM SEMantiska roller kategori i fokus diagnos självstudier test träningsläge Period 10 februari 2014 26 augusti 2014
Loggar per övningstyp och läge
Loggar över användandet av referensmaterial
Jämförelse med andra studier av det språkvetenskapliga metaspråket % korrekta svar Alderson & al (2013) The metalinguistic knowledge of undergraduate students of English Language or linguistics. Language Awareness. 22.4. pp. 320-337. Corona & Mur-Dueñas (2010) Getting to grips with grammar: Native vs non-native first-year undergraduates. A contrastive application of the KAL test. Paper presented at the 28th International Conference of the Spanish Society for Applied Linguistics, AESLA 2010, Vigo, April 15-17.
Prestation på satsdelar Rätt TOTALT Finit verb 347 (74%) 472 Adverbial 304 (66%) 461 Infinit verb 319 (65%) 492 Subjekt 277 (58%) 476 Indirekt objekt 247 (53%) 469 Objekt 195 (43%) 458 Predikativ 161 (33%) 483 Totalt 1850 (56%) 3311 % korrekta svar (diagnos)
Jämförelse med andra länder över satsdelar Rätt i Lärka 2014 TOTALT England (Alderson et al 2013) Subjekt 277 (58%) 476 88% 93% Objekt 195 (43%) 458 N/A N/A Dir. obj. N/A N/A 32% 81% Indir. obj. 247 (53%) 469 30% 82% Predikat N/A N/A 7% 91% Finit verb 347 (74%) 472 N/A N/A Infinit verb 319 (65%) 492 N/A N/A Predikativ 161 (33%) 483 N/A N/A Spanien (Corona et al 2010) Adverbial 304 (66%) 461 N/A N/A
Studiejämförelser Skillnader i studier De internationella studierna var baserade på en enkät med endast en mening att analysera för ordklasser och några få meningar för satsdelar Meningarna var konstruerade och lättare än Lärkas autentiska meningar, fast meningen i ordklasstestet var ganska svår. Lärka nya meningar hela tiden och flera meningar procenten rätt är baserad endast på diagnosloggar. Resultat Bekräftar att svenska studenter har vissa problem med metalingvistisk kunskap, dock jämförbart med de internationella studierna och bättre än brittiska studenter för vissa kategorier. (OBS! att de internationella studierna är gjorda på annat vis men de bör i princip varit enklare än Lärka).
Empirisk del
Hur använde du Lärka? I självstudier 1 2% På labblektioner 26 58% Båda 18 40% Kommentarer (urval): Jag testade programmet hemma innan labblektionen och det var lätt att förstå Att ha labbledaren med på labbarna hade stor betydelse. Väldigt mycket lättare att ta sig framåt när man hade någon som kunde förklara Ibland var svaren i Lärka tveksamma, då var det bra att ha någon att kontrollera med Det var bra att kunna ställa frågor, särskilt eftersom det förekom en del fel. Hade jag då suttit ensam med programmet hade jag bara blivit mer förvirrad. http://spraakbanken.gu.se/larka
Effektivitet vid ordklassträning 0 (ej använt) 1 2% 1 (oeffektiv) 0 0% 2 8 18% 3 14 31% 4 12 27% 5 7 16% 6 (väldigt effektiv) 3 7% Kommentarer (urval): Jag har inte hunnit använda det så mycket än men jag tror att det kan vara ett jättebra hjälpmedel så jag kommer absolut använda det. Känns som ett mycket bra komplement för att öva isf att bara läsa och göra övningar i boken. Just idag lärde jag mig inte så mycket, men kommer nog få god användning av det senare då jag pluggar hemma. Blev varse om hur lite jag kunde. http://spraakbanken.gu.se/larka
Effektivitet vid satsdelsträning 0 (ej använt) 1 2% 1 (oeffektiv) 3 7% 2 10 23% 3 15 34% 4 9 20% 5 5 11% 6 (väldigt effektiv) 1 2% Kommentarer (urval): Det var svårare med satsdelar. Dessutom kändes svaren luddiga och det verkade som det var lite upp till var och en vad det kunde vara för något. Jag hade inte tillräckliga kunskaper för att det skulle ge mig särskilt mycket Det vi lärt oss tidigare på lektionstid överensstämde inte helt med Lärka, ex att det kan finnas två subjekt i en mening. Hade gärna vetat vilket slags adverbial (TSRO) ett ord var, inte bara att det var adverbial. http://spraakbanken.gu.se/larka
Effektivitet vid semantiska roller 1 (oeffektiv) 1 6% 2 2 11% 3 3 17% 4 7 39% 5 4 28% 6 (väldigt effektiv) 1 6% Kommentarer (urval): Förvirrande, för många närliggande termer. Hade mindre förkunskaper, så det hjälpte. Svårt att säga hur mycket hjälp LÄRKA var när det gäller semantiska roller. Jag hade alldeles för lite förkunskaper om det för att kunna dra ordentlig nytta av labben. Om vi på kursen gått igenom det mer i förväg hade det kanske varit bra. http://spraakbanken.gu.se/larka
Problem Kommentarer (urval): Lite annan analysmetod än från kursens litteratur och föreläsningar. skapar lite mer förvirrning initialt. Var lite jobbigt att termer i boken och termerna i Lärka inte överensstämde helt. Att det är olika terminolgi överallt - i LÄRKA, på föreläsningarna, i de olika böckerna - är förvirrande. Mest förvirrande när det gäller semantiska roller men det kan bero på bristande förkunskaper. Inte helt [fungerande med terminologiskillnader], ex determination (som inte heller var helt synonymt med artikel) och "fake subjekt" Några saker var lite olika men det gick lätt att förstå. Blev det för förvirrande så kunde man välja bort den kategorin som var jobbig, så det var bra. Tyckte det var svåra meningar som man normalt inte träffar på. http://spraakbanken.gu.se/larka
Lärka-labbarna på kursen http://spraakbanken.gu.se/larka
Skulle du rekommendera Lärka till andra? http://spraakbanken.gu.se/larka
Önskemål Kunna lyssna på IPA och testas på Konsonanttabellen, placera ut rätt tecken på rätt plats Samstämmighet [i terminologi] Kanske att kunna skriva in en egen mening och få fram vad alla delar är så som ordklasser och satsdelar ifall man är nyfiken på hur en specifik mening fungerar. Kanske någon funktion där man kan träna på att göra ordbildningsträd. Ändra ordklassen determinerare då det inte går att applicera i svenskan på ett bra sätt. Dessutom vore det bra med fler svarsalternativ då det var lätt att använda uteslutningsmetoden. http://spraakbanken.gu.se/larka
Övriga kommentarer Mycket bra och andvändbart program. Det var roligt att se och testa! Mycket bra övningar, kommer att fortsätta arbeta med detta. Bra att diagnostiska provet angav rätt svar direkt. Jag tyckte det var bra då det finns många övningar att arbeta med och att man kan använda hjälpfunktionerna. Ett mycket bra och lätt program som jag absolut kommer att använda igen. http://spraakbanken.gu.se/larka
Slutsatser & planer Labbarna var tydligen uppskattade, och ett relevant moment i kurserna Vi bör jobba på att göra Lärkas terminologi mer kompatibel med kursböckerna (Vilka kursböcker ska man utgå ifrån då?) Vi bör jobba på att välja meningar som inte är skumma (Hur gör man detta automatiskt? - har en doktorand som jobbar på meningsurval) Vi behöver analysera loggar för att få fram information vilka kategorier som är svåra resp. enkla; och kontrollera om det finns samband mellan fel och typ av meningar som väljs ut Vi planerar att implementera övningar för flera lingvistiska områden, t.ex. ordbildning, morfologi, fonologi, satsträd, etc. Vi planerar att lägga till flera referensresurser http://spraakbanken.gu.se/larka
Studie 2
Upplägg: Tre undervisningsgrupper: studenter med inriktning lärare F-3, 4-6 dec. 2014, jan & dec. 2015, totalt 86 studenter Endast ordklassmodulen användes: lexikala ord: adverb, adjektiv, substantiv, particip, verb, funktionsord: konjunktioner, subjunktioner, prepositioner, pronomen, räkneord, determinerare På tentan: adjektiv, substantiv, verb, subjunktioner, prepositioner http://spraakbanken.gu.se/larka
Studenterna uppmanades att använda Lärka i läge Test Lärka användes som en integrerad del av hemtentan i grammatik och språk. Uppgiften var att kunna visa upp sex korrekta svar i rad från Lärka. http://spraakbanken.gu.se/larka
600 Lärka logs, December 2014, Studie2 Tidslinje över Lärka loggar 500 Number of logs 400 300 200 100 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 December 2014, dates http://spraakbanken.gu.se/larka
Lärka logs, January 2015 1000 900 800 Number of logs 700 600 500 400 300 200 100 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 January, dates http://spraakbanken.gu.se/larka
400 Lärka logs, December 2015, Studie 2 Tidslinje över Lärka loggar 350 300 Antal loggar 250 200 150 100 50 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 December 2015, dates http://spraakbanken.gu.se/larka
Dec. 2014 774 svar, 84 % korrekt, 16 % inkorrekt Jan 2015 1386 svar, 77 % korrekt, 23 % inkorrekt Dec 2015: 879 svar, 82% korrekt, 18 % inkorrekt http://spraakbanken.gu.se/larka
http://spraakbanken.gu.se/larka
Framtida planer Ytterligare övningstyper för L2 språkinlärare stavningsövningar (påbörjade) gap-fill övningar m.m. Ytterligare övningstyper för språkvetare analys av hela meningar testa analysen av sina egna meningar (jfr Annoteringslabbet) morfologianalys (jfr Monicas presentation) Nya referensresurser (Encyklopedia, Lexin, etc.)
Tack!
Frågor?