Studenter drillar Lärkas sång om hur studenter lär grammatik via korpusverktyget Lärka

Transkript

1 Studenter drillar Lärkas sång om hur studenter lär grammatik via korpusverktyget Lärka Håkan Jansson*, Therese Lindström Tiedemann**, Elena Volodina*** *Högskolan Väst, **Helsingfors universitet / Uppsala universitet, ***Göteborgs Universitet

2 Jag kollade Språkbankens korpus "Äldre svenska romaner" och hittade 13 förekomster av våran, så det verkar ha varit tämligen väletablerat. [Bloggmix 2008] TOKEN MSD LEMMA LEX SALDO DEP. HEAD Jag PN. UTR. SIN. DEF. SUB jag jag..pn.1 jag..1 2 SS DEP. REL kollade VB. PRT. AKT kolla Språkbankens PM. GEN kolla..vb.2, kolla..vb.1 kolla..2, kolla..1 Språkbanke n Språkbanken..pm.1 Språkbanken MS 4 DT korpus NN. UTR. SIN. IND. NOM korpus korpus..nn.1 korpus..1, korpus..2, korpus..3, korpus..4, korpus..5 2 OO " PAD 4 IR Äldre JJ. KOM. UTR+NEU. SIN+PLU. IND+DEF. NOM gammal gammal..av.1 gammal..1 8 DT svenska JJ. POS. UTR+NEU. PLU. IND+DEF. NOM svensk svensk..av.1 svensk..1, svensk..3 8 AT romaner NN. UTR. PLU. IND. NOM roman roman..nn.1 roman CJ " PAD 4 JR och KN och och..kn.1 och..1 ROOT hittade VB. PRT. AKT hitta hitta..vb.1 hitta F 13 RG. NOM 13 DT förekomster NN. UTR. PLU. IND. NOM förekomst förekomst..nn.1 förekomst OO av PP av av..pp.1 av ET våran PS. UTR. SIN. DEF vi vi..pn.1 vi MS

3 Bakgrund Lärka Lär språket via KorpusAnalys , finansierad av NordPlus Sprog Syftet: återanvända NLP vertyg och resurser för svenska

4 Om Lärka ICALL plattform för L2 inlärare av svenska (CEFR-baserad) och Studenter i språkvetenskap ICALL Intelligent Computer-Assisted Language Learning Webb-baserad, fritillgänglig, ingen installation

5 Resurser Korp: verktyg för korpussökning Svenska korpusar, delvis manuellt annoterade Olika genrer: tidningstexter, romaner etc. Karp: verktyg för sökning inom lexikala resurser

6 Resurser Korp: korpus query vertyg Svenska korpusar, delvis manuellt annoterade Olika genrer: tidningstexter, romaner etc. Karp: verktyg för sökning inom lexikala resurser

7 Lexikonanvändning Indirekt, via annotering av källkorpusar för lemmatisering, ordklasstaggning, syntaktisk och semantisk annotering Saldo Svensk AssociationsLexikon som används som hub för alla Språkbankens lexikala resurser Direkt som referensmaterial under övningens gång Saldo morfologi, Wiktionary, text-till-tal modul Princip: bara fria resurser används

8 Ordkunskap Uttal Indirekt annotation syntaktiska funktioner e.g. semantiska roller Stavning Former: grundform vs böjning Användning: kontext och kombinationer Betydelse e.g. Wiktionary Direkt uppslag

9 Övningstyper Studenter inom språkvetenskap kan öva: Ordklasser Satsdelar Semantiska roller Övningar för L2-språkinlärare: Ordkunskap Ordböjning Stavningsövningar

10 Gemensamma drag i övningarna Övningsobjektet är en mening (en mening i taget) Flervalsformat (1 korrekt fel svarsalternativ) Resultatsamlare: uttal syntaktisk struktur ytterligare information

11 Gemensamma drag i övningarna Modes / lägen : självstudier (ändringar i efterhand är möjliga) diagnos test test på tid Tips (referensinformation): Saldo morfologi (böjningar) Wikipedia, Wiktionary Uttal med en talande huvud

12 Specifikt för språkvetare Diagnos- läget : Alla kategorier x 3 gånger Sammanställning Loggade svar Rekommendationer

13 Svarsstatistik: Sammanställning per kategori Alla meningar, svarsalternativ + valda alternativ Specifikt för språkvetare

14 Om terminologi i ordklassövningen Lexikala ord Funktionsord Adjektiv Adverb Substantiv Particip Verb Konjunktion Determinerare Räkneord (grundtal, ordningstal) Preposition (& verbpartiklar! ) Pronomen Subjunktion Adjektiv Adverb Substantiv Particip Verb Konjunktion Artikel Räkneord (grundtal, ordningstal) Preposition Pronomen Subjunktion Verbpartiklar Infinitivmärke Interjunktioner

15 Om terminologi i satsdelsövningen Finit verb Infinit verb Objekt (+ egentligt & formellt objekt) Indirekt objekt (dativobjekt) Subjekt Adverbial (+ prepositionsobjekt!) Predikativ Predikat Direkt objekt Objektiv infinitiv Indirekt objekt Subjekt, egentlig & formell subjekt Innehållsadverbial, satsadverbial Prepositionsobjekt Subjektiv & objektiv predikativ Agentadverbial Subjektiv infinitiv

16 Demo spraakbanken.gu.se/larka

17 Studier Studie 1: Utvärdering GU-Uppsala, 2014 Studie 2: Högskolan Väst

18 Studie 1

19 Utvärdering VT 2014 Statistisk del: Studentloggar, inkl. Session (ej namn), tid o. datum, övning, övningsläge Meningar, korpus POS/satsdel i fokus, svarsalternativ, svaren, poäng Användning av referensinformation (antal ikon-klickar), i.e. syntaktiska träd, Wikipedia, saldo lexikon, etc. Empirisk del: Online frågeformulär: 45 svar: 19 från Uppsala, 26 från GU

20 Labbupplägg Intro/demo/prova-på tillsammans OBS! skillnader i terminologi Öva övningstyp i taget (ordklasser/satsdelar/sem. roller) Diagnos 1 (individuellt, men det uppstod diskussioner ibland) Självstudier (urval med de problematiska kategorierna) Självstudier/test/test på tid med alla områden Diagnos 2 (spara resultat, och skicka till läraren) Sammanfattning Vissa (svåra/motstridiga) exempel tillsammans på tavlan Uppmuntra att använda hemma på egen hand

21 Labbledaren Går runt, lyssnar, frågar och hjälper vid behov Hjälper studenter att resonera sig fram till svaren Hjälper till att diskutera motstridiga fall/skillnader i olika lingvistiska teorier Samlar in exempel som tas på tavlan i början och mot slutet Efter labben Bedömmer vad som bör förtydligas Analyserar inskickade underlag för att hjälpa studenter och Lärkautvecklare

22 Statistisk del

23 18000 Lärka labbar Lärka loggar Number Lärka logs under per Nr logs Prov på kurserna Kurser i Uppsala Februari March April May June July August September October November December Months

24 Logöversikt logs totalt, indelade i POS ordklassövning (Parts-Of-Speech) SYNT satsdelsövning (SYNTaktiska relationer) SEM SEMantiska roller kategori i fokus diagnos självstudier test träningsläge Period 10 februari augusti 2014

25 Loggar per övningstyp och läge

26 Loggar över användandet av referensmaterial

27 Jämförelse med andra studier av det språkvetenskapliga metaspråket % korrekta svar Alderson & al (2013) The metalinguistic knowledge of undergraduate students of English Language or linguistics. Language Awareness pp Corona & Mur-Dueñas (2010) Getting to grips with grammar: Native vs non-native first-year undergraduates. A contrastive application of the KAL test. Paper presented at the 28th International Conference of the Spanish Society for Applied Linguistics, AESLA 2010, Vigo, April

28 Prestation på satsdelar Rätt TOTALT Finit verb 347 (74%) 472 Adverbial 304 (66%) 461 Infinit verb 319 (65%) 492 Subjekt 277 (58%) 476 Indirekt objekt 247 (53%) 469 Objekt 195 (43%) 458 Predikativ 161 (33%) 483 Totalt 1850 (56%) 3311 % korrekta svar (diagnos)

29 Jämförelse med andra länder över satsdelar Rätt i Lärka 2014 TOTALT England (Alderson et al 2013) Subjekt 277 (58%) % 93% Objekt 195 (43%) 458 N/A N/A Dir. obj. N/A N/A 32% 81% Indir. obj. 247 (53%) % 82% Predikat N/A N/A 7% 91% Finit verb 347 (74%) 472 N/A N/A Infinit verb 319 (65%) 492 N/A N/A Predikativ 161 (33%) 483 N/A N/A Spanien (Corona et al 2010) Adverbial 304 (66%) 461 N/A N/A

30 Studiejämförelser Skillnader i studier De internationella studierna var baserade på en enkät med endast en mening att analysera för ordklasser och några få meningar för satsdelar Meningarna var konstruerade och lättare än Lärkas autentiska meningar, fast meningen i ordklasstestet var ganska svår. Lärka nya meningar hela tiden och flera meningar procenten rätt är baserad endast på diagnosloggar. Resultat Bekräftar att svenska studenter har vissa problem med metalingvistisk kunskap, dock jämförbart med de internationella studierna och bättre än brittiska studenter för vissa kategorier. (OBS! att de internationella studierna är gjorda på annat vis men de bör i princip varit enklare än Lärka).

31 Empirisk del

32 Hur använde du Lärka? I självstudier 1 2% På labblektioner 26 58% Båda 18 40% Kommentarer (urval): Jag testade programmet hemma innan labblektionen och det var lätt att förstå Att ha labbledaren med på labbarna hade stor betydelse. Väldigt mycket lättare att ta sig framåt när man hade någon som kunde förklara Ibland var svaren i Lärka tveksamma, då var det bra att ha någon att kontrollera med Det var bra att kunna ställa frågor, särskilt eftersom det förekom en del fel. Hade jag då suttit ensam med programmet hade jag bara blivit mer förvirrad.

33 Effektivitet vid ordklassträning 0 (ej använt) 1 2% 1 (oeffektiv) 0 0% % % % % 6 (väldigt effektiv) 3 7% Kommentarer (urval): Jag har inte hunnit använda det så mycket än men jag tror att det kan vara ett jättebra hjälpmedel så jag kommer absolut använda det. Känns som ett mycket bra komplement för att öva isf att bara läsa och göra övningar i boken. Just idag lärde jag mig inte så mycket, men kommer nog få god användning av det senare då jag pluggar hemma. Blev varse om hur lite jag kunde.

34 Effektivitet vid satsdelsträning 0 (ej använt) 1 2% 1 (oeffektiv) 3 7% % % % % 6 (väldigt effektiv) 1 2% Kommentarer (urval): Det var svårare med satsdelar. Dessutom kändes svaren luddiga och det verkade som det var lite upp till var och en vad det kunde vara för något. Jag hade inte tillräckliga kunskaper för att det skulle ge mig särskilt mycket Det vi lärt oss tidigare på lektionstid överensstämde inte helt med Lärka, ex att det kan finnas två subjekt i en mening. Hade gärna vetat vilket slags adverbial (TSRO) ett ord var, inte bara att det var adverbial.

35 Effektivitet vid semantiska roller 1 (oeffektiv) 1 6% % % % % 6 (väldigt effektiv) 1 6% Kommentarer (urval): Förvirrande, för många närliggande termer. Hade mindre förkunskaper, så det hjälpte. Svårt att säga hur mycket hjälp LÄRKA var när det gäller semantiska roller. Jag hade alldeles för lite förkunskaper om det för att kunna dra ordentlig nytta av labben. Om vi på kursen gått igenom det mer i förväg hade det kanske varit bra.

36 Problem Kommentarer (urval): Lite annan analysmetod än från kursens litteratur och föreläsningar. skapar lite mer förvirrning initialt. Var lite jobbigt att termer i boken och termerna i Lärka inte överensstämde helt. Att det är olika terminolgi överallt - i LÄRKA, på föreläsningarna, i de olika böckerna - är förvirrande. Mest förvirrande när det gäller semantiska roller men det kan bero på bristande förkunskaper. Inte helt [fungerande med terminologiskillnader], ex determination (som inte heller var helt synonymt med artikel) och "fake subjekt" Några saker var lite olika men det gick lätt att förstå. Blev det för förvirrande så kunde man välja bort den kategorin som var jobbig, så det var bra. Tyckte det var svåra meningar som man normalt inte träffar på.

37 Lärka-labbarna på kursen

38 Skulle du rekommendera Lärka till andra?

39 Önskemål Kunna lyssna på IPA och testas på Konsonanttabellen, placera ut rätt tecken på rätt plats Samstämmighet [i terminologi] Kanske att kunna skriva in en egen mening och få fram vad alla delar är så som ordklasser och satsdelar ifall man är nyfiken på hur en specifik mening fungerar. Kanske någon funktion där man kan träna på att göra ordbildningsträd. Ändra ordklassen determinerare då det inte går att applicera i svenskan på ett bra sätt. Dessutom vore det bra med fler svarsalternativ då det var lätt att använda uteslutningsmetoden.

40 Övriga kommentarer Mycket bra och andvändbart program. Det var roligt att se och testa! Mycket bra övningar, kommer att fortsätta arbeta med detta. Bra att diagnostiska provet angav rätt svar direkt. Jag tyckte det var bra då det finns många övningar att arbeta med och att man kan använda hjälpfunktionerna. Ett mycket bra och lätt program som jag absolut kommer att använda igen.

41 Slutsatser & planer Labbarna var tydligen uppskattade, och ett relevant moment i kurserna Vi bör jobba på att göra Lärkas terminologi mer kompatibel med kursböckerna (Vilka kursböcker ska man utgå ifrån då?) Vi bör jobba på att välja meningar som inte är skumma (Hur gör man detta automatiskt? - har en doktorand som jobbar på meningsurval) Vi behöver analysera loggar för att få fram information vilka kategorier som är svåra resp. enkla; och kontrollera om det finns samband mellan fel och typ av meningar som väljs ut Vi planerar att implementera övningar för flera lingvistiska områden, t.ex. ordbildning, morfologi, fonologi, satsträd, etc. Vi planerar att lägga till flera referensresurser

42 Studie 2

43 Upplägg: Tre undervisningsgrupper: studenter med inriktning lärare F-3, 4-6 dec. 2014, jan & dec. 2015, totalt 86 studenter Endast ordklassmodulen användes: lexikala ord: adverb, adjektiv, substantiv, particip, verb, funktionsord: konjunktioner, subjunktioner, prepositioner, pronomen, räkneord, determinerare På tentan: adjektiv, substantiv, verb, subjunktioner, prepositioner

44 Studenterna uppmanades att använda Lärka i läge Test Lärka användes som en integrerad del av hemtentan i grammatik och språk. Uppgiften var att kunna visa upp sex korrekta svar i rad från Lärka.

45 600 Lärka logs, December 2014, Studie2 Tidslinje över Lärka loggar 500 Number of logs December 2014, dates

46 Lärka logs, January Number of logs January, dates

47 400 Lärka logs, December 2015, Studie 2 Tidslinje över Lärka loggar Antal loggar December 2015, dates

48 Dec svar, 84 % korrekt, 16 % inkorrekt Jan svar, 77 % korrekt, 23 % inkorrekt Dec 2015: 879 svar, 82% korrekt, 18 % inkorrekt

49

50 Framtida planer Ytterligare övningstyper för L2 språkinlärare stavningsövningar (påbörjade) gap-fill övningar m.m. Ytterligare övningstyper för språkvetare analys av hela meningar testa analysen av sina egna meningar (jfr Annoteringslabbet) morfologianalys (jfr Monicas presentation) Nya referensresurser (Encyklopedia, Lexin, etc.)

51 Tack!

52 Frågor?