pedagogiska rapporter

Transkript

1 % pedagogiska rapporter umeå nr UPPGIFTSFORMAT, PARTIELL KUNSKAP OCH SÄKERHET PÅ ETT KVANTITATIVT-NUMERISKT PROV En studie med kända uppgiftskarakteristika Widar Henriksson 3 i UNIVERS ITETET I UMEÅ ISSN

2 Henriksson, W. Uppgiftsformat, partiell kunskap och säkerhet på ett kvantitativt-numeriskt prov. En studie med kända uppgiftskarakteristika. Pedagogiska rapporter, Umeå, 1901, nr 99. SAMMANFATTNING I föreliggande studie var syftet att pröva en logiskt uppbyggd och sekvensiell problemlösningsstrategi för ett kvantitativtnumeriskt prov (NOG). Detta prov ingår som e tt av totalt sex delprov i det s k högskoleprovet. Den logiskt uppbyggda problemlösningsstrategin togs som u tgångspunkt för utformandet av ett experimentellt uppgiftsformat (NOG**) och studiens uppläggning baserades på en jämförelse av samma prov i två versioner: en konventionell (NOG) och en experimentell (NOG xx ). Indikationer på att experiment- och kontrollgrupp var initiait jämförbara i prestationsavseende erhölls utifrån ett verbalt förprov (ORD). I studien ingick 264 elever från samtliga fem linjer i gymnasiets årskurs 3. Studiens utfall blev att det inte förelåg någon skillnad i poängmedelvärde, baserat på antingen konventionell eller differentiell poäng, mellan den grupp som erhållit det experimentella (NOG xx ) och den grupp som e rhållit det konventionella (NOG) uppgiftsformatet. Detta indikerade att den sekvensiella problemlösningsstrategin inte hade någon direkt påvisbar effekt eller indirekt att det konventionella NOG-formatet inte var komplext. Om a nalysen baserades på C eller E som korrekt alternativ blev dessutom det experimentella uppgiftsformatet komplexare än det konventionella (NOG). Konsekvenser av det erhållna utfallet diskuteras.

3 Henriksson, W. Item format, partial knowledge and confidence on a quantitative-numerical test. A study with selected item characteristics. Pedagogiska rapporter, Umeå, 1981, nr 99. SUMMARY The aim of this study was to test a logical and sequential problem-solving strategy for a quantitative-numerical test (NOG). This test is one of the six subtests in the so-called Swedish Scholastic Aptitude Test. The problem-solving strategy was taken as the starting-point for the construction of an experimental item format (N0G xx ) and the design of the study was based on a comparison of the same test in two versions: one conventional (NOG) and one experimental (N0G xx ). Indications of experiment- and control group being initially comparable with regard to performance were obtained from a verbal pretest (DRD). The subjects were 264 students from all five lines in grade 3 in the upper secondary school. The outcome of the study did not show any difference in mean score, based on either conventional or differential score, between the group which had taken the experimental (NOG xx ) and the group which had taken the conventional (NOG) item format. This indicated that the sequential problem-solving strategy did not have any directly obvious effects and indirectly, it indicated that the conventional item format was not complex. If the analysis was based on C or E being the correct response the experimental item format was also more complex than the conventional (NOG). Consequences of the obtained outcome are discussed.

4 1 Denna studie ingår i en serie undersökningar med det övergripande syftet att belysa huruvida ett visst kvantitativtnumeriskt prov (NOG) kunde påverkas av betingelserna övning och instruktion. NOG-provet, som ingår som ett av totalt sex delprov i den nuvarande versionen av det s k högskoleprovet, avser att mäta logisk resonemangsförmåga (Wedman, 1980). Betingelsen övning definierades i denna serie som genomgång av ett förprov där detta antingen var parallellt med det egentliga provet, efterprovet, (Henriksson, 1981 b, c) eller utgjorde en annan version av detta (Henriksson, 1981 d). Betingelsen övning som de n definierades i dessa studier kunde därvid betecknas som k orttidsövning (Henriksson, 1981 a; Henriksson & Wedman, 1980). Betingelsen instruktion utgick från en logiskt uppbyggd och sekvensiell problemlösningsstrategi för NOG-uppgifter och instruktionen var i vissa av dessa studier (Henriksson, 1981 b-d) utformad som en individpåverkan via muntlig instruktion vilken innefattade dels information om a llmänna testtagningsprinciper, dels information och övning avseende den logiska problemlösningsstrategin. Den instruktionsbetingelse som ge nomfördes i dessa studier kunde i samtliga fall kategoriseras som korttidsinstruktion (Henriksson, 1981 a; Henriksson & Wedman, 1980). I några studier (Henriksson, 1981 e, f) utformades dessutom instruktionen som en individpåverkan via ett experimentellt uppgiftsformat, vilket konstruerats i enlighet med den logiskt uppbyggda och sekvensiella problemlösningsstrategin fortsättningsvis betecknad enbart logisk strategi. Det övergripande syftet med denna ansats var i första hand att erhålla indikationer på vilka effekter som skulle! kunna förväntas utifrån en instruktion som e n individpåverkan via uppgiftsformatet. I andra hand var syftet också att, utifrån kunskap om individers problemlösningsbeteende på detta specialkonstruerade uppgiftsformat, erhålla underlag för ställningstaganden till eventuell framgång i olika ansatser för individpåverkan via en muntlig instruktion.

5 2 En ledstjärna för genomförandet av samtliga studier var den logiska strategin som inriktades på uppgiftsformatet per se. etta innebar således att inga som helst åtgärder vidtogs för att åstadkomma en förändring av den kvantitativt-numeriska förmåga som NOG-provet avsåg att mäta. Det experimentella uppgiftsformatet utformades således utifrån den logiska strategin, och den konkreta innebörden i detta var att en konventionell NOG-uppgift delades upp på två alternativt tre enklare delproblem vilka besvarades var för sig. Den bakomliggande idén med detta förfaringssätt var att en uppdelning av uppgiften på delproblem förväntades ge en bättre uppskattning av en individs faktiska kunskap och därigenom också en viss uppfattning huruvida den konventionellt utformade NQG-uppgiften hade ett komplext uppgiftsformat som gav utrymme för övnings- och instruktionseffekter. Ett uppgiftsformat som, under vissa givna betingelser, medför en bristande överensstämmelse mellan individers faktiska kunskap och erhållna poäng har därvid karakteriserats som komplext (Henriksson, 1981 a]. I den förstnämnda studien där det experimentella uppgiftsformatet utnyttjades (Henriksson, 1981 e) erhölls i princip ingen skillnad beroende på om e n uppgift gavs i det konventionella uppgiftsformatet eller om de n gavs i det experimentella uppgiftsformatet, vilket utformats i enlighet med den logiska strategin. I en utveckling och uppföljning av denna studie innefattades, förutom begreppen strategi och uppgiftsformat, även begreppen säkerhet och partiell kunskap (Henriksson, 1981, f). Inte heller i denna studie kunde det emellertid påvisas att den logiska strategin var effektiv eller indirekt att NOG-uppgiften hade ett komplext uppgiftsformat enligt den ovan angivna innebörden.

6 3 Denna studie har utgått från och innefattat samtliga tidigare begrepp (=strategi, uppgiftsformat, säkerhet och partiell kunskap) och har dessutom innefattat uppgiftskarakteristika; svårighetsgrad och korrekt alternativ. Den bakomliggande tanken med införandet av uppgiftskarakteristikan svårighetsgrad, dikotomiserad i lätta och svåra uppgifter, var att individens problemlösningsbeteende eventuellt förändras eller varierar beroende på hur lätt eller svår en uppgift är. Annorlunda uttryckt innebär detta att en NOG-uppgifts komplexitet kan variera beroende på svårighetsgrad. En tangerande dimension är också vilket alternativ: A, B, C, D eller E som ä r korrekt. I en NOG-uppgift där alternativ A, B eller D är korrekt alternativ krävs i princip ett ställningstagande till två delproblem. Om dä remot alternativ C eller E är korrekt alternativ krävs ett ställningstagande till ytterligare ett delproblem, dvs sammanlagt tre delproblem. Utifrån detta faktum är det också möjligt att en individs problemlösningsbeteende kan variera i olika avseenden beroende på vilket alternativ som ä r korrekt. Denna studie utformades därför för att möjliggöra ett ställningstagande till huruvida NOGuppgiftens komplexitet varierar beroende på ovan nämnda uppgiftska ra kteristika. Syfte Studiens syfte var att pröva en logiskt uppbyggd och sekvensiell problemlösningsstrategi för NOG-uppgifter. Studiens genomförande baserades på två olika uppgiftsformat där det ena (NOG XX o ) utformades utifrån den logiska strategin och det andra (NOG) utgjorde det konventionella uppgiftsformatet. Mera preciserat var syftet att undersöka: - Skillnader i erhållen poäng (konventionell och differen tiell) mellan experiment- och kontrollgrupp på ett NOGprov där den ena gruppen (E) erhållit uppgifterna i ett experimentellt uppgiftsformat (N0G x ) och den andra gruppen (K) erhållit motsvarande uppgifter i det konventionella uppgiftsformatet (NOG).

7 4 -Skillnader i erhållen poäng mellan experiment- och kontrollgrupp på uppgifter som kategoriserats i endera av de två kategorierna lätta-svåra eller A, B, D - C, E som korrekt alternativ, eller kategoriserats i båda kategorierna samtidigt, dvs lätta-svåra och ABD-CE. - Relationen mellan erhållen poäng (konventionell och differentiell) och skattad säkerhet för experimentgruppens försökspersoner. - Reliabilitetseffekter till följd av olika poängsättningsförfaranden (konventionell och differentiell poängsättning). METOD Design Den design som f öreliggande studie haft kan sägas vara en variant av den konventionella experiment-kontrollgruppsdesignen, där en förmätning utnyttjats för att erhålla indikationer på de två gruppernas initiala jämförbarhet. Designen kan beskrivas utifrån följande modell: ORD ORD N0G xx NOG (E) (K) ORD NOG xx NOG = förmätning, ordprov (ORD) = NOG-provet, experimentellt uppgiftsformat = NOG-provet, konventionellt uppgiftsformat

8 5 De två versionerna av NOG-provet, här betecknade NOG och XX NOG, bestod av samma uppgifter, och det enda som skiljde de två provversionerna från varandra var att i den ena versionen (NOG) hade en viss uppgift det konventionella uppgiftsformatet medan samma uppgift i den andra versionen XX (NOG ) hade det experimentella uppgiftsformatet. Mät i ntstrument X X Det experimentella uppgiftsformat NOG som u tnyttjades i denna studie var i princip identiskt med det uppgiftsformat som a nvänts i tidigare studier (Henriksson, 1981 e, f). Grundidêen bakom konstruktionen av uppgiftsformatet såväl i föreliggande studie som i tidigare studier var att en konventionell NOG-uppgift delades upp på delproblem vilka besvarades var för sig. Experimentellt och konventionellt uppgiftsformat var direkt relaterbara, vilket konkret innebar att om e n individ avgav en viss svarssekvens på en uppgift XX med NOG -format kunde detta direkt relateras till ett visst alternativ på motsvarande uppgift med NOG-format. Den konkreta innebörden i följande beskrivningen. ett konventionellt detta framgår av den Den konventionella NOG-uppgiften hade följande uppgiftsformat: Hur mycket betalade Ander sson i räntor för sina lån under året? (1) Andersson hade 3 län. Sammanlagda länesumman var kronor. (2) Vart och etl av Anderssons län löpte med 10 % ränta. Lånebeloppen var kronor, kronor och kronor. Tillräcklig information förlösningen erhålles A i ( 1 ) men ej i (2) B i (2) men ej i (1) C i ( 1 ) tillsammans med (2) D i ( 1 ) och (2) var för sig E ej genom de bada påståendena

9 6 X X Motsvarande NOG -uppgift såg ut på följande sätt: Kan man b esvara frågan; "Hur mycket betalade Andersson i räntor för sina lån under året?" om man vet att; (1) Andersson hade tre lån. Sanrmanlagda lånesurrmren var kronor. Ja Hur säker är du? O Mycket säker O Ganska säker O Något osäker O Mycket osäker (2) Vart och ett av Anderssons lån lcpte med.10 % rä nta. Lånebeloppen var kronor, kronor och kronor. Nej 0m [x] på både (1) och (2), kan man besvara frågan utifrån (l)+(2)? Ja Ja Nej O Mycket säker O Ganska säker O Något osäker O Mycket osäker O Mycket säker O Ganska säker O Något osäker O Mycket osäker Antag exempelvis att det korrekta svarsalternativet för det konventionella uppgiftsformatet är B. Detta svarsalternativ y y motsvaras i NOG -formatet av svarssekvensen: (1) = "Nej", (2) = "Ja", dvs att frågan inte kan besvaras utifrån informationspåstående (1) men att den kan besvaras utifrån informationspåstående (2) och att ett ställningstagande till de två informationspåståendena sammantagna, (1) + (2), inte behövs eftersom ett "3a" har markerats i anslutning till ett av de två första informationspåståendena (=2). övriga relationer mellan ett visst svarsalternativ i det konventionella uppgiftsformatet (NOG) och motsvarande svarssekvens i det experimentella uppgiftsformatet (NOG ), framgår av tabell 1. X X o

10 7 Tabell 1. Relation mellan svarssekvens i NOG och svarsalternativ i NOG-formatet. X X -formatet NOG A B C D NOG XX (1) = "Ja" ( 2 ) = "Nej" (1) = "Nej" (2) = "3a" (1) = "Nej" (2) = "Nej" (!) + (2) = "Ja" (1) = "Ja" (2) = "Ja" E (1) = "Ne j " (2) = "Nej" (1) + (2) = "Nej" Urval av uppgifter Som tidigare angetts baserades denna studie på uppgifter där vissa uppgiftskarakteristika var kända. Förutom tidigare nämnda svårighetsgrad (lätt-svår) och korrekt alternativ (A, B, C, D, E) gjordes också ett urval utifrån en uppgifts r^s-värde. I det sistnämnda fallet var strävan att få uppgifter med ett så högt r^^-värde som möjligt. Givet dessa urvalsprinciper bestod de två NOG-versionerna (NOG och N0G xx ) av exakt samma 20 uppgifter. De 20 uppgifterna kunde därvid delas upp på: dels 10 lätta och 10 svåra uppgifter, dels 5 kategorier där korrekt alternativ var respektive A, B, C, D och E. I sammanställningen på nästa sida redovisas dessa uppgiftsdata tillsammans med uppgiftsnummer, dvs det ordningsnummer som r espektive uppgift hade i de två versionerna NOG o ch N0G XX där skillnaden mellan de två versionerna således var att uppgifterna i respektive version hade olika format.

11 0 Tabell 2. Uppgiftskarakteristika (p, r,. och korrekt alternativ) 3amt respektive uppgifts ordningsriummer i N0G/N0G xx -proven. Uppgift nr Korrekt alternativ r bis P 3 A 0, A 0,.60 0, A 0,.55 0, A 0,.54 0,.26 1 B 0,.45 0,.68 8 B 0,.76 0, B 0,.54 0,.74 2 B 0,.40 0, C 0.65, 0,.70 6 C 0,.52 0, c 0,.56 0, c 0.49, 0,.19 9 D 0,.45 0,.84 4 D 0,.72 0,17 13 D 0.79, 0, D 0.56, 0,.20 5 E 0,.46 0, E 0.59, 0,.21 7 E 0.41, 0, E 0,.64 0,.19 Av sammanställningen framgår att ambitionen vid urvalet av uppgifter, givet ett visst korrekt alternativ och > 0.40, var att skapa uppgiftspar där p-värdessumman var så nära talet 1.0 som möjligt. Uppgifterna 7 och 18 samt 5 och 12 utgör två sådana uppgiftspar, dvs p^ + p^g = = 1.01 och Pg + p^2 = 0* = 1.01.

12 9 Av sammanställningen framgår också att i respektive provversion (NQG och NOG xx ) var ordningen mellan uppgifterna systematiskt; en lätt uppgift föjdes alltid av en svår uppgift och vice versa. Givet denna betinglse var ordningen mellan de 20 uppgifterna i övrigt slumpmässigt arrangerad. Ordningen var dock exakt lika inom de två X X provversionerna NOG r espektive NOG Differentiell poängsättning För att erhålla indikationer på förekomst av partiell kunskap i NOG-provet har, förutom den konventionella 0-1 rättningen, även en differentiell poängsättningsprocedur tillämpats. Innebörden i denna framgår av nedanstående. Tabell 3. Relation mellan avgivet svar och erhållen differentiell poäng för respektive alternativ (A-E). Korrekt alternativ Angivet svar Poäng A A 2 B 0 C 1 D 1 E 1 B A 0 B 2 C 1 D 1 E 1 C A 1 B 1 C 3 D 0 E 2 D A 1 B 1 C 0 D 2 E 0 E A 1 B 1 C 2 D 0 E 3

13 10 Utifrån översikten på föregående sida kan konstateras att uppgifter vars korrekta alternativ var,a, B eller D erhöll maximalt 2 poäng/uppgift medan uppgifter vars korrekta alternativ var C eller Ü maximalt erhöll 3 poäng/uppgift. Den övergripande orsaken till denna poängskillnad var att för den förstnämnda uppgiftskategorin (A, B, D) innebar lösningsprocessen ett ställningstagande till två delproblem (1) respektive (2), medan lösningsprocessen för den senare uppgiftskategorin (C, E) innebar ett ställningstagande till ytterligare ett delproblem (1) + (2), dvs sammanlagt tre delproblem. Procedur I såväl experiment- som kontrollgrupp erhöll respektive försöksperson ett kuvert som i nnehöll ORD-provet, NOGrespektive N0G xx -provet och en svarsblankett. Efter en allmän inledande information och ett gemensamt ifyllande av vissa individdata genomgicks instruktionen till ORD-provet (bilaga 1). Sedan detta genomförts (tid=15 minuter) genomgicks instruktionen till NOG-provet (bilaga 2 a) alternativt N0G xx -provet (bilaga 2 b). Tid för genomförande av såväl X X NOG- som NO G -provet var 30 minuter. Samtliga svarsmarkeringar gjordes på en separat svarsblankett med undantag X X för NOG -provet där både svarsmarkeringar och säkerhetsskattningar gjordes direkt i uppgiftshäftet. Försökspersoner I föreliggande studie ingick sammanlagt 264 elever från årskurs 3 i gymnasiet som f örsökspersoner. Med klass som e nhet genomfördes en slumpmässig fördelning inom linje på experiment- och kontrollgrupp, som resulterade i att inom respektive grupp (E och K) fanns gymnasiets samtliga fem linjer representerade.

14 11 RESULTAT Resultatredovisningen disponeras på så sätt att först presenteras studiens totalutfall utifrån konventionell (tabell 4) och differentiell poängsättning (tabell 5). Sedan presenteras data som erhållits utifrån en uppdelning med avseende på uppgiftskarakteristika svårighetsgrad och korrekt alternativ, där dessa redovisas dels var för sig (tabell B, 7) dels sammantagna (tabell 8). Därefter redovisas utfallet av säkerhetsskattningarna i experimentgruppen (tabell 9, 10) och avslutningsvis redovisas reliabilitets- och validitetsdata för experiment- och kontrollgrupp vid såväl konventionell som differentiel1 poängsättning (tabell 11). Tabell 4. Medelvärden (x), standardavvikelser (s), och antal försökspersoner (n) för experiment- (E) och kontrollgrupp (K) på ORD-prov och NOGrespektive N0G*x-provet. Grupp n ORD NOG** /NOG X s X s E K Av tabell 4 framgår att experiment- och kontrollgrupp, utifrån prestation på ORD-provet som indikator, kunde betraktas som initiait jämförbara eftersom medelvärdesskillnaden ej XX o var signifikant. Vad avsåg utfallet i NOG och NOG förelag däremot en signifikant gruppmedelvärdesskillnad (p < 0.01) till experimentgruppens nackdel. Detta innebar att om sam ma uppgifter presenterades i det experimentella uppgiftsformatet (N0G XX ) resulterade detta således i en signifikant lägre totalpoäng jämfört med om sam ma uppgifter presenterades i det konventio nel1a uppgiftsformatet (NOG). Denna allmänna slutsats gäller under förutsättning att grupperna var jämförbara. Den genomförda randomiseringen utifrån klass ska i sig, inom slumpens ram, medföra att grupperna blir jämförbara och detta

15 12 indikerades också utifrån medelvärdespoäng på ORD-provet (tabell 4). Ytterligare en antydan om a tt grupperna var jämförbara kunde i denna studie erhållas utifrån respektive grupps medelbetyg, där medelvärde och standardavvikelse för experimentgruppen var 3.52; 0.68 och för kontrollgruppen 3.36; Medelvärdesskillnaden var ej signifikant. Poängen på N0G/N0G xx i tabell 4 baserades på en konventionell poängsättning (0-1). I tabell 5 redovisas motsvarande utfall vid en differentiell poängsättning (se s 9). Tabell 5. Medelvärden (x), standardavvikelser (s), och antal försökspersoner (n) för experiment- och kontrollgrupp vid differentiell poängsättning av NOG r espektive N0G xx. Grupp n X s E K Den skillnad mellan grupperna som iakttogs i tabell 3 kvarstod då respektive prov rättades differenti ellt. Skillnaden var även nu statistiskt säkerställd (p <.001). Den differentiella poängsättningen, som avsåg att reflektera förekomst X X av partiell kunskap i respektive provversion (NOG och NOG ), förändrade således inte den tidigare slutsatsen angående experimentbet ingeisen. I tabellerna 6 och 7 har vissa uppgiftskarakteristika utnyttjats för att gruppera materialet. I tabell 6 har uppgifterna delats upp i två kategorier där den ena kategorin utgjorts av uppgifter med A, B eller D som k orrekt alternativ (n = 12), och där den andra kategorin på motsvarande sätt utgjorts av uppgifter med C eller E som k orrekt alternativ (n = 8 ).

16 13 Tabell 6. Medelvärden (x) och standardavvikelser (s) för experiment- och kontrollgrupp för de uppgifter där A, B, D respektive C, E var korrekt. Antal försökspersoner=n^ antal uppgifter=n.. Grupp n. i n. J Korrekt alternativ A, B, D C, E x s n. J E K X s Av tabell 6 framgår att den gruppmedelvärdesskillnad som iakttogs i tabell 3 kunde relateras till motsvarande skillnad i prestation på de uppgifter där C eller E var korrekt alternativ. Skillnaden var även nu signifikant (p <.001). XX Med referens till det experimentella uppgiftsformatet (NOG ) var skillnaden mellan de uppgifter där A, B, D respektive C, E var korrekt alternativ den att i det förstnämnda fallet krävdes ett ställningstagande till två delproblem medan det i det senare fallet krävdes ett ställningstagande till ytterligare ett delproblem, dvs sammanlagt tre delproblem. För att åskådliggöra utfallet i tabell 6 gjordes också en grafisk beskrivning (bilaga 3). Denna baserades på en korrektion för olikheter i antal uppgifter för de två uppgif ts kategorierna (12 respektive 8) genom transformationen: i x 10. n. J I tabell 7 redovisas på motsvarande sätt som i tabell 6 utfallet av en uppgiftsuppdelning men nu utifrån lätta och svåra uppgifter.

17 14 Tabell 7. Medelvärden (x) och standardavvikelser (s) för experiment- och kontrollgrupp för lätta respektive svåra uppgifter. Antal försökspersoner=n^, antal uppgifter=n.. Lätta uppgifter Grupp n. i n x s n. J Svåra uppgifter E K x s Tabell 7 ger inte samma klara tendens i utfallet som f öregående tabell 6. Gruppmedelvärdesskillnader, till kontrollgruppens fördel, förelåg såväl för lätta som. för svåra uppgifter. Tendensen var dock att skillnaden var något större för de lätta jämfört med de svåra uppgifterna. På motsvarande sätt som i anslutning till tabell 6 redovisas också en grafisk beskrivning av utfallet i tabell 7 (bilaga 4). Tabell 8. Medelvärden (x) och standardavvikelser (s) för experiment- och kontrollgrupp för de uppgifter där A, B, D respektive C, E som korrekt alternativ också uppdelats på lätta och svåra uppgifter. Lätta uppgifter Svåra uppgifter Grupp n A, B, D C> E A, B, D C, E x s x s x s x s E K Tabell G ka n sägas vara en uppföljning av tabellerna 6 och 7. Av tabellen framgår att för svåra uppgifter vars korrekta svarsalternativ var A, B eller D erhöll experimentgruppen ett högre gruppmedelvärde än kontrollgruppen. I övriga fall erhöll kontrollgruppen ett högre medelvärde. Skillnaderna är statistiskt säkerställda för betingelserna: C, E: svåra uppgifter (p <.001) och C, E: lätta uppgifter (p <.001).

18 15 I nedanstående två figurer redovisas, på motsvarande sätt som tidigare, en grafisk beskrivning av utfallet i tabell 8. Figurerna har delats upp med avseende på lätta (figur 1) och svåra uppgifter (figur 2). Genomsnittlig poäng/uppgift , ( Korrekt alternativ ABD CE Kontrollgrupp O o Experimentgrupp Figur 1. Grafisk beskrivning av utfallet i tabell 8 är en uppgiftsgruppering gjort utifrån korrekt alternativ (ABD respektive CE för lätta uppgifter. Genomsnittlig poäng/uppgift ABD CE Korrekt alternativ Kontrollgrupp Experimentgrupp Figur 2. Grafisk beskrivning a v utfallet i tabell 8 är en upputifrån korrekt alternativ giftsgruppering gjort (ABD respektive CE) f ör svåra uppgifter.

19 16 Av figurerna på föregående sida framgår att det förelåg en tendens till interaktionseffekt både för lätta och svåra uppgifter (jfr bilaga 3) och att denna manifesterade sig klarare när uppgifterna var svåra (figur 2). Den gemensamma tendensen för såväl lätta som svåra uppgifter var o XX således att det experimentella uppgiftsformatet (NOG ) var komplexare än det konventionella uppgiftsformatet då alternativ C eller E var korrekta. På motsvarande sätt som i en tidigare studie (Henriksson, 1981 f) har experimentgruppens data korrigerats utifrån X X dels vilka individer som i nte löst en viss NOG -uppgift enligt den formulerade instruktionen, dels om e n säkerhetsskattning saknats i anslutning till något delproblem. I denna studie var det 20 av totalt 166 x 20 = 3320 uppgifter där instruktionen inte följts, dvs ungeför 0.84% av uppgifterna. Motsvarande andel i föregående studie var 3.08%. Vidare saknades en eller flera säkerhetsskattningar i anslutning till sammanlagt 102 uppgifter (3.07%). Motsvarande andel i föregående studie var 4.74%. För att komma till insikt om d et förelåg någon systematik i något avseende för de uppgifter där instruktionen inte följts eller där säkerhetsskattning inte angetts, analyserades dessa uppgifter med avseende på svårighetsgrad och vilket alternativ som v ar korrekt. Utfallet av denna analys kan sammanfattat beskrivas på så sätt att varken uppgiftens svårighetsgrad (latt/svår) eller vilket alternativ som ä r korrekt (A-E) hade någon betydelse för om i nstruktionen inte hade följts eller om s äkerhetsskattning saknades för en viss uppgift. I tabell 9 redovisas studiens utfall vad avser de säkerhetsskattningar som f örsökspersonerna i experimentgruppen gjorde i anslutning till respektive delproblem i det X X experimentella uppgiftsformatet NOG (se s 6). Tabellen bygger på en kvantifiering av de fyra alternativen "mycket säker, ganska säker, något osäker och mycket

20 17 osäker" i fyra skalsteg där det första av de nämnda alternativen tilldelats talet 1 och sedan i fallande ordning till det sista alternativet som således tilldelats talet 4. Tabellen bygger också på en differentiel1 poängsättning med variationsvidden 0-2 respektive 0-3 beroende på vilket alternativ som v ar korrekt. Tabell 9. Fördelning av differentiella poäng (0, 1, 2, 3) med angivande av genomsnittliga säkerhetsskattningar (x) för respektive uppgift. Uppgift Totalt n X n X n X n X n X I tabell 9 har uppgifterna grupperats utifrån svårighetsgrad och korrekt alternativ. Den övre tabellhalvan består därvid av lätta och den undre av svåra uppgifter och inom

21 18 den andra delen av varje tabellhalva återfinns uppgifter som har A, B eller D som k orrekt alternativ medan den första delen av varje tabellhalva innefattar uppgifter med C eller E som k orrekt alternativ. För de lätta uppgifterna (5,7,...,17) kan en viss systematik mellan skattad svårighetsgrad och erhållen differentierad poäng iakttas. Om a lternativ A, B eller D var korrekt (uppgift 1,3,...,17) hade i samtliga fall de försökspersoner som a ngett den största säkerheten också den högsta poängen- Om a lternativ C eller E var korrekt (uppgift 5,7,...,19) förelåg inte denna systematik. Vad avsåg de svåra uppgifterna (uppgift 6,10,...,20) kunde också i princip samma iakttagelse göras vad avser överensstämmelsen mellan skattad säkerhet och erhållen poäng, dvs det förelåg en systematik om a lternativ A, B eller D var korrekt men inte om a lternativ C eller E var korrekt. Vad avsåg säkerhetsskattningen totalt för respektive uppgift förelåg tendensen att en höger säkerhet angetts på lätta uppgifterna, indikerat av ett lägre medelvärde, medan en lägre säkerhet angetts för de svåra uppgifterna. I tabell 10 redovisas utfallet av den konventionella och den differentiella poängsättningen relativt skattningen av säkerhet för respektive uppgift.

22 19 Tabell 10. Antal observationer (n), konventionellt p-värde, differentiell poäng (x) och genomsnittlig säkerhetsskattning (x) för respektive uppgift i N0G xx. Differentiell Säkerhet Uppgift n P poäng (X) X , M C \ i O O C ) T L M C Uppgiftsgrupperingen inom tabell 10 är identisk med m otsvarande i tabell 9. Av tabellen framgår att relationen mellan uppgifterna utifrån poäng i princip inte förändras om A, B eller D är korrekt alternativ» däremot om C eller E är korrekt alternativ. Oetta gäller oavsett om u ppgifterna är lätta eller svåra. Mera konkretiserat innebär denna

23 20 iakttagelse exempelvis att för uppgifterna 1,3,...,17 erhålls samma rangordning mellan uppgifterna med avseende på svårighetsgrad oavsett om po ängsättningen skett konventionellt (0-1) eller differentie1it (0-2 alt. 3). I tabell 11 redovisas hur reliabilitet (KR20) och validitet (samband poäng-medelbetyg) förändrats beroende på om poängsättningen av NGG-provet skett konventionellt eller differentiellt. Tabell 11. Reliabilitet (KR20) och validitet (r Xy) för experiment- (E) och kontrollgrupp (K) vid konventionellt respektive differentiellt poängsättningsförfarande. Grupp n Konventionell poäng Differentiell poäng KR20 r xy KR20 r xy E K Avsikten med redovisningen av tabell 11 är i första hand att ge en beskrivning av hur mätsäkerheten påverkades av olika poängsättningsförfaranden. Rent generellt kan då konstateras att mätsäkerheten var relativt hög och på ungefär samma nivå oavsett vilket poängsättningsförfarande som tillämpades. DISKUSSION X X Det experimentella uppgiftsformatet (NOG ) var i denna studie utformat i enlighet med en rationell problemlösningsstrategi som delade upp en konventionell NOG-uppgift i två alternativt tre enklare delproblem. Detta förfaringssätt antogs ge en mera direkt uppskattning av en individs faktiska kunskap och - givet att det konventionella uppgiftsformatet var komplext - en skillnad i erhållen poäng beroende på om samma uppgift utformats i ett konventionellt (NOG) eller experimentellt (N0G xx ) uppgiftsformat.

24 21 Utifrån utfallet i totalpoäng i denna studie kunde emellertid inte någon effekt av det experimentella uppgiftsformat X X NOG konstateras. Tendensen var snarare den motsatta, dvs att det experimentella uppgiftsformatet var komplexare än det konventionella. Giltigheten i denna slutsats baseras då i första hand på att grupperna var jämförbara med avseende på prestationsförmåga på NOG, i andra hand på att det inte förelegat någon annan möjlig och ovidkommande faktor som kan ha påverkat poängutfallet vilket inte förefaller troligt. Om poä ng på förprovet (ORD) och medelbetyg betraktades som i ndikatorer på prestationsförmåga i detta sammanhang kunde också grupperna betraktas som jämförbara. Randomiseringen och de begränsade möjligheterna för ovidkommande faktorers påverkan gav ytterligare stöd för giltig- heten i konstaterandet att NOG X X -formatet i denna studie var komplexare än det konventionella uppgiftsformatet. XX Även om N OG r espektive NOG poängsattes differentielit, i syfte att återspegla förekomst av partiell kunskap, kvarstod samma tendens i utfallet, dvs att N0G x -formatet var komplexare än NOG-formatet. Eftersom tendensen i utfall var likartad innebar detta således att antingen påverkade förekomst av partiell kunskap de båda uppgiftsformaten på ett likartat sätt eller också existerade inte begreppet partiell kunskap hos individen. Av dessa två tolkningsalternativ är det första det rimligaste eftersom partiell kunskap med stor sannolikhet måste föreligga hos individer vilka besvarar NOG-uppgifter. Uppgiftsformatets konstruktion kräver nämligen ett ställningstagande till två informationspåståenden och i en situation där ett ställningstagande (ja eller nej) kan göras till enbart ett av dessa, vilket rimligtvis måste förekomma, föreligger således partiell kunskap.

25 22 I tidigare studier, som b aserats på samma teoretiskt härledda och sekvensiella problemlösningsstrategier för NOGuppgifter har också den sammanfattade slutsatsen varit att denna strategi inte haft någon effekt i endera riktningen på poängutfallet. Detta oavsett om a nsatsen har varit att via instruktion påverka individen direkt (Henriksson, 1981 b-d) eller om a nsatsen har varit att formalisera instruktionen via uppgiftsformatet som i denna studie, dvs en indirekt individpåverkan via uppgiften (se även Henriksson, 1981 e, f). Orsaken till att utfallet av det experimentella uppgiftsformatet avviker i denna studie, dvs blev komplexare än det konventionella, beror förmodligen på uppgiftssammansättningen av NOG-provet i denna studie. Urvalet av uppgifter utgick från uppgiftskarakteristika svårighetsgrad och korrekt alternativ och utfallet i detta avseende blev att då alternativ C eller E var korrekt var skillnaden mellan experiment- och kontrollgruppens poängmedelvärden störst. Detta innebar således att i de fall då X X * lösningsprocessen i en NOG -uppgift innefattade ett ställningstagande till tre delproblem var denna situation i betydligt svårare än om motsvarande uppgift gavs i det konventionella NOG-formatet. sig Vad avsåg skillnader i utfall beroende på uppgiftens svårighetsgrad (tabell 7) var tendensen den att gruppmedelvärdesskillnaden till kontrollgruppens fördel var något större för de lätta jämfört med de svåra uppgifterna. GruppmedeIvärdesskillnaden var signifikant för de lätta uppgifterna men inte signifikant för de svåra uppgifterna. Med enbart svårighetsgrad som indelningsgrund var således det konventionella uppgif tsf ormatet mindre komplext jämfört med det experimentella om u ppgiften var lätt.

26 23 Om k orrekt alternativ och svårighetsgrad beaktades samtidigt kvarstod betydelsen av C, E som korrekt alternativ. I dessa fall var det experimentella uppgiftsformatet komplexare än det konventionella uppgiftsformatet. Skillnaden var också statistiskt säkerställd. Om dä remot A, B eller 0 var korrekt alternativ och uppgifterna dessutom var svåra, var tendensen den att det experimentella uppgiftsformatet X X (NOG ) var mindre komplext jämfört med det konventionella uppgiftsformatet. Tendensen låg dock inom slumpens ram. I detta sammanhang bör det dock uppmärksammas att provsammansättningen med avseende på svårighetsgrad inte var speciellt representativ. I de NOG-versioner som i ngår i det reguljära högskoleprovet är det få uppgifter där p < 0.25 och p > 0.75o I detta prov var det 65% eller 13 uppgifter som u ppfyllde dessa krav (se s 8). Indikatorer på att det experimentella uppgiftsformatet var komplext i de situationer när alternativ C eller E var korrekt kunde också erhållas utifrån de säkerhetsskattningar som a vgavs i anslutning till respektive delproblem i experimentgruppen. Av tabell 8 framgick att det förelåg systematik mellan avgiven säkerhet i skattningen och erhållen poäng när A, B eller D var korrekt alternativ. Denna systematik, dvs överensstämmelse mellan hög säkerhet och hög poäng, förelåg inte när C eller E var korrekt alternativ. En möjlig tolkning till detta utfall är att uppgiftsformatets komplexitet, när C eller E var korrekt alternativ, medförde att individernas säkerhetsskattningar avgavs mer eller mindre slumpmässigt och snarare utifrån en personlighetsdimension är en faktisk kunskapsdimension (jfr Henriksson, f). Med korrekt alternativ som indelningsgrund kunde också en iakttagelse göras som g av ytterligare stöd åt tanken att i de fall där C eller E var korrekt alternativ kunde uppgiftsformatet (NOG eller N0G xx ) sägas ha betydelse. Rangordningen mellan uppgifterna från konventionell till différentiel1 poängsättning förändrades nämligen något mera om det korrekta alternativet var C eller E och något mindre om d et korrekta alternativet var A, B eller D.

27 24 Sammanfattningsvis kan därför konstateras att denna studie, tillsammans med tidigare genomförda studier (Henriksson, 1981 b-f), har påvisat att det konventionella uppgiftsformatet för NOG-uppgiften med r elativt stor sannolikhet inte är komplext, dvs det resulterar inte i en bristande överensstämmelse mellan faktisk kunskap och erhållen poäng som kan härledas till uppgiftsformatet per se. Detta innebär att utrymmet för ett poängtillskott utifrån betingelserna korttidsövning och korttidsinstruktion kan anses vara marginellt. Detta konstaterande gäller således primärt gruppen gymnasieelever i årskurs 3 men torde även kunna generaliseras till andra individkategorier som har viss erfarenhet av test (jfr Henriksson, 1981 a).

28 Bilaga 1 ORD1 79:5 Anvisningar Varje uppgift har öve rst ett ord understruket. Under det orde t står fem an dra ord. Ett av ord en anger betydelsen av det understrukna orde t eller betyder u ngefär samma sak so m det un derstrukna ordet. övningsexempel 1. A ilsken B farlig C ledsen D olydig E snuskig Ilsken betyder ungefår sam ma sak s om a rg. Böija med att markera det rätta svaret i provhäftet. Därefter skriver du sva ret på svarsblanketten. Om denna uppgift hade ingått i provet skulle du alltså ha skrivit så här på svarsblanketten 12 3 A övningsexempel 2. ryssja A garnvinda B fiskeredskap C torkställning D säng E smideshärd En ry ssja ä r ett fiskeredskap. Fiskeredskap är svarsförslag B. Om uppgiften had e ingått i provet sku lle du ha skrivit B på s varsblanketten. B Skriv alla svar pä svaisblanketten. Skriv tydligt. Om du inte kan lösa en uppgift bör du ändå bes vara uppgiften gen om att försöka bedöma vilket svarsförslag som verkar bäst eller rimligast. Pä nästa sida börjar provet som innehåller 30 uppgifter PROVTID: IS minuter VÄND INTE BLAD FÖRRÄN PROVLEDAREN SÄGER TILL!

29 Anvisningar Vaije uppgift inle ds med att en fråg a ställs. Därefter följer tvä påståenden. (!) och (2), som innehåller olika slags information. Uppgiften är att avgöra hur mycket information som behövs för att besvara frågan. Up pgifterna besvaras genom att du anger vilket eller vilka av påståendena du be höver anv ända. Undersök noggrant de olika svarsförslagen innan du besvarar uppgiften. Bilaga 2 a NOG 79:5 Vi böljar med ett övningsexempel: Hur mycket betalade Andersson i räntor för sina lån under året? (1) Andersson had e 3 lån. Sammanlagda lånesumman var 14S 000 kronor. (2) Vart och ett av An derssons lån löpte med 10 % ränta. Lånebeloppen var kronor, kronor och krönor. Tillräcklig information för lösningen erhålles A i (1) men ej i (2) B i (2) men ej i (1) C i (1) tillsammans med (2) D i (1) och (2) var för s ig E ej genom de båda påståendena Svarsförslagens innebörd A B C i (1) men ej i (2) = Den information som ges i (1) är tillräcklig. Enbart informationen i (2) räcker inte till. i (2) men ej i (1) = Den information som ges i (2) är tillräcklig. Enbart informationen i (1) räcker inte till. i (1) tillsammans med (2) = För att få tillräcklig information måste man använda både påstående (1) och ( 2). Enbart (1) eller enbart ( 2) ger ej tillräcklig information. D i (1) och (2) var för sig = Antin gen (1) eller (2) kan an vändas, eftersom båda var för s ig innehåller tillräckligt mycket information. E ej genom de b ftda påståendena = Inte ens genom att utnyttja båd e (1) och (2) kan man få tillräcklig information. Informationen i (1) räcker inte till för att be svara fråg an. Informationen i (2) är tillräcklig. Svarsförslag B är alltså rätt. Om uppgiften hade ingått i provet skulle du ha skrivit så här pä svarsblanketten. B Skriv alla s var på svarsblanketten. Skriv tydligt. Om du inte kan lösa en uppgift bör du ändå be svara uppgiften genom att försöka bedöma vilket svareförslag so m verkar bäst eller rimligast. Inget poängavdrag sker om du svarar fel. På nästa sida börjar provet som innehåller 20 uppgifter PROVTID:30 minuter VÄND INTE BLAD FÖRRÄN PROVLEDAREN SÄGER TILL!

30 ANVISNINGAR Varje uppgift inleds med en fråga eller ett problem. Bilaga 2 b NCG3 79:5 Därefter följer två påståenden (1) och (2), vilka innehåller olika slags information. Din uppgift är att avgöra om man kan lösa uppgiften utifrån den information som ges dels i (1), dels i (2). *«Om d u anser att uppgiften går att lösa utifrån informationen i (1) eller (2), markerar du i motsvarande ruta à Om d u anser att uppgiften inte går att lösa markerar du i motsvarande ruta 0 Nej Om d u markerat (x] för både (1) och (2), betraktar du (1) och (2) tillsanmans, (l)+(2), och avgör om u ppgiften går att lösa. Observera att du ska ta ställning till (l)+(2) enbart då du markerat 0 på både (1) och (2). Ja Nej Du ska dessutom också ange hur säker du är på att din markering {x] eller (xj är korrekt. Nej övningsexerrpel Kan man besvara frågan : "Hur mucket betalade Andersson i räntor sina lån under året?" om man vet att; (1) Andersson hade tre lån. Sammanlagda lånesunrnan var kronor. Ja Nej Hur säker är du? O Mycket säker O Ganska säker O Något osäker O Mycket osäker (2) Vart och ett av Anderssons lå n löpte med.10 % r änta. Lånebeloppen var kronor, kronor och kronor. Ja Néj O Mycket säker O Ganska säker O Något osäker O Mycket osäker Nej Om 0 på både (1) och (2), kan rran besvara frågan utifrån (l) + (2)? 3a Nej O Mycket O Ganska O Något O Mycket säker säker osäker osäker Om du inte kan lösa en uppgift bör du indé besvara uppgiften genom att försöka bedöma vilket svaisfönlag tom verkar bist eller rimligast. Inget poingavdrag sker om du sva rar fe l. Pi nasta sida böljar provet so m innehlller 20 uppgifter PROVTID:30 minuter VÄND INTE BLAD FÖRRÄN PROVLEDAREN SÄGER TILL!

31 Bilaga 3 Genomsnittlig poäng/uppgift f ABD CE Korrekt alternativ Kontrollgrupp o o Experimentgrupp Figur 3. Grafisk beskrivning av utfallet i tabell 6 där en uppgiftsgruppering gjorts utifrån korrekt alternativ: A, B eller D respektive C eller E.

32 Bilaga 4 Genomsnittlig poäng/uppgift 8 T I Lätt Svår Lätt/svår uppgift Kontrollgrupp o O Experimentgrupp Figur 4. Grafisk beskrivning av utfallet i tabell 7 där en uppgiftsgruppering gjorts utifrån lätta och svåra uppgifter.