Ännu tidigare betyg? Behöver grundskolan ännu mer konkurrens och ännu tidigare betygssättning?

Transkript

1 Ännu tidigare betyg? Behöver grundskolan ännu mer konkurrens och ännu tidigare betygssättning? Utgivare: Arbetarrörelsens Tankesmedja, a-smedjan.se Författare: Anne-Marie Lindgren November 2012 Författaren ansvarar för innehåll och åsikter Omslag: Clip Art Tryck: Socialdemokraternas Hus AB, Stockholm, 2012 ISBN:

2 INLEDNING Är det sant som hävdas i en rapport från IFAU att den ökande andelen friskoleelever förbättrar grundskolans utbildningsresultat? Anne-Marie Lindgren har gått igenom IFAU-statistiken och jämfört med vad bl a Skolverket kommit fram till: Det är inte statistiskt omöjligt att genomsnittsvärdena för en viss population exempelvis alla elever i grundskolans årskurs 9 ökar, samtidigt som värdena minskar för en viss delgrupp inom denna population. Lindgrens analys visar att konkurrensen kan ha positiva effekter, men också negativa. Och utvecklingen i skolan sedan 90-talets början visar båda effekterna. Där fördel - arna hamnat hos vissa grupper, och nackdelarna hos andra dessvärre de grupper som allra mest behöver skolans stöd. Undervisningssituationen blir alltså tyngre i skolorna i de socialt underprivilegierade områdena, eftersom koncentrationen av elever med skolsvårigheter och/eller brist på studiemotivation blir större. Det är inget problem man löser genom mer konkurrens eller fler friskolor. Snarare handlar det om att utveckla kompensatoriska program både pedagogiskt och ekonomiskt för att motverka de negativa effekter som konkurrensen uppenbarligen får för vissa skolor och elever. Anne-Marie Lindgren är fristående debattör och utredare, tidigare utredningschef i Arbetarrörelsens Tankesmedja. 3

3 Hur går IFAU-rapporten ihop med Skolverkets statistik? Skolverket har nu släppt statistiken över resultaten i årskurs 9 vårterminen Det genomsnittliga meritvärdet för landet fortsätter att öka, men nedgången i andelen elever som klarar gymnasiet fortsätter också. Första året med betygsskalan IG, H, VG och MVG var 1998, och då uppgick den genomsnittliga betygpoängen för årskurs 9 till 201, , sista året med denna betygsskala, hade detta värde ökat till 211, var 91,4 procent av samtliga elever som slutade nian behöriga för studier i gymnasieskolan var det 87,5 procent av alla nior som hade behörighet för åtminstone vissa gymnasieprogram 1. Nedgången i andelen gymnasiebehöriga elever har pågått hela tiden sedan Också i ämnet matematik som länge varit en svag punkt fortsätter den långsiktigt sjunkande trenden vad gäller andelen elever med godkända betyg. Skillnaderna växer mellan pojkars och flickors betyg flickornas ökar, pojkarnas sjunker. Huvudförklaringen till det är att pojkar till lågutbildade föräldrar och/eller med utländsk bakgrund når allt lägre genomsnittsresultat. Vilket är desto allvarligare som att det är de grupper som redan tidigare uppvisade de lägsta genomsnitten. En snabbgenomgång av statistiken från storstadsregionerna visar inga tecken på minskande skillnader mellan skolor i privilegierade respektive underprivilegierade områden; skillnaderna är fortsatt mycket stora med vissa indikationer på att de ökar. Bara någon vecka innan Skolverkets statistik kom publicerades en rapport från Institutet för arbetsmarknadspolitisk utvärdering (IFAU), med titeln Har den växande friskolesektorn varit bra för elevernas utbildningsresultat på kort och lång sikt?. Rapportens slutsats ser ut så här: 1 Behörighetskraven, dvs. de ämnen man måste ha godkända betyg i, har ändrats fr o m höstterminen Tidigare gällde samma behörighetskrav till alla program i gymnasieskolan. I dag gäller olika krav för olika program. Minst omfattande är kraven till de yrkesinriktade programmen, mest omfattande är kraven för det naturvetenskapliga programmet. 4

4 Vi kan konstatera att en ökning av andelen friskoleelever förbättrar både det genomsnittliga utbildningsresultatet i slut et av grundskolan och på lång sikt även gymnasiebetyg, universitetsstudier och antal utbildningsår. Vi kan vidare visa att dessa effekter är mycket stabila i förhållande till ett antal möjliga problem, som till exempel betygsinflation och olika trender i utfallsvariablerna före reformens genomförande. Intressant nog verkar det som om dessa positiva effekter först och främst beror på spridnings- och konkurrenseffekter och inte att friskoleelever vinner betydligt mer än elever på kommunala skolor. Rapporten beräknar att en tioprocentig ökning av andelen fri - skoleelever i vad man kallar en typisk kommun leder till att elevprestationerna ökar med 3 5 procent, mätt som det genomsnittliga meritvärdet för samtliga skolor i kommunen. Sannolikheten för att välja ett högskoleförberedande program i gymnasieskolan ökar med 2 procentenheter och sannolikheten att fortsätta till högskolan likaså med 2 procentenheter. Den totala utbildningstiden för en årskull har, vid 24 års ålder, ökat med nära 4 veckor. Hur går den rapporten ihop med Skolverkets statistik? Och med de många internationella studier som visar att svenska elevers kunskaper sjunker i flera ämnen? Ingen omöjlighet men inte hela sanningen Åtminstone det första kan gå ihop. Det är ingen statistisk omöjlighet att genomsnittsvärdena för en viss population exempelvis alla elever i grundskolans årskurs 9 ökar, samtidigt som värdena minskar för en viss delgrupp inom denna population. Skolverkets statistik visar precis det: det genomsnittliga meritvärdet ökar stadigt över tid, men andelen som saknar behörighet för gymnasiestudier ökar också. När man går närmare in i statistiken syns det också att även i kommuner där genomsnittsvärdena ökar, så gäller det inte om alla kommunens skolor. Det är i själva verket vissa skolor, och vissa elevgrupper, som drar betygsutvecklingen, medan andra ligger stilla eller sjunker. Något som betyder att skillnaderna mellan olika skolor ökar. 5

5 IFAU-rapporten utgår från den genomsnittliga betygspoängen i respektive kommun. Och utgår man från genomsnittsvärdena går det mycket väl att dra slutsatsen att betygen ökat mest i fri - skoletäta kommuner. Men vad är orsak och vad är verkan? 90 procent av alla friskoleelever finns i de större städerna ( invånare) och i storstäderna med deras kringkommuner. Den typen av kommuner har alltid legat högt i betygsutvecklingen, även före friskolornas tid. Det har att göra med befolkningsstruktur likaväl som med arbetsmarknadsstruktur i dessa kommuner. Så beror det faktum att de kommunerna toppar betygslistan på att där finns många friskolor, eller finns där många friskolor beroende på det är kommuner med stort befolkningsunderlag och stora grupper utbildningsmedvetna familjer? Dock, det är inget märkligt om konkurrens mellan många olika skolor fristående likaväl som kommunala skulle leda till höjda skolresultat, åtminstone genomsnittligt sett. Enligt alla teorier ska ju konkurrens ge bättre resultat än monopol. Monopol tenderar att skapa ineffektiviteter, eftersom producenten är garanterad sina kunder oavsett vad han/hon gör. Med fler producenter att välja mellan måste alla börja tänka efter vad som är bästa sättet att jobba, och det betyder ofta att man jobbar litet bättre. De gamla bostadsbanden till grundskolan innebar att varje skola hade monopol på de elever som bodde inom upptagningsområdet. På sina håll ledde det nog till slentrian i sättet att arbeta. När friskolorna infördes vid 1990-talets början, samtidigt som elever också dessutom fick rätt att utveckla egna profiler, ledde det till en hel del av både eftertänksamhet och nytänkande. Det skulle vara förvånande om det inte fått positiva effekter. Att effekterna skulle synas mest i storstadsregionerna och de större städerna är logiskt, av det enkla skälet att det där bor så mycket folk att det ger underlag för många skolor och med det konkurrens mellan dem. Men det finns några frågetecken att sätta, och ett allvarligt påpekande att göra. Det senare handlar om att de förbättrade genomsnitten inte är det- 6

6 samma som förbättringar i alla skolor och för alla elever. Konkurrens kan ha positiva effekter, men också negativa. Och utvecklingen i skolan sedan 90- talets början visar båda effekterna. Där fördelarna hamnat hos vissa grupper, och nackdelarna hos andra dessvärre de grupper som allra mest behöver skolans stöd. Kunskapssamhället? Men först åter till frågan är det självklart att det är just konkurrensen som förklarar de stigande betygen inom delar av skolsektorn, eller är andra faktorer också inblandade? Friskolereformen beslutades Och det har ju hänt en hel del i samhället sedan dess, även utanför skolan, och som påverkat både skolor och elever och skulle ha gjort det även utan friskolor. En sådan förändring är den allt starkare betoningen av kunskapssamhället och dess krav på god utbildning. En annan förändring är det sämre arbetsmarknadsläget, inte minst för ungdomar, som mer allmänt ytterligare stärkt betoningen av utbildningens betydelse och, mer specifikt, helt enkelt höjt arbetsgivarnas krav på ungdomars utbildning. Där det för tjugu år sedan var OK med gymnasieutbildning krävs i dag högskoleutbildning. Trycket mot längre utbildning har med andra ord ökat, och antalet platser inom högskolan byggts ut, delvis just av arbetsmarknadsskäl. Att förklara den ökade benägenheten för högskole - studier med framväxten av friskolorna är mot den bakgrunden för snävt. Högst sannolikt skulle den benägenheten ökat under alla omständigheter, som en följd av arbetslivets förändringar. Den absoluta merparten uppemot 90 procent av alla friskole elever finns som redan konstaterats i storstadsregionerna och i de större städerna. Det ger för det första förutsättningar för en faktisk konkurrens och med det konkurrenseffekter i form av stigande skolresultat, eftersom det finns underlag för många olika skolor. Men det är för det andra också regioner där arbetsmarknaden allt mer domineras av tjänstemannajobb, dvs. jobb som kräver utbildning, och det dessutom i växande utsträckning. En hög andel av föräldrarna till de senaste decenniernas skol- 7

7 barn har dessutom själva förhållandevis god utbildning och ser det förmodligen som självklart att barnen ska genom gymnasiet och helst till högskolan. Vilket också kan formuleras som att det i de regioner, där friskolorna och konkurrensen finns, finns också såväl den arbetsmarknad som de föräldraattityder, som i sig själva skapar känsla för det nödvändiga och önskvärda i goda studieresultat för barnens del. Det påverkar i sin tur barnen och därmed deras skolresultat. Det förefaller mer än troligt att de mekanismerna skulle gett utslag även utan friskolor och konkurrens. Effekterna av den här sortens attitydförändringar är förstås svåra att mäta och väga in i tabeller. Det betyder inte att man får bortse från dem. Samtidigt kan man konstatera att de förbättringar av skolresultaten som rapporten räknat fram är relativt små. Det kan ha samband med att konkurrensen också skapar mekanismer, som motverkar prestationshöjningar. För det rapporten studerar, det är som sagt statistiska genomsnittsvärden. Inte den statistiska spridningen. Men när man ska bedöma utvecklingen av skolans resultat är det inte bara genomsnitten som är intressanta, utan också spridningen, alltså avståndet mellan de högsta och de lägsta värdena. Den spridningen har ökat. Uttryckt på Skolverkets statistikspråk heter det att mellanskolvariationen, som är måttet på hur mycket resultaten skiljer sig åt mellan olika skolor, mer än fördubblats sedan slutet av 1990-talet. Det är en stor förändring. Den utvecklingen löper parallellt med den ökade konkurrensen. 8

8 Två sanningar om konkurrensens effekter Låt oss se på utvecklingen i de två storstäderna Stockholm och Göteborg, som båda har många kommunala skolor och många fristående skolor, och där man alltså kan tala om verklig konkurrens. Vårterminen 2012 var andelen friskoleelever i grundskolans sista årskurs 29,9 procent i Stockholm och 27,4 procent i Göteborg. Båda ligger kraftigt över riksgenomsnittet, som är 15 procent. Första året med slutbetyg enligt den fyrställiga betygsskalan MVG, VG G och IG var 1998, det sista året 2012 (nästa år tilllämpas den nya sexställiga skalan A F). Tabellen nedan anger genomsnittsresultaten i nian detta år respektive resultaten vårterminen 2012 för dels de kommunala skolorna, dels de fristående: Vt 1998 Vt 2012 Kommunal Fristående Kommunal Fristående Göteborg 202,4 228,7 206,9 (+4,5) 230,9 (+2,2) Stockholm 203,5 229,7 221,9 (+18,4) 235,6 (+5,9) Så långt stämmer det ju med IFAU-rapporten, genomsnittsresultaten har ökat i både de kommunala skolorna och de fristående skolorna. Ökningen har t o m varit högre i de kommunala skolorna. En notering dock: I Stockholm var genomsnittet för 2012 lägre än 2011 för både de kommunala skolorna och de fristående, i Göteborg sjönk genomsnittet för de fristående. Trots att andelen friskoleelever var högre 2012 än 2011 i båda kommunerna. Men resultaten har sannerligen inte ökat i alla kommunala skolor (och faktiskt inte heller i alla fristående skolor). Det som verkligen ökat är spridningen mellan skolorna. Det syns också mycket tydligt i Stockholm och Göteborg, två kommuner med stor boendesegregation, som slår igenom också i skolresultaten. Följande siffror är hämtade från min studie för A-smedjan från i våras, Varför ökar skillnaderna? (rapport nr 44/2012). I siffrorna ingår både kommunala och fristående skolor. 9

9 I Stockholm var det lägsta genomsnittliga skolresultatet i nian vårterminen poäng, det högsta 282. Tio år senare, vårterminen 2011, låg det lägsta resultatet på 128 och det högsta på 289. Utvecklingen var likartad i Göteborg. Vårterminen 2001 var det lägsta resultatet 149 och det högsta 257. Tio år senare hade det lägsta sjunkit till 136 och det högsta ökat till 265. I denna studie jämförde jag också resultaten för de åtta kommunala skolorna med de lägsta värdena 1998 respektive I Stockholm uppgick genomsnittet för de åtta skolorna med de högsta värdena till 262, var motsvarande värde 229,4, alltså en ökning med över 30 punkter. Genomsnitts - värden för de åtta skolor som 1998 respektive 2011 hade de lägsta värdena var oförändrat (165, och 165,7 2011). I Göteborg var meritvärdet för de kommunala skolorna med de högsta resultaten 236,8 år 2011 mot 225, För de åtta skolorna med de lägsta värdena var genomsnittet 174,5 år 1998 och 154 år Värdet för de lägsta skolorna har nästan inte förändrats alls Genomsnittet för de åtta skolorna i Göteborg som hade de lägsta värdena är detsamma som föregående år, 154. I Stockholm blir det 166,7, en så marginell ökning att den inte säger någonting. Dessa mycket låga genomsnitt är alltid kopplade till höga andel - ar elever som inte klarar behörigheten till gymnasieskolan andelarna kan uppgå till närmare hälften av eleverna. I några fall kan samtidigt andelen elever, som klarar godkända betyg i samtliga 16 ämnen, ligga på höga eller mycket höga genomsnitt, några gånger fullt i nivå med dem man finner i skolorna med de högsta genomsnitten. Det pekar på att problemen i dessa svaga skolor inte förklaras med dålig pedagogik eller dålig organisation, utan har tydliga sociala förtecken. Just i de här skolorna kan dessutom förklaringen stämma, att en hög andel elever kommit till Sverige långt in i skoltiden, något som skapar särskilda svårigheter att klara skolans mål. Det finns med andra ord två sanningar om betygsutvecklingen i kommuner med många friskolor, och 10

10 den gäller inte bara i våra två största städer. Den ena sanningen är att genomsnittet för alla skolor ökat. Tar man genomsnittet för de kommunala skolorna som grupp och de fristående skolorna som grupp har det också ökat. Den andra sanningen är att också spridningen, skillnaderna mellan olika skolor, har ökat. Vilket har att göra med att resultaten i vissa skolor inte ökat alls, utan står stilla på låga nivåer i den mån de inte sjunkit. Betygen har alltså inte ökat i alla skolor, inte ens alla skolor i friskoletäta kommuner. I både Stockholm och Göteborg är det skolor som i något olika inbördes ordning byter av varandra längst ner på listan över genomsnittsresultaten. Detsamma gäller i listans topp: det är i huvudsak samma namn, bara i litet olika inbördes ordning, som återkommer genom åren alltsedan Sju av de skolor som 2011 fanns bland de åtta med de lägsta genomsnitten i Göteborg finns bland de åtta lägsta även 2012; den återstående från 2011 hamnar på nionde plats nedifrån. I Stockholm finns fem skolor med bland de åtta lägsta både 2011 och 2012; de som rört sig ut respektive in bland dessa åtta har allihop värden som ligger bara aningen högre. Mönstret i betygsutvecklingen är med andra ord anmärkningsvärt stabilt över tid. Ett lika stabilt mönster är att de högsta betygen finns i områden med hög genomsnittlig utbildning, höga genomsnittsinkomster och låg utbildning. De lägsta resultaten finns lika stabilt i områden med de omvända kännetecknen. För skolorna med de ständigt låga genomsnitten har konkurrensen inte haft några som helst positiv effekter. De har just ingen möjlighet att konkurrera om elever från andra områden än det egna, men de mer studiemedvetna familjerna i det egna området väljer ofta bort skolan där; ett vanligt motiv är därvid att man vill ge barnen möjlighet att vistas i tydligt svenskspråkiga miljöer och därmed utveckla sitt språk mer. Undervisningssituationen blir alltså tyngre i skolorna i de socialt underprivilegierade områdena, eftersom koncentrationen av elever med skolsvårigheter och/eller brist på studiemotivation blir större. Det är inget problem man löser genom mer konkur- 11

11 rens eller fler friskolor. Snarare handlar det om att utveckla kompensatoriska program både pedagogiskt och ekonomiskt för att motverka de negativa effekter som konkurrensen uppenbarligen får för vissa skolor och elever. På den punkten återstår mycket att göra och det som behöver göras handlar varken om mer konkurrens eller tidigare betygssättning. En början borde vara att göra det möjligt för dessa skolor att anställa betydligt fler lärare, för att kunna arbeta i betydligt mindre undervisningsgrupper. På den punkten är forskningen entydig: i skolor med problematiska socioekonomiska förutsättningar får små undervisningsgrupper alltid positiva effekter i form av stigande skolresultat. Men de internationella studierna då? Det finns flera internationella forskningsprojekt, som i återkommande prov jämför kunskaperna hos elever i olika länder. Tre sådana projekt har genomförts sedan 1990-talet: PISA som följer kunskaperna hos 15-åringar i matematik, naturkunskap och läsförståelse, TIMMS som likaså studerar kunskaperna i matematik och naturvetenskap i det fjärde respektive åttonde skolåret, samt PIRLS som studerar läsförståelsen hos elever i årskurs 4. Samtliga dessa studier visar en sjunkande tendens för svenska elevers del, med en ökning av andelen lågt presterande elever och en minskning av andelen högt presterande. Hur får man det att gå ihop med IFAU-studien? IFAU-rapporten säger egentligen ingenting om den faktiska kunskapsutvecklingen i skolan. Studien säger att kunskaperna eller rättare sagt betygen ökat litet mer i friskoletäta kommuner än i kommuner med få friskoleelever, men säger ingenting om nivåerna som sådana. Och studien utgår helt enkelt från den svenska betygsstatistiken, så egentligen är frågan hur den går ihop med resultaten i de internationella studierna. Det gör den inte riktigt. Jämfört med 2000-talets början är det i dag en högre andel elever i samtliga de ämnen, som mäts i de nämnda internationella studierna, som fått det högsta betyget (MVG). I de internationella studierna sjunker däremot andelen högst presterande ele- 12

12 ver, eller är oförändrad. I matematik har andelen icke-godkända elever ökat, vilket stämmer med de internationella studierna, men i övriga ämnen sjunker andelen lägst presterande (alltså de icke-godkända). Det stämmer inte heller riktigt. Däremot ser man ju av den svenska statistiken att resultaten i de allra mest problemtyngda skolorna eller om man så vill eleverna med de största hindren att kämpa med sjunker eller ligger stilla på mycket låga nivåer. Såväl den svenska statistiken som PISA-studien visar också att skillnaderna mellan elever, och mellan skolor, ökar. På denna onekligen oroande punkt stämmer det. Resultaten i internationella studier kan givetvis inte utan vidare översättas till betyg i den svenska skolan betyg ska sättas med utgångspunkt i betydligt bredare och mer långvariga observationer än ett enstaka provtillfälle. Det är dessutom ingen enkel sak att konstruera prov som ska ge rättvisa utslag för elever från ett 40-tal länder med sinsemellan olika läroplaner och olika skolsystem. Det är möjligt att de internationella proven i några avseenden kräver kunskaper, som inte har så stor tyngd i svenska läroplaner, medan omvänt en del saknas i proven som spelar roll för bedömningen i den egna skolan. Men de invändningarna har ju å andra sidan även gällt de tidigare år dessa internationella studier genomförts, och där de svenska resultaten legat högre. Så även om nu de internationella studierna inte kan säga hela sanningen om elevernas samlade kunskaper i ett ämne, så måste det ses som oroande att studierna visar en långsiktigt sjunkande tendens. Det är inte alltid så lätt att mäta En nära till hands liggande förklaring skulle kunna vara den betygsinflation, som faktiskt existerar; det är inte helt ovanligt att skolor sätter högre kursbetyg än betygen på de nationella proven, och det finns också indikationer på att dessa senare prov ibland kan bedömas i överkant. Å andra sidan visar Skolverkets genomgångar att denna överbetygssättning inte är något som plötsligt dykt upp de senaste åren; den går lång tillbaka och har enligt Skolverket, inte ökat över tid. Men om en faktisk nedgång i kunskaper det senaste decenniet skulle ha dolts genom för högt 13

13 satta betyg, så borde det synts genom att betygsinflationen faktiskt ökat, inte att den bara är sig lik. Några sådana indikationer finns inte i Skolverkets material. Med tanke på IFAU-rapporten bör man också tillägga att Skolverkets studier inte ger belägg för att betygsinflation skulle vara vanligare bland konkurrensutsatta skolor, möjligen med ett visst undantag för de tre storstäderna. En annan möjlig förklaring till skillnaden mellan de internationella studierna och den svenska betygsstatistiken kan vara av matematisk art. Den svenska betygsskalan var fram till i år fyr - gradig, medan PISA är uppdelat i sex prestationsnivåer. Det kan innebära att elever som fyller de svenska kraven för MVG det högsta betyget ändå inte klarar de mer fingraderade högsta nivåerna i det internationella provet. Å andra sidan är TIMMS i likhet med den svenska betygsskalan fyrställig; dock är det ju möjligt att kraven för den högsta nivån är något högre ställda än i de svenska läroplanerna. Den här diskussionen visar, mer allmänt, att det inte är så lätt att mäta kunskapsutveckling som många kanske tror. Och att alla mätningar, hur statistiskt korrekt de än må vara gjorda, alltid har en osäkerhetsmarginal. Men en tämligen säker slutsats kan man dra: Även om nu betygsgenomsnittet i den svenska skolan ökar, och att det kanske avspeglar en faktisk ökning av kunskaperna åtminstone i somliga elevgrupper så är det inte tillräckligt för att följa med i utvecklingen i andra länder. Vid 90-talets slut presterade svenska elever över genomsnittet för de deltagande länderna i de internationella studier som då gjordes. Detta gäller fortfarande för 10-åringars läsförståelse, även om vi också där fallit tillbaka något. I övrigt hamnar Sverige nu på eller t o m under genomsnittet. Det beror dels på att de svenska resultaten sjunkit, dels på att flera andra länder ökat sina resultat, något som ju drar upp det samlade genomsnittsvärdet. Den nedgången, liksom det faktum att en ökande andel ungdomar inte klarar kraven till gymnasiet, innebär faktiskt risker för den svenska ekonomins konkurrenskraft i framtiden. Så även om betygen skulle ha ökat litet mer i kommuner där skolkonkurrens är störst eller åtminstone ökat för vissa grup- 14

14 per av elever så räcker det uppenbart inte för att följa med i förbättringarna i andra länder. Det är mer än konkurrens som behövs för det. På den punkten konstaterar nämligen PISA att länder med hög skolkonkurrens inte uppvisar bättre resultat än länder med låg konkurrens; konkurrens i sig självt skapar inte bättre resultat i internationella jämförelser. Däremot leder ökad konkurrens till minskad likvärdighet mellan skolorna. Och här stämmer det ju helt med de svenska erfarenheterna. Arbetarrörelsens Tankesmedja, a-smedjan, startades 2006 och har sedan dess gett ut ett 100-tal rapporter, som finns att ladda ner eller kan beställas i tryckt form från a-smedjan.se. 15