Strategi för att mäta effekt

Transkript

1 Strategi för att mäta effekt Version 2 November 2018

2 Innehållsförteckning 1. Introduktion Motivationslyftets vision Teori för förändring Logical Framework Approach (LFA) Att identifiera och mäta effekt Kontroll Utvärdering Analysnivå Två typer av analys Kategorier och typer av effekt Indikatorer på effekt Jämförelser Forskning Avslutningsvis

3 1. Introduktion Motivationslyftet har som syfte att generera positiva förändringar i elevernas attityder och beteenden kopplade till deras motivation för sina studier och sin hälsa. Eleverna får mentala verktyg och träning för att inte fastna i livets begränsningar, utan i stället se möjligheter och lära sig navigera förbi de hinder som dyker upp. Motsvarande gäller för de lärare och övrig skolpersonal som deltar i de personalutbildningar som är en viktig del av programmet. Vi kan endast utföra detta arbete i ett nära partnerskap med de skolor där vi har blivit inbjudna att implementera programmet. Rektorer, lärare och elever investerar mycket tid, kraft och resurser i arbetet med Motivationslyftet. Det är därför av största betydelse att vi utvärderar programmet för att bekräfta att arbetet verkligen uppfyller sitt syfte så effektivt som möjligt. Motivationslyftets legitimitet bygger på att programmet verkligen genererar de effekter som alla partners vill se. Vårt program startade med en vision och en förhoppning, men det blir endast hållbart och livskraftigt då vi kan påvisa effekter genom systematisk analys. I detta dokument presenterar vi den strategi och de analytiska verktyg vi fortsättningsvis kommer att använda för att identifiera och mäta graden av effekt. Vår strävan är att utföra detta analytiska arbete med full transparens gentemot våra partners på skolorna samt gentemot våra sponsorer. Vi kör med öppna kort då det gäller våra enkäter och andra instrument för att samla in data, och tillika då det gäller hur vi analyserar denna information och vilka resultat vi får. Vi välkomnar förslag och konstruktiv kritik som hjälper oss att förbättra vår strategi och våra analysverktyg. En aspekt av denna öppenhet är att betona hur beroende programmets effektivitet är av ett fortsatt nära partnerskap och effektivt samarbete med skolorna, samt långsiktighet och tålmodighet från våra sponsorer. Vi som jobbar med Motivationslyftet på hel- eller deltid klarar inte av att generera de effekter vi förväntar oss på egen hand. Förutom att förklara hur vi kommer jobba med att mäta effekter så är kanske det viktigaste syftet med detta dokument att visa hur och i vilka avseenden programmet är beroende av skolornas aktiva deltagande och sponsorernas långsiktiga vision. Vi förväntar oss att våra skolpartners och sponsorer håller oss ansvariga då vi brister i genomförande eller på annat sätt inte motsvarar de krav som rimligen kan ställas på oss. Därför kommer även vi vara tydliga om ett partnerskap sviktar och programmet inte får chans att fungera såsom det är tänkt. Detta dokument kommer hjälpa oss stärka vårt samförstånd kring vad ett partnerskap innebär inom ramen för Motivationslyftet allt i syfte att vi gemensamt kan bidra till att förverkliga Läroplanens vision för Sveriges elever och skolor och, ytterst, realisera grundlagens värdegrunder om individuella rättigheter och samhälleliga visioner om tolerans, respekt och demokrati. 3

4 2. Motivationslyftets vision Motivationslyftet är ett program som har utvecklats av och nu implementeras av organisationen Svenska SfL i samarbete med skolor, lärare och skolpersonal. Organisationen Svenska SfL är en av fyra organisationer som samarbetar under namnet Star for Life Group. Förutom Svenska SfL så består denna grupp av Insamlingsstiftelsen Star for Life Sverige, samt de två organisationer som implementerar program i skolor i Sydafrika och Namibia Star for Life South Africa respektive Star for Life Namibia. Samarbetet inom Star for Life Group har sitt ursprung i och hämtar sin kraft från en gemensam idé och övertygelse: att bestående positiva attityd- och beteendeförändring bland ungdomar endast är möjliga genom att stärka deras självkänsla och mentala förmågor att hantera den stress och de utmaningar som möter dem under tonåren. Programmet i Sydafrika och Namibia startades för att motverka spridningen av hiv och aids bland skolungdomar, men har under de senaste åren breddats till att inkludera en mer holistisk syn på hälsa, sexualitet och sexuella och reproduktiva rättigheter. I generella termer så syftar programmet i de svenska skolorna också till att främja elevernas hälsa i en holistisk bemärkelse samt till att motverka utanförskap. Vi återkommer snart till en mer utförlig diskussion om Motivationslyftets syften. För att reflektera allt det som organisationerna inom SFL Group har gemensamt så arbetar vi med samma formulering av vår centrala vision: a future in which young people are empowered to realise their dreams as responsible members of caring communities. Vi hoppas bidra till en framtid där unika individer kan realisera sina egna livsprojekt och att de därigenom bidrar till att stärka den omsorg och gemenskap som präglar det lokala samhället. Arbetet inom SFL Group underlättas av denna formulering av en gemensam vision. Trots alla skillnader mellan skolmiljöer och levnadsförhållanden så finns det finns många likheter i de sätt vi arbetar på. Allteftersom vi kontinuerligt reviderar och utvecklar våra program så utbyter organisationerna idéer kring innehåll och pedagogiska metoder. Vi lär av varandra. Dock, i fortsättningen av detta dokument kommer vi att diskutera Motivationslyftet enskilt. Även om organisationerna inom SFL Group har samma generella vision för en bättre framtid så strävar vi efter att nå olika konkreta mål och vi har olika förutsättningar att mäta till vilken grad vi faktiskt genererar de förväntade effekterna. I texten som följer kommer vi nu stegvis att presentera ett resonemang som specificerar vad vi har sagt så här inledningsvis. Vår strävan är att föra detta resonemang utan den jargon som annars lätt präglar texter om utvärdering. Vi vill att denna text skall vara lättillgänglig. Den specialist på utvärdering som vill fördjupa resonemanget ytterligare är välkommen att kontakta oss. 4

5 3. Teori för förändring På föregående sida presenterade vi den vision om en bättre framtid som inspirerar vårt arbete inom Motivationslyftet och inom hela SFL Group. Då vi nu vill specificera resonemanget så finns det två etablerade sätt att gå till väga på. Vi kommer här först att presentera ett schematiskt sätt att beskriva en teori om hur vi tänker oss att vårt dagliga arbete inom Motivationslyftet bidrar till att realisera förändringar i ungdomars attityder och beteenden samt, ytterst, bidrar till att realisera vår vision om framtiden. Under nästa rubrik (Logical Framework Approach) kommer vi presentera en alltmer komplex, men därför också mer realistisk, bild av de olika stegen i den kausala kedja av faktorer som är Motivationslyftet och våra partnerskap med skolor och sponsorer. Bild 1 nedan presenterar Motivationslyftets teori för förändring (eng. theory of change). Bild 1. Motivationslyftets teori för förändring SFLs teori för förändring RESURSER Resurser för insatser riktade till personal, elever och vårdnadshavare AKTIVITETER programkomponenter RESULTAT individuella effekter PÅVERKAN sociala effekter Metodik Expertis Forskning Partners Utbildning I självledarskap Fortbildning i elevhälsa Föreläsningar ochseminarier Kvalitétssäkring, uppföljning Material Erfarenhet Klassrumsarbete Handledning Utvecklingssamtal Konserter ochevent Ökat självledarskap, motivation och kapacitet Ökad förståelse för hjärnans funktioner Bättre studieresultat, ökatvälmående, förankring av värderingar och ökat ansvarstagande för sig själv och andra Mindre utanförskap Bättre arbetsmiljö, skolresultat, samverkan Elever som ärbättre rustade för framtidenskrav Liksom de två pilarna föreslår så läser vi bilden uppifrån. Organisationen Svenska SfL har en uppsättning resurser för att försöka åstadkomma förändringar i attityder och beteenden bland elever. En av dessa resurser är det program som vi kallar Motivationslyftet. Andra resurser är t.ex. den expertis och erfarenhet som våra anställda innehar, ytterligare en resurs är den budget som våra sponsorer har bidragit med. Då vi har lyckats samla in och/eller skapa de olika nödvändiga resurserna tar vi nästa steg att starta en serie olika aktiviteter. Dessa aktiviteter är vad 5

6 Motivationslyftets personal gör varje dag för att generera effekter, antingen ute i skolorna i direkt kontakt med eleverna eller på kontoret för att stärka organisationen och programmet. Om Svenska SfL har tillräckliga resurser och lyckas med implementeringen av aktiviteter så kan vi i nästa led i den kausala kedjan förvänta oss vissa mätbara resultat eller effekter av programmet hos den individuella eleven. Vi särskiljer två typer av mätbara effekter på individnivå som vi mycket förenklat kan kalla interna och manifesta effekter: 1. Interna effekter. I ett första skede ger programmet eleven ökad förmåga till självledarskap, kunskap om hjärnans funktioner och ökad motivation att realisera målbilder. 2. Manifesta effekter. I ett nästa skede leder de interna effekterna till förändringar i attityder och beteenden som kan observeras av andra, t.ex. att sluta med dåliga vanor eller förbättrade skolresultat. Vi är medvetna om att vårt försök här att kortfattat resonera kring dessa typer av effekter ofta väcker fler frågor hos läsaren än det besvarar frågor om definitioner och sätt att mäta. Vi måste dock be att läsaren har lite tålamod. Vårt resonemang kommer att bli alltmer specificerat allteftersom. Det sista steget i vår teori är att de interna och manifesta effekterna på individnivå genererar två typer av effekter som vi dessvärre inte kan mäta, åtminstone inte för tillfället. Dels förväntar vi oss effekter på längre sikt. Den kunskap, mognad och motivation som vi hoppas eleverna anammar kommer hjälpa dem på olika sätt långt in i vuxenlivet. Dels kommer summan av dessa individuella förändringar att ge effekter på kollektiv nivå, effekter som minskar graden av utanförskap bland ungdomar och unga vuxna i samhället i stort. Då vi resonerar om vår teori om förändring väljer vi medvetet ett sätt att skriva som antyder att vi litar på vår teori. Vi skriver t.ex. att våra aktiviteter kommer att generera vissa typer av effekter, eller att vi förväntar oss interna och manifesta effekter på individnivå. Det är självklart så att vi som jobbar med Motivationslyftet verkligen tror på programmets förmåga att generera dessa effekter. Vi har redan sett många anekdotiska exempel på dessa effekter ute på skolorna. Men det är viktigt att poängtera att vi inte tar dessa effekter för givna. Hela vår satsning på att skapa den strategi och de analytiska verktyg för systematisk utvärdering som vi presenterar här vittnar om vår förståelse att teori och anekdoter inte räcker för att bevisa programmets effekter. Det är bara genom regelbunden utvärdering och oberoende forskning som vi kan hävda med säkerhet att Motivationslyftet faktiskt fungerar såsom det är tänkt. Nästa steg i vårt resonemang presenterar vad som kallas en Logical Framework Approach (eller en LFA) av Motivationslyftet. En LFA låter oss bli än mer tydliga, specifika och konkreta i våra resonemang. Bland annat kommer vi att förstå hur viktiga våra partnerskap med skolor och sponsorer är då vi bedömer till vilken grad programmets effekter motsvarar våra förväntningar. 6

7 4. Logical Framework Approach (LFA) En LFA är ett strategiskt verktyg som hjälper en organisation såsom Svenska SfL att tänka klart och rätt om hur dess resurser används, hur aktiviteter implementeras, vilka effekter vi kan förvänta, vilka resultat som effekterna leder till samt vilka mer generella målsättningar som resultaten bidrar till att uppfylla. Vi känner igen detta resonemang från presentationen av vår teori för förändring, men en LFA tvingar oss att tänka än mer och än tydligare. Förutom att tänka vertikalt i olika steg från resurser till påverkan såsom vi gjorde med hjälp av vår teori så tvingas vi här även tänka horisontellt kring olika komponenter, indikatorer, sätt att verifiera, samt vilka antaganden vi gör. Låt oss använda vår LFA för Motivationslyftets gymnasieprogram som exempel, se bild 2 nedan. Bild 2. LFA över Motivationslyftets gymnasieprogram Komponent Indikator Verifiering Antagande 16 Delaktighet Mål 15 Tolerans Inte relevant Inte relevant Inte relevant 14 Krishantering 13 Studieresultat Genomsnittsbetyg per år per klass Information från skolan Resultat 12 Hälsa Frågor till eleverna, grad av välmående, Enkät och intervjuer 11 Relationsbyggande Frågor till eleverna Enkät och intervjuer Långsiktigt perspektiv Disciplin Medvetenhet 10 Samhällsengagemang Frågor till eleverna Enkät och intervjuer Effekter 9 Självledarskap/motivation Frågor till eleverna Enkät och intervjuer 8 Självledarskap/hälsa Frågor till eleverna, förståelse av vikten av sömn, kost, motion Enkät och intervjuer 7 Relationer/empati Frågor till eleverna Enkät och intervjuer 6 Relationer/kommunikation Frågor till eleverna Enkät och intervjuer Kumulativ inlärning Ämnesintegrering Intern kommunikation på skolan Effektiv implementering under tre år Aktiviteter 5 Schemalagt arbete med ML 4 Ämnesintegration Frågor till elever om slutförda förmågor Personalträffar en gång per två/fyra veckor Kvalitativ uppskattning av grad av integration Enkät Möten Samtal med coacher och rektor Kvalitetskrav Regelbundenhet Dedikation Långsiktigt perspektiv 3 Självskattning Frågor till eleverna Enkät Resurser 2 Kompetenta medarbetare 1 Program Koncept förankrad i teori och erfarenhet Granskat av experter Uppfyller specificerade arbetskvalifikationer Konkurrens mellan kvalificerade jobbsökanden Ansökandes CV Process för programkoncept Personalutbildningen Universitetsutbildningen Metod & handledarutbildningen 7

8 Vi har två begränsade syften med att resonera kring LFA i detta dokument. Vi vill dels visa läsaren och våra partners att vi har gjort dessa analyser internt och att vi välkomnar den som är intresserad till en fördjupad diskussion om hur vi gick till väga och vad vi lärde av analyserna att kontakta oss. Vårt andra syfte är att betona hur pass beroende vi är av fungerande partnerskap för att Motivationslyftet skall ha en chans att lyckas generera de effekter som vi alla vill se. Vi återkommer till detta andra syfte längre ner. Låt oss först ge en kort introduktion till LFA till den läsare som inte redan känner till detta strategiska verktyg. Den LFA vi presenterar som ett exempel är specificerad för att hjälpa oss tänka klart och rätt kring just Motivationslyftets gymnasieprogram. I andra LFA gör vi motsvarande övningar för t.ex. hela organisationen Svenska SfL och för vårt program på högstadiet. Det kan tyckas att vissa tankesteg saknas i den LFA vi prersenterar ovan, men dessa finns i så fall representerade i den mer generiska LFA som täcker hela vår organisation. Det går att läsa och resonera kring en LFA både uppifrån med start i målsättningar och nerifrån med start i de resurser vi har till förfågande vi väljer att starta nerifrån på rad 1 och 2. Vi börjar med att konstatera att vi har de två centrala resurser som krävs för att inleda arbetet på gymnasiet, d.v.s. vi har ett program och de medarbetare vi behöver. Vi går därefter åt höger i tabellen. Vi använder teori, erfarenheter från andra organisationer samt expertgranskning som indikatorer på att vårt program är relevant och korrekt utformat. Vi använder arbetsbeskrivningar och konkurrensen då vi tillsatte medarbetare som indikator på deras kompetens. I nästa steg kan vi verifiera hur vi skapade programmet genom att beskriva den process vi använde, samt vi kan verifiera kompetens via de CVs som skickades in då vi anställde medarbetare. Om vi sedan i nästa steg i vår tankeprocess gör antagandet (i den sista kolumnen) att skolornas lärare och övrig personal verkligen deltar aktivt i de utbildningar som inleder vårt arbete på en ny skola, då kan vi gå upp en rad i tabellen och specificera vilka aktiviteter som realiserar programmet. Det är denna fjärde kolumn antaganden som är av särskilt intresse för vår diskussion i detta dokument. De antaganden vi formulerar i denna kolumn, oavsett om vi diskuterar resurser, aktiviteter, effekter eller resultat är faktorer som Svenska SfL/Motivationslyftet inte har någon kontroll över, men faktorer som vi ändå är beroende av för att programmet skall fungera och generera effekt. Vi väljer att presentera dessa som antaganden, men vi skulle lika väl kunna formulera dessa faktorer såsom risker för programmet. Svenska SfL skulle t.ex. kunna erbjuda resurser till en gymnasieskola, men om personalen inte tar aktiv del i de inledande utbildningarna så skulle vi inte kunna arbeta effektivt på skolan. Detta inledande exempel kan tyckas självklart, men om vi istället flyttar upp vårt resonemang och istället fokuserar på de antaganden som är nödvändiga då vi går från aktiviteter till effekter, eller från effekter till resultat så kommer det bli mer tydligt varför LFA är ett värdefullt instrument för att identifiera de faktorer som kan avgöra om Motivationslyftet lyckas generera den effekt vi förväntar oss. 8

9 Om vi noterar att alla våra aktiviteter faktiskt genomförs ute på skolorna så är det ändå fyra faktorer som vi tvingas anta för att dessa aktiviteter skall generera effekter. Vi antar att implementeringen möter vissa kvalitetskrav, att aktiviteterna genomförs med föreskriven regelbundenhet, att de implementeras med en hög grad av dedikation, samt att detta görs tålmodigt med ett långsiktigt perspektiv. Vår poäng här är att om ett eller flera av dessa antaganden inte stämmer så kan vi inte förvänta oss effekt. Låt oss ta aktiviteten ämnesintegration som exempel. Vi anser detta vara en specifik aktivitet som är separat från det egentliga arbetet med eleverna inom ramen för de olika modulerna. Med ämnesintegration menar vi lärarnas användning av och referenser till Motivationslyftets olika begrepp, övningar och budskap oavsett vilket ämne som undervisas. Motivationslyftet kan inte förväntas ge effekt om eleverna inte blir påminda om och lär sig förstå hur de kan applicera det tänkande de lär sig inom Motivationslyftet på läroplanens alla ämnen och i skolmiljön generellt. Motivationslyftet representerar ett holistiskt tankesätt med en stor potential, men programmet kommer inte att förverkliga denna potential om det förblir en diskussion som är begränsad enbart till mentorstimmarna. Vi menar därför att programmet inte kommer lyckas ta steget från effekt till resultat om vi inte kan anta att skolans alla lärare och övrig personal förstår och är bekväma med att referera till Motivationslyftets resonemang i sitt arbete på skolan då det är relevant att göra så. Denna faktor är alltså central för programmets förmåga att generera effekt och resultat, men det är en faktor som Svenska SfL inte direkt kan kontrollera. Frånvaron av ämnesintegration innebär därför en riskfaktor för programmet. Detsamma gäller för de övriga faktorer som är identifierade inom kolumnen antaganden, även om de förmodligen inte alla har lika stor betydelse. De partnerskap som Motivationslyftet bygger på mellan Svenska SfL, skolor och sponsorer är av avgörande betydelse för programmet. Kanske är den allra viktigaste aspekten av dessa samarbeten att alla parter förstår vilka av dessa antaganden (eller risker) som de har inflytande över och hur de behöver agera för att stödja programmet på bästa sätt. Det är helt klart att Svenska SfL har enskilt störst ansvar för programmets innehåll och effektiva implementering, men vi klarar inte av att göra det på egen hand eller om vi i något avseende blir motarbetade eller möts av likgiltighet på skolorna. Motivationslyftet är beroende av väl fungerande partnerskap med ömsesidigt ansvarstagande för de faktorer vi har inflytande över. Då vi nu går vidare med att specificera olika strategier och verktyg för att kontrollera programmets implementering och utvärdera dess effekter och resultat så gör vi det under antagandet att alla parter bidrar på så sätt vi antar vara fallet i LFA. 9

10 5. Att identifiera och mäta effekt Vi startade detta dokument med att presentera Motivationslyftets ursprung och en mycket generellt formulerad vision om den framtid vi hoppas bidra till att skapa. Därefter introducerade vi den teori för förändring som på ett schematiskt sätt beskriver hur vi tänker oss att vårt arbete i skolorna kan leda till en sådan bättre framtid. De olika stegen i den kausala processen blev än tydligare med hjälp av en LFA som även betonade hur viktigt det är att Motivationslyftet hämtar kraft ur ett starkt och effektivt samarbete mellan Svenska SfL, skolorna och våra sponsorer. Ingen av oss kan åstadkomma den förändring vi vill se på egen hand. Men vad menar vi med förändring? Hur mäter vi förändring? Hur vet vi om Motivationslyftet har en effekt? I resten av detta dokument kommer vi försöka besvara dessa frågor. Ett generellt sätt att börja besvara frågorna är att säga att vi kommer arbeta systematiskt på dessa tre olika sätt: Kontroll. Vi kommer försäkra oss om att vi genomför alla programkomponenter och att implementeringen sker med bibehållen hög kvalitet. Utvärdering. En omfattande analys efter 36 månader för att testa programmets effekt. Mer begränsade diagnostiska stickprov kommer göras mellan månaders implementering. Forskning. Vi hjälper oberoende forskare vid universitet att bedriva teoristyrd forskning på Motivationslyftet. Låt oss nu fördjupa vår diskussion om dessa fyra sätt att arbeta systematiskt för att samla information med vars hjälp vi kan testa om Motivationslyftet genererar önskad effekt. 5.1 Kontroll För att kunna belägga om programmet har effekt måste vi veta att programmet verkligen har implementerats korrekt ute i skolorna. Detta handlar dels om hur mycket av programmet som har implementerats, dels om hur ofta eleverna har arbetat med modulerna, samt med vilken kvalitet läraren har arbetat med eleverna. Vi kan tänka på detta i termer av dos. På samma sätt som en medicin skall ges i en viss dos så bör Motivationslyftets program implementeras enligt en viss dos en viss mängd material skall täckas med en viss regelbundenhet. Vi kommer samla in information om programmets implementering på två huvudsakliga sätt. Dels genom vår kommunikation med våra skolstrateger, som i sin tur står i ständig kontakt med rektorer och lärare på ett antal skolor, och dels genom en enkät som vi ber eleverna fylla i efter 10

11 varje avslutad modul, två gånger om året. Dessa web-baserade enkäter är korta, kanske 5-6 frågor. Vi förser läraren med en länk som hen skickar vidare till eleverna under en mentorstimme. Vår kommunikation med lärare och elever kommer ge oss information genom vilken vi kan bekräfta att programmet verkligen har genomförts såsom det är tänkt, men vi kommer även få feedback om programmets kvalitet. Lärare kommer ge oss kommentarer om hur det är att arbeta med materialet och de har möjligen förslag på förbättringar såväl i materialet samt i vår pedagogik. Eleverna får chans att kommentera hur de uppfattade olika resonemang och övningar. Dessa kommentarer från lärare och elever är inte utvärdering, vi lär ingenting om huruvida programmet har haft en effekt, men vi får ändå värdefull information om hur programmet fungerar och uppfattas, information som kan hjälpa oss att stärka programmet ytterligare. Denna kontroll av programmets implementering hjälper oss då vi skall utvärdera programmet eftersom vi då vet om alla de klasser vi utvärderar faktiskt har tagit del av hela programmet. Om det har förekommit störningar i implementeringen kan vi ta detta i beaktande då vi gör utvärderingen. 5.2 Utvärdering Den bästa möjliga forskningsstrategin för att testa effekt av ett program som Motivationslyftet vore att identifiera individuella elever, samla in en mängd data om var och en av dem innan de börjar arbeta med Motivationslyftet, och sedan följa dem under åren de arbetar med programmet och kanske 5 år därefter. Vi skulle då kunna koppla ihop de enkätsvar som eleverna ger vid olika tidpunkter under deras skolår i vår datamängd och därmed kunna identifiera förändringar på individnivå. Men av främst etiska skäl är detta inte möjligt. Även om vi fick alla tillbörliga tillstånd att samla in och analysera sådan data så vore det en gigantisk praktisk uppgift som Svenska SfL inte skulle ha resurser att klara av. Vi kommer istället arbeta efter en strategi som är näst-bäst Analysnivå Vi kommer samla in data från individuella elever, men all denna information kommer vara anonym. Vår analysnivå är individer, men vi kommer inte kunna precisera graden av effekt på individnivå. Det närmaste vi kommer kunna komma är slutsatser från vår statistiska analys av typen andelen elever i årskurs 9 på skolan X som upplever en hög grad av stress har minskat med 30% jämfört med årskurs 7. Vi kommer kunna jämföra detta resultat mellan olika grupper av elever, men vi kommer inte kunna specificera graden av effekt på individnivå. Om en analys på individnivå kan sägas ge skärpa åt analysen, så kommer vår analys vara tämligen trubbig. Men därmed inte sagt att den inte har värde, eller att vår utvärdering är sämre än andra analyser av detta slag. 11

12 Tvärtom, den begränsning som vi tvingas acceptera drabbar de flesta utvärderingar, med undantag för de mest ambitiösa och resursstarka universitetsbaserade utvärderingsprojekten Två typer av analys Vår utvärderingsstrategi använder en kombination av två typer av analys: kvantitativ och kvalitativ. Detta innebär att vi kommer använda statistisk analys för att identifiera förändringar i attityder och beteenden med hjälp av de enkätsvar vi samlar in från eleverna åtminstone två gånger under tre år. Denna typen av analys bildar stommen i vår utvärderingsstrategi eftersom det bara är på detta sätt som vi kan generera slutsatser som tillåter generaliseringar vad gäller graden av effekt från Motivationslyftet. Dock, priset att betala för dessa generaliseringar är att analysen inte ger oss en kontextuell förståelse för alla de nyanser som vi behöver känna till för att riktigt kunna bedöma Motivationslyftets effekt. Vi kompletterar därför den statistiska analysen med intervjuer på skolorna. Vi kommer prata med elever i s.k. fokusgruppintervjuer och vi kommer prata med lärare och rektorer enskilt och i grupp. I dessa intervjuer kommer vi ställa frågor som ger personerna tillfälle att fritt kommentera vilka effekter de möjligen upplever från programmet, men vi kommer även presentera valda resultat från den statistiska analysen och be att de hjälper oss bättre förstå vissa resultat och mönster som vi identifierat i den statistiska analysen Kategorier och typer av effekt Den centrala frågan för vår utvärdering är vilken effekt har Motivationslyftet?. Vår diskussion i detta dokument har presenterat olika typer av effekt som vi benämner på lite olika sätt, vilket orsakar viss begreppsförvirring. Låt oss här försöka bringa klarhet. Vi förväntar oss följande två övergripande kategorier av effekt från Motivationslyftet: Individuell effekt. Detta är en effekt på en individs attityder, kunskap och/eller beteenden. Detta gäller i första hand elever, men även lärare och övrig skolpersonal till den del de har tagit del av Motivationslyftets utbildningar och andra aktiviteter. Institutionell effekt. Detta är en effekt på skolmiljön som tycks vara bestående, t.ex. en bättre kollegial stämning och samarbete mellan lärare, lägre frekvens av mobbning mellan elever och/eller lägre sjukfrånvaro. Av dessa två övergripande kategorier av effekter så är de individuella effekterna av större betydelse för Motivationslyftet. Vi fokuserar på individer. Men om vi lyckas åstadkomma förändringar på individnivå så är det troligt att dessa kommer leda till positiva förändringar på skolmiljön i stort. 12

13 Om vi fortsättningsvis fokuserar på den övergripande kategorin individuella effekter så kan vi göra den ytterligare distinktionen mellan interna och manifesta effekter som nämndes tidigare. Vi kan kalla dessa två under-kategorier av individuella effekter. Givet dessa kategorier av effekter så kan vi nu introducera olika typer av effekter. Dessa typer varierar beroende på vilken av Motivationslyftets olika aktiviteter och program vi pratar om. De skiljer sig åt mellan t.ex. personalutbildningen och vårt program på högstadiet. För att tydliggöra detta resonemang fortsätter vi använda Motivationslyftets gymnasieprogram som exempel, liksom vi gjorde då vi presenterade LFA tidigare. På raderna 6-9 i LFA ovan listar vi fyra typer av effekter som vi nu kan specificera såsom interna effekter. Se tabellen nedan. På raderna i LFA listar fyra resultat. Vi väljer nu istället att referera till dessa som manifesta effekter, alltså effekter i attityder och beteenden som kan observeras av andra. Kategorier Interna effekter Manifesta effekter självledarskap/motivation studieresultat Typer självledarskap/hälsa hälsa relationer/empati relationsbyggande relationer/kommunikation samhällsengagemang Efter att eleverna har avslutat Motivationslyftets gymnasieprogram förväntar vi oss att kunna identifiera positiva förändringar på dessa åtta olika typer av effekter. Vi förväntar oss t.ex. att de ska ha utvecklat starkare självledarskap och vara bättre på att bygga och bibehålla relationer än de var då de startade programmet. För att mäta dessa effekter använder vi indikatorer Indikatorer på effekt En indikator är ett sätt att identifiera och mäta en effekt. Varje typ av effekt (t.ex. de åtta typer vi presenterade ovan) måste ha minst en indikator, men gärna fler. För vissa typer av effekt är det ganska enkelt att se vad som är den bästa indikatorn. Ta studieresultat som exempel. Om vi vill identifiera och mäta en effekt på studieresultaten så måste vi använda elevernas slutbetyg. Kanske kan vi använda även andra indikatorer, men slutbetyget är en nödvändig och kanske tillräcklig indikator. Men de flesta av de effekter vi är intresserade av är betydligt mer komplicerade att mäta. Kanske finns det inget givet sätt att identifiera och mäta en effekt, kanske finns det inte ens ett bra sätt 13

14 att mäta. I så fall måste vi använda proxy-indikatorer, indikatorer som inte är perfekta men som vi kan argumentera är tillräckligt bra för att användas som rimliga mätverktyg. Ett begrepp som är centralt för Motivationslyftet är självledarskap. Vi ser i tabellen ovan att vi använder begreppet i två typer av effekter i gymnasieprogrammet. Eftersom det inte finns ett givet och enkelt sätt att mäta graden av självledarskap måste vi konsultera relevant literatur, kanske leta bland indikatorer som använts av andra program, eller på egen hand formulera frågor som hjälper oss att fånga in den kvalitet hos ungdomar som vi kallar självledarskap. Den enkät som vi nu har börjat använda innehåller knappt 30 frågor som vi använder som indikatorer på interna effekter för våra program i högstadiet och/eller på gymnasiet. Vi kommer inte här specificera vilka indikatorer vi använder för att mäta olika typer av effekt, men den informationen finns tillgänglig för den läsare som är särskilt intresserad Jämförelser All utvärderingsstrategi bygger på jämförelser. Den optimala jämförelsen är att jämföra svar från samma individ vid olika tidpunkter, men detta är alltså inte möjligt att göra p.g.a. etiska skäl. Våra utvärderingar av Motivationslyftet kommer använda två andra typer av jämförelser, i den mån det är alls praktiskt möjligt för oss kan vi möjligen använda även en tredje typ. Varje utvärdering kommer bygga på en jämförelse mellan data vi samlar in efter 24 eller 36 månader och den data vi samlade in då vi gjorde en baseline analys innan vi startade programmet på en ny skola eller innan vi började arbeta med en ny årskurs 7 eller 1 på gymnasiet. Vi håller just nu (i oktober och november 2018) på med att samla in en första omgång baseline data från ca 2200 elever i de skolor vi arbetar i. En andra typ av jämförelse blir möjlig om vi kan koppla vår enkät till en annan enkät som redan används i större skala. Vi gör detta i den pågående insamlingen av baseline data. Fem frågor i den aktuella enkäten är synnerligen relevanta för våra syften, men de är hämtade ur Stockholmsenkäten som regelbundet används för att samla in information från tusentals ungdomar i Stockholmsregionen. De svar vi får in från våra ungdomar kan på detta sätt jämföras med svaren från långt fler skolungdomar än vad vi själva skulle klara av att samla in. Avslutningsvis, en tredje form av jämförelse skulle vara att samla in data via vår enkät i ett antal klasser i skolor där vi inte arbetar med Motivationslyftet. För att göra denna jämförelse är vi beroende av ett samarbete med rektorer och lärare som inte känner oss. Vi kan inte ta detta för givet, men vi arbetar på att skapa kontakter på sådana skolor för att kunna distribuera vår enkät vid ett senare tillfälle. 14

15 5.3 Forskning I detta avslutande stycke vill vi kort presentera hur vi tänker kring denna tredje form av systematisk analys för att testa huruvida Motivationslyftet verkligen har de effekter vi förväntar oss. Skillnaden mellan å ena sidan vår kontroll av aktiviteter och vår utvärdering och, å andra sidan, forskning, är att vi som arbetar inom Svenska SfL och Motivationslyftet inte är direkt inblandade i forskningen. Detta är ett mycket medvetet val vi gör för att garantera att forskningen är helt oberoende av vår organisation och därmed inte kan misstänkas för att ha tagit otillbörliga hänsyn till organisationens intressen. Vi vill påpeka att den kontroll av aktiviteter och den utvärdering vi gör internt utförs av personal med forskarkompetens, och att vi välkomnar kritiker att granska vårt arbete med utvärderingarna. Men trots denna kompetens och öppenhet förstår vi vikten av att forskningen utförs helt oberoende av organisationen. Vi välkomnar alltså intresse från forskare vid Sveriges universitet för att driva denna forskning på Motivationslyftet. Vi kan hjälpa till med kontakter och tillgång till de skolor vi arbetar i, och all den data vi samlar in står till forskningens förfogande. Vi kan möjligen intressera befintliga eller nya sponsorer att finansiera sådan forskning. 6. Avslutningsvis Avslutningsvis vill vi poängtera att vi som jobbar med Motivationslyftet gärna vill att vårt program utvärderas, testas och forskas på eftersom vi är säkra på att det har en positiv effekt på eleverna. Vi anser att programmet fortfarande är i en initial tillväxtfas som inom ett par år kommer generera den data vi behöver för att på ett systematiskt sätt kunna identifiera de positiva effekter vi förväntar oss. På basis av dessa initiala resultat kommer vi kunna växa ytterligare och arbeta i än fler skolor med än starkare resultat. Tack för ert intresse i Motivationslyftet. Vi hoppas att denna presentation av vår strategi för att mäta effekt har stärkt ert förtroende för vårt program och därmed er vilja att inleda eller fortsätta och konsolidera ett befintligt partnerskap. Du är mycket välkommen att kontakta mig om du har frågor eller kommentarer på vår presentation i detta dokument. Per Strand, Fil. Dr. Vetenskaplig rådgivare Star for Life per@starforlife.org 15