Dagens upplägg Vad är vägledning och vad är utvärdering? Vem vill vad? Viktiga frågor Dilemman på vägen Exempel på utvärderingar Normativa utgångspunkter Tänk på! Vem har sagt det är enkelt. 2008 02 19 Anders Lovén 1
Bred och smal vägledning Bred bemärkelse: Hela den verksamhet som syftar till att elever/klienter förbereds/planerar för sin framtid. Inkluderar undervisning, arbetslivskontakter, lärare elev samtal, information internet, mässor, beök mm Smal bemärkelse: Den verksamhet som vägledaren huvudsakligen bedriver. Samtal enskilt, grupp. En helhetssyn inkluderar bägge. Därför måste de samspela. Ger underlag till en diskussion på arbetsplatsen. Vem gör vad? 2008 02 19 Anders Lovén 2
Varför utvärdering? för att lära, för att kontrollera och redovisa resultat, eller för att få underlag för beslut Utvärderingens inriktning och uppläggning får olika utseende beroende på vilken fråga som betonas. Behov Vilka är de behov som uppdragsgivaren vill möta, hur ser de ut och kan någon annan möta dem? Åtgärder Vilka åtgärder vidtogs för att möta behoven? Effekter Vad blev resultatet av dessa åtgärder? Orsakssamband Vilka faktorer har påverkat resultatet? Genomförandeprocesser Genomfördes åtgärderna på bästa sätt? Måluppfyllelse På vilket sätt förhåller sig resultatet till målet? Effektivitet Var åtgärderna ett effektivt sätt att nå resultatet? (Statskontoret, 2001) 2008 02 19 Anders Lovén 3
En inledande definition I ett övergripande perspektiv kan vägledning ses som en pedagogisk aktivitet som med information, motivation, stöd och andra hjälpande aktiviteter och med utgångspunkt i såväl individens resurser som möjligheterna i omvärlden har som mål att underlätta för individer och grupper i alla åldrar och vid olika tidpunkter i livet att välja utbildning, yrke eller karriär och att bidra till en bättre livsplanering. 2008 02 19 Anders Lovén 4
Teorier i vägledning Karriärutvecklingsteorier förklarar varför människor väljer eller hamnar i olika positioner/jobb/yrken Vägledningsteorier förklarar vad som händer i samtalen (möten) mellan vägledare och sökande (även förutsäger)) Val/beslutsteorier förklarar vad som händer i en val/beslutssituation 2008 02 19 Anders Lovén 5
Historisk utveckling från positivism till hermeneutik? Allt går att mäta för och efterenkäter. Hypotesstudier. Experiment och kontrollgrupper. Statistiska mätmetoder. Reaktionen inget går att mäta. Tolka och förstå. Småskaliga studier. Förförståelse, ingen är opartisk. Intervju, observationer, dokumentgranskning. Både och. Alltfler studier kombinerar kvantitativa och kvalitativa metoder. Idag. Allt större tryck på resultat. Vad leder vägledning till? Är det lönsamt? Kavitetsindikatorer efterfrågas? Med andra ord fler utvärderingar/evalueringar 2008 02 19 Anders Lovén 6
För och emot FÖR: Verksamhet som bekostas med offentliga medel måste utvärderas Når de målen för verksamheten? Vad leder vägledning till? Är den lönsam? Kan vi finna/formulera good examples/good practice? EMOT: Omöjligt att mäta komplexa samband Bygger på en positivistisk syn om orsak och verkan som inte fungerar Vi kan endast fånga delar av verksamheten Kompromiss: Utvärdera med medvetenhet om komplexiteten. Använd olika metoder och angreppssätt. Tolka nyanserat!
Viktiga utgångsfrågor Vem beställer utvärderingen? Vad vill de? Vem utvärderar? Vilket syfte? Vad skall utvärderas? Finns det mål som skall utvärderas? Personlig utveckling/tillfredsställelse? Framgång i utbildning/yrke? Minskade studie avbrott/frafald Vilka målgrupper/urval? Tänk på genus, sociala grupper och etnicitet! När utvärderas? Före under efter långt efter? En tidpunkt eller process? Hur skall utvärderingen ske? Enkäter, intervjuer, observationer etc. Kombination? Hur rapporteras? Var läggs tyngdpunkten? Rekommendationer? 2008 02 19 Anders Lovén 8
Vad kan utvärderas? Personlig utveckling/tillfredsställelse. Nöjdhet, feel good Stabilare val mindre drop outs. I backspegeln rätt val Ökad kunskap, insikt om sig själv och omvärlden karriärkompetens (emancipatorisk, medvetandegöra) Jämlikare samhälle fler får tillgång till utbildning etc 2008 02 19 Anders Lovén 9
De dubbla budskapen Positiv osäkerhet, håll vägarna öppna, utnyttja tillfälligheter Gå inte raka vägen! Prova dig fram och räkna med att byta inriktning och yrke Välj vad du känner för! 95% till ungdomsudannelse 50% skall läsa på högskola/universitet Avhopp och programbyten bör undvikas. Inga omvägar Handlingsplanen viktig och lever Du skall jobba i minst 40 år r i en förändrad f värld. Vad betyder det för f r vägledningen? v
Skilda perspektiv Vägledarens perspektiv rolluppfattning, egna värderingar, visioner, arbetssätt, metoder Sökandes/kundens/klientens perspektiv förväntningar, värderingar, upplevelser, påverkansfaktorer Uppdragsgivarens perspektiv politiker, skolledare, policymakers synliga resultat Kringpersoners perspektiv arbetsgivare, föräldrar ensidiga förväntningar Organisation och utformning vägledningscentra, arbetsförmedling, projekt vilken betydelse? 2008 02 19 Anders Lovén 11
Samhälle Individ Förändring Samhällsförändrande modell Individförändrande modell Anpassning Kontrollmodell Icke-styrande modell 2008 02 19 Anders Lovén 12
Behoven mångfaldiga och därmed utvärderingen mer mångfacetterad Information svårare att överblicka, fler alternativ Fatta beslut valångest, kan inte avväga, vågar inte välja bort Hjälp på vägen avstämning, stöd, coaching Motivation hur går jag vidare? Hur ser jag framåt? Förstå sig själv och livet vem är jag? Hur skall jag leva? Vad skall det bli av mig? Bli sedd jag finns, stanna upp, vila i sig själv, lätta på trycket. Behov av bekräftelse få professionell återkoppling 2008 02 19 Anders Lovén 13
Olika kulturer/generationer Reza: Frihet, tror jag att välja. För att det skulle inte vara bra med en vägledare att man inte skulle, liksom, ta det här. Eller, det här är bra. För man vill ju känna en frihet eller det är ju man själv som skall gå där. Rezas mamma: Hon (vägledaren) skulle övertyga, alltså hon vet hur personen är, till exempel hon vet hur min son är. Hon kunde övertyga honom om att det ska inte passa honom det här. Och försöka ta några samtal med honom för att han inte ska ta den. Hon måste tänka på föräldrarna också. Alltså föräldrar vill alltid det bästa för barnen. 2008 02 19 Anders Lovén 14
Balansen förstå och ge råd men inte styra mig. Vägledaren skall inte säga att detta är bra för då är det lätt att du gör det. Men de skall inte heller göra tvärtom för då är det som om de inte bryr sig. Det är bättre med någon som bryr sig men inte för mycket, va (Flicka, 16 år) 2008 02 19 Anders Lovén 15
Världens sämste vägledare eller en spegel av samhällsutvecklingen Ram Wallace, Newcastle, England utnämnde sig själv till världens sämste vägledare. Orsak 1: Vid ett samtal med Alan Shearer avrådde han honom från att satsa på fotboll som en karriär. Alan Shearer blev senare en av Englands högst avlönade spelare och landslagsman i många år. Orsak 2: Vid ett samtal med Mark Knopfler avrådde han honom från att satsa på musiken då det knappast ger mat för dagen. Mark Knopfler och Dire Straits tjänade på kort tid betydligt mer än mat för dagen. Förklaring: Ram Wallace ansåg i efterhand att han var formad av den tidens industrianda. Du måste skaffa dig ett hederligt yrke och försörja dig. Wallace var verksam i en typisk industriort i England, Newcastle, där dessa värderingar var självklara. Vilka värderingar uttrycker dagens vägledare? 2008 02 19 Anders Lovén 16
Typer av utvärderingar 1) Jämförelse olika grupper/olika interventioner. 2) Resultatmätningar. Ofta före efter. Effekter: Feelgood, kunskaper, skalor (Career Decision Scale, Vocational Maturity Test). Följer projekt. 3) Longitudinella: Följer grupper/individer längre tid. Nedslag med jämna mellanrum. Såväl karriärposition som vägledarnas/andras interventioner. 4) Kombinationer. Mätningar före efter + intensivstudier/fallstudier av uppfattningar, möten, lektioner etc.
Exemplet Kalle eller utvärderingens dilemma Samtal 1: Kalle vill gå el programmet små möjligheter, brist på insikt. Vägledaren nämner energiprogrammet, avvisas av Kalle Samtal 2. polisen på besök. Kalle vill bli polis men inser svårigheterna. Åter till el programmet men lyssnar något till energiprogrammet Studiebesök på energiprogrammet klart intressant Samtal 3. Väljer energiprogrammet. Uppföljning två år senare. Vägledaren betydde ingenting! De borde lära sig mer om programmen 2008 02 19 Anders Lovén 18
Careers Scottland En ambitiös utvärdering i flera steg. Enkät till de som haft kontakt med Careers Scottland. Ett mindre antal, 5o stycken, telefonintervjuades. Exempel på frågor: It helped me make the best possible choices. 72% It made me more open about my options. 82% I felt pushed into doing something I didn t want to do. 3% Extent to which information, advice or guidance recieved from CS helped employment prospects (in current or future jobs) 70% 2008 02 19 Anders Lovén 19
Intervjuer Intervjuerna gav vid handen att vägledningen hjälpte individerna i situationer där vänner, familj etc inte räckte till. While there was nothing specific, I recieved some excellent moral support in a dreadful situation. I left with a less negative feeling about my situation. They pointed out that I wasn t alone, that my situation was not uncommon and they encouraged me to be realistic and to look at my options. 2008 02 19 Anders Lovén 20
Projekt med långtidsarbetslösa (Donohue, Patton, 1998) 50 deltagare följda under tre år 78% menade, direkt efter vägledning, att vägledningen resulterade i direkta och positiva förändringar. Ex. Förändring i deras situation, fått alternativa idéer/möjligheter, förändrat sitt tänkande, fått en knuff i rätt riktning. Ett år senare var hälften av deltagarna igång med att öka sin kompetens genom utbildning Hinder för att komma vidare fanns utanför vägledningen. Ex. ekonomi, barnpassning, lokal arbetsmarknad, hälsa Ett år senare fann 87% att vägledningen varit användbar Fem skäl till ovan: gav tillgång till specifik information, reducerade förvirring, motiverade eller gav nya insikter, bekräftade idéer, byggde upp förtroende. Vägledning har varit en katalysator för positiv förändring!
Exempel på utvärdering Learndirect: 100 opkald blev analyseret, 1000 brugere blev kategoriseret, vejledere blev interviewet, og ledelse og økonomi i learndirect blev undersøgt (se "An evaluation of the Ufi/learndirect telephone guidance trial"). Brugerne var generelt meget tilfredse med vejlederne og den vejledning, de fik pr. telefon. Det var feel good delen, som også viste, at de vejledte var blevet mere opmærksomme på uddannelsesmuligheder (32 %) og mere klare i forhold til karrieremål (26 %). Og og det er pointen her: De vejledte havde tre måneder senere fået arbejde (19 %), startet på en uddannelse (30 %) eller søgt nyt arbejde (25 %) og de relaterede dette til deres kontakt med Learndirect. (Plant, 2007) 2008 02 19 Anders Lovén 22
Vår studie Enkäter före och efter gymnasievalet valet till 800 elever Intervjuer före och efter gymnasievaletvalet samt två år senare med 25 elever Inspelade vägledningssamtal med 8 elever 2008 02 19 Anders Lovén 23
Några resultat 83% anser att valet är ett viktigt beslut 78% anserattdetärviktigtattha någonattpratamed om valet 70%, vet i förenkäten vad de skall söka men 45% tycker det är ett svårt beslut Även om 84% är säkra (I efterenkäten) att de har valt rätt alternativ är det ändå 42% som vill ha mer information om det valda programmet 27% hade velat att inte alls söka till gy skolan och 21% vill inte gå I gyskolan om de haft ett annat alternativ Fiickor uttrycker större osäkerhet inför valet och inför framtiden samt säger I större utsträckning att de ibland känner sig ensamma och övergivna Pojkarna har kortare perspektiv och fler skulle vilja slippa gå i gyskolan (Dresch Lovén, 2007) 2008 02 19 Anders Lovén 24
2008 02 19 Anders Lovén 25
What did you get from your career counsellor and your opinion about it 2008 02 19 Anders Lovén 26
Den gode vägledaren Den gode vägledaren är synlig, lätt att förstå, skapar en bra relation, gerklarochbegripliginformation, är förtroendefull, och inte för vek eller mesig. Den gode vägledaren skall både skapa en god relation, och upprätthålla en god struktur. Hon skall dessutom ha bra verktyg och kunna tolka och presentera komplex information Rasmus: Den bäste vägledaren är en med mycket information och som är tydlig, så de inte säger för mycket, så man glömmer bort hälften. Så de håller sig till det viktigaste. Sen kanske hon har lite papper som man kan ta med sig. Glad är ju bra. Det är väl bara det. 2008 02 19 Anders Lovén 27
Syn på arbete och vägledning (processutvärdering av arbetslösa kvinnor, Lindström, 1998) Tre grupper av sökande kunde urskiljas. Synen på lönearbete hängde samman med förväntningar på vägledning. 1. Lön för dagen/försörjning KUND 2. Social identitet KLIENT 3. Självförverkligande KOLLEGA 2008 02 19 Anders Lovén 28
Undersökning av ett infotek/vägledningscentra Undersökning på Infotek tidigare studier visar att 34% frågar personal, 19% använder datorer, 18% använder broschyrer, 28% kombinerar enligt ovan. Mest frågor om utbildning (69%), därefter test (28%) och yrkesinformation (22%) Kombinerar observation och intervjuer Tre sökbeteenden 1)Papperssökning kataloger, blanketter, broschyrer, personalen kopplas in efter ett tag 2)Datorsökning söker ofta på egen hand 3)Allmän sökning går runt, prövar olika medier, ställer ibland frågor till personalen 2008 02 19 Anders Lovén 29
Två inställningar och tre grupper Personligt problem som jag bör lösa på egen hand självservice prioriteras Behov att diskutera med andra vänner eller mer professionell hjälp som de saknar infotekets policy är att inte ge längre personlig vägledning Tre grupper 1)Hämtare korta besök, hämtar broschyrer etc. Verkar ha fattat beslut innan de går in 2)Väljare har inte beslutat sig, självsöker till viss del men rådfrågar även personalen, ibland flera besök 3)Frågare direkt till personalen, vet ej, är osäkra, väljer enkla vägen, tycker personalen är kompetent (Listerman, 2000) 2008 02 19 Anders Lovén 30
Så bör vägledning fungera enligt elever i gymnasiet (Munk, 2006) Att den får dem till att arbeta med sin egen förståelse av utbildnings och yrkesval och lära dem att bli bättre på att välja Att den får dem till utvidga deras perspektiv och undersöka utbildningar på egen hand Att den skall visa dem var de kan bli klokare, finna kunskap och information samt visa dem deras möjligheter Att den skall bekräfta dem att de är på rätt väg Att den skall utmana dem, men inte för mycket Att den inte skall pressa dem till att välja speciella utbildningar eller utbildningsområden 2008 02 19 Anders Lovén 31
Kriterier för god vägledning Vägledaren har god kommunikations och samtalsförmåga. Detta innebär såväl lyssnande som perspektivvidgande färdigheter. Vägledaren kan möta och hantera även personliga problem inom rimliga ramar och se dess sammankoppling med studie och yrkesvalet. Vägledaren är en god pedagog så att syfte, innehåll och ramar tydligt klargörs för eleven både före och under samtalet. Vägledaren har förmåga att strukturera och förmedla information så att eleven förstår och tar till sig densamma. Elevens problemsituation utreds och eleven har själv insikt om denna. Eleven utvecklar kunskap om sina resurser och möjligheter i relation till omvärldens krav. Eleven får hjälp att värdera och stegvis reducera sina alternativ och förstår vad som behöver göras i ett framåtsyftande perspektiv. Eleven förvärvar insikt om väljandets komplexitet och sambandet mellan individ och samhälle Eleven får hjälp att aktivt bearbeta sin situation och redskap för att kunna hantera valsituationer i framtiden Anders Lovén (Lovén, 2000) 2008 02 19 32
Career management Enligt Berry (2001) är avsikten med career building och career management att hjälpa studenter att bli sunda medborgare med självtillit och med förmåga att hantera ständiga jobbförändringar och samtidigt bibehålla balansen mellan rollerna i vardagslivet och arbetslivet. Han talar om det nya paradigmet och beskriver de s k "high five" principerna: 1) Känn dig själv, tro på dig själv och följ ditt hjärta. 2) Fokusera på resan, inte destinationen. Bli en god resenär. 3) Du är inte ensam. Ta fram dina allierade, ochvarsjälven god sådan. 4) Förändring är konstant och för med sig nya möjligheter. 5) Lärande pågår hela tiden och det är bra. Vi är som mest vid liv när vi lär. (Barry, 2001, p. 46) ) Hur utvärderar när allting förändras? 2008 02 19 Anders Lovén 33
Projektet Via Emilia Varje medborgare ska utveckla karriärkompetens och ta personligt ansvar för sin egen utveckling och framtid genom att erbjudas karriärutbildning och karriärvägledning som utgår från individuella behov vid olika skeenden i livet. Därför skiljer man ut karriärutbildning, som den del i utbildningen som handlar om att bygga upp kunskap om samhället och utbildningssystemet. En annan del är karriärguidning som är ett mellanting till ren utbildning och personlig vägledning, att guidas i systemet, att få hjälp att hitta information. Det kan handla om insatser i mindre grupper eller att man får ett visst utbildningspaket för att kunna göra egna val. En tredje del är karriärvägledning, mötet med en professionell vägledare. 2008 02 19 Anders Lovén 34
Dilemmat I huvudet på en kommun Ytterligare ett område som återstår för projektgruppen att arbeta med, är frågor kring utvärdering. Lena ser att det inom vägledningens område finns flera delar att utvärdera. Dels tillgången till vägledning men också effekterna av den. Vad händer? Blir de som fått karriärvägledning mer kloka och leder det till färre avhopp och fler som snabbt kommer vidare efter gymnasieskolan? En annan typ av utvärdering kan vara att följa effekterna på några års sikt. Man kan ju göra på lite olika sätt när man utvärderar. Antingen bestämmer man i förväg genom att sätta målen och sedan mäta det. Då ska ju helst av allt staten ha satt målen. Det hade varit väldigt bra om vi hade haft en kursplan för karriärutbildningen t.ex. eller några mål för detta. Om inte staten gör det, kommer vi själva att fundera över det. Lena poängterar att det kommer att ta många, många år innan de är framme och många år innan de kan se resultat. Men hon tror att det här sättet att vända på tankarna kommer att få väldigt positiva effekter. (Interju med Lena Dahlstedt, kultur och utbildningsdirektör i Nacka kommun ) Anders Lovén 2008 02 19 35
Exempel på frågor Hur upplevde du samtalet? (Nöjd missnöjd, 5 steg) 1)Vägledarens kompetens 2) Vägledarens engagemang 3) Din egen delaktighet i samtalet Fick du den hjälp du behövde? (Ja, absolut Nej,absolut inte, 5 steg) Vad saknar du? 2008 02 19 Anders Lovén 36
Hjälper vägledning? Frågan måste besvaras utifrån vem som frågar och vilket perspektiv denne har. Ex. för en kommunpolitiker är så många som möjligt till ungdomsudannelse viktigt, för en gymnasieskolledare är minimalt antal frafald viktigt, för eleven att valet känns rätt och är i linje med dennes intresse. Ett stort antal studier visar att vägledning enligt elever, lärare och skolledare hjälper eleverna att få/söka information, fatta beslut och finna vägar i utbudet av utbildningar och yrken Ett likaledes stort antal studier visar att eleverna uppskattar den hjälp de får av vägledarna som bland annat gett dem nya perspektiv. Kritik förekommer: Dels utebliven eller icke förstådd information, dels missnöje i backspegeln dvs några år efter vägledningen ägt rum. 2008 02 19 Anders Lovén 37
Lärdomar av utvärderingar Tydliga syften/projekt. Bättre behovsinventering/prioritering. Utveckla/tydliggör informationen Mångfald av metoder människor har olika lärstilar Utvärdera under vägen! Ge den sökande något de behöver!
Senaste nytt i Sverige Decentraliseringen har blivit ett lapptäcke Ingen tar ansvar skolledarna diffusa Verksamheten utan uppföljning, utvärdering, kvalitetsgranskning styrning och ledning Vägledarna ensamma vi har ju en expert Skola arbetslivsfrågor på undantag Vägledning i brytpunkter främst enskild vägledning Många vägledare utan vägledarutbildning främst i friskolor Källa: Kvalitetsgranskning av syo inom grundskolan, 2007 2008 02 19 Anders Lovén 39
De svåra slutsatserna Vad skall vägledning bidra till? Bryta mönster/anpassa människor/lycka/framgång. Skilj på egna och andras förväntningar, hjälp den sökande att se vad vägledning kan bidra med Konfrontera uppdragsgivarna. Vad menar de? Vad vill de? Granska din egen ryggsäck. Vad får du ut av vägledning? Gör mini utvärderingar och samverka med kollegor 2008 02 19 Anders Lovén 40
Granska ditt eget jobb! Vad vill du med verksamheten? Jämför med officiella mål. Hur arbetar du för att nå detta? Var konkret! Varför gör du så här? Analys! Vad anser andra? Sökande, uppdragsgivare, kollegor. Vad är målen med verksamheten enligt de? Vad ser de att du gör? Vad vill de ha annorlunda? Fyll i de vita fläckarna med egna undersökningar Granska helheten. Hur vill du utveckla din verksamhet? Vad behöver göras? När? Resurser?
Mini utvärdering Vilka mål finns för verksamheten? Är de OK? Diskutera vad ni vill veta. Om sökande, vägledarna, interaktionen, resultat/process? Nöjdhet, uppfattning om vägledningen, ökat/minskat kunskaper, beredskap etc Välj form för utvärdering. Enkät, eller intervju? Fundera på fokusgrupper (gruppintervjuer). Kombinera! Vid vilken tidpunkt och vilket urval? Skall du följa upp med en senare studie? Formulera frågor som är entydiga och enkla att besvara. Se på andra utvärderingar. Hellre färre än för många frågor. Presentera resultaten på ett överskådligt sätt. 2008 02 19 Anders Lovén 42
När allt fungerar Jätteskönt att få ventilera min förvirring kring studier med någon som har erfarenhet och perspektiv. Tack så jättemycket. Lyx! Mycket professionellt och givande. Jag känner stort förtroende inför studentservice. Tack, tack, tack, nu kan jag sova! Plötsligt ser jag massor av möjligheter. Har aldrig fått så mycket hjälp och information och för första gången vet jag verkligen hur jag skall bära mig åt för att komma dit jag vill. TACK!! (Lindgren, 2002) 2008 02 19 Anders Lovén 43
Öppna din egen ryggsäck! Hur ser jag på vägledning? Vad får jag ut av vägledning? Vad är typiskt i mina samtal? Hur bemöter jag mina sökande? Vilka redskap/verktyg utnyttjar jag? Vilka sökande gillar/ogillar jag? Vad behöver jag förändra/utveckla? 2008 02 19 Anders Lovén 44
Om du under det senaste åren inte har ändrat en uppfattning eller förvärvat en ny, bör du kolla din puls. Du kanske är död. (Burgess, författare 1866 1951) 2008 02 19 Anders Lovén 45
Glöm inte vi är alla olika Frågvisa Frida Coola Carla Förvirrade Frank Ambitiösa Anders Tysta Tina Vilsna Vesna Osäkra Ola Trygga Tamara Frustrerade Filip Allvarliga Anja Desillusionerade Danuta Jordnära Jimmy Självsäkra Samuel 2008 02 19 Anders Lovén 46