Utvärdering av övningar. En handbok för utvärdering av stabsoch beslutsövningar. KBM:s utbildningsserie 2007:2

Transkript

1 Utvärdering av övningar En handbk för utvärdering av stabsch beslutsövningar KBM:s utbildningsserie 2007:2

2 Utvärdering av övningar En handbk för utvärdering av stabs- ch beslutsövningar

3 Titel: Utvärdering av övningar En handbk för utvärdering av stabs- ch beslutsövningar. Utgiven av Krisberedskapsmyndigheten (KBM) Omslagsft: KBM Illustratör: Kari Mdén Upplaga: exemplar ISSN ISBN KBM:s diarienummer: 0739/ /2006 Tryck: NRS Tryckeri, Huskvarna, februari, 2007 Skriften kan laddas ner från Krisberedskapsmyndighetens hemsida

4 Innehåll Förrd Sammanfattning Intrduktin Att utvärdera krishanteringsövningar Vad är en utvärdering? Målbaserad utvärdering Målgrupp Förutsättningar för lärande Invlvera ledningen Kmpnenter i en utvärdering Viktiga steg i utvärderingsprcessen Utse en utvärderingsledare Intern eller extern utvärderare? Planera ch rganisera utvärderingen i samverkan med övningsledningen Metd ch frmat för övningens genmförande Vilka resurser behövs för att kunna samla in relevant data? Hur ska utvärderingen dkumenteras ch spridas? Vad är en gd utvärderingsfråga? Utbildning av utvärderare Ingångsvärden Observera övningen ch genmför en erfarenhetsåterföring för att inhämta data Primärmaterial Sekundärmaterial Erfarenhetsåterföring regeln Enkäter Observatörer

5 Analysera insamlad data Svårt att bedöma rätt ch fel agerande Frmulera kriterier för analysen Krav på utvärderaren Sammanställ utvärderingsrapprter sm sprids till lika mttagare Hur ska utvärderingen spridas? Presentera ch sprida utvärderingen Börja planera nästa övningsinsats Gda råd Referenser Bilagr 70 Bilaga 1 Fördjupad diskussin kring utvärderingar 71 Bilaga 2 - Steg i utvärderingsprcessen 75 Bilaga 3 - Exempel på enkätfrågr gällande händelserna i övningen 76 Bilaga 4 - Exempel på enkätfrågr gällande övningens frmat ch påverkan på agerandet 78

6 förrd Förrd Vi övar för att utveckla vår krishanteringsförmåga på lika sätt, både den enskilda myndighetens ch samhällets gemensamma. Genm ett kvalitativt utvärderingsarbete ökar möjligheten att identifiera ch dessutm ta tillvara de lärdmar sm dras vid övningar. Det är viktigt att se utvärdering sm en nödvändig del av en övning. En rdentlig utvärdering ger större förutsättningar för den övade rganisatinen att utvecklas. Därför måste utvärdering ch återkppling in tidigt i övningsplaneringsprcessen. Krisberedskapsmyndigheten (KBM) har ett särskilt ansvar för att vid större samverkansövningar utvärdera lika aspekter av samhällets gemensamma krishanteringsförmåga. Enskilda aktörers krishanteringsförmåga måste respektive aktör själv bedöma ch utvärdera på bästa sätt ch det är framför allt sm ett stöd i detta arbete denna handbk är skriven. Utvärderingshandbken riktar sig främst till dig sm arbetar på en myndighet eller rganisatin inm krishanteringssystemet ch redan har en gd kunskap m övningsverksamhet i allmänhet. Handbken är en del av KBM:s metdstöd sm syftar till att utveckla aktörernas förmåga att självständigt genmföra ch utvärdera övningar. Andra viktiga publikatiner sm utgör delar i detta stöd är: Så vill vi utveckla övningsverksamheten En strategi för utveckling av generell krishanteringsförmåga i samhället, Kmmunens övningsverksamhet Tre enkla sätt att öva kmmunledning ch förvaltningar i krishantering samt Övningshandbk Att planera, genmföra ch återkppla övningar. Analytikerna Edward Deverell ch Jesper Grönvall vid Crismart på Försvarshögsklan har arbetat fram handbken. Crismart besitter str kunskap m både övnings- ch utvärderingsverksamhet samt lika frmer för erfarenhetsåterföring. Därefter har texten bearbetats för att överensstämma med KBM:s övriga metdstöd ch bland annat prövats vid KBM:s utvärderarutbildning i februari Ann-Luise eksbrg Generaldirektör, Krisberedskapsmyndigheten 5

7 klumntitel 6 klumntitel

8 sammanfattning Sammanfattning Denna handbk beskriver hur en stabs- ch beslutsövning med inriktning mt krishantering kan utvärderas. Utvärderingen ska täcka både de övades agerande ch hur det valda övningsfrmatet påverkade övningens utfall. Att genmföra en övning är egentligen bara början på prcessen för att höja den individuella ch rganisatriska förmågan. Det är genm utvärderingen ch återkpplingen sm lärdmarna blir gripbara ch användbara. Målgruppen för den typ av övning sm diskuteras i handbken är persner på strategisk nivå. Arbetet på den strategiska nivån inm krishanteringsmrådet kan främst beskrivas sm en icke-strukturerad verksamhet. Det gör fta arbetet med att analysera de övades agerande i övningen mer utmanade eftersm det inte finns fastslagna mätinstrument för krishantering, utan endast mer generella riktlinjer för vad sm definierar gd krishantering, gd krishanteringsförmåga eller gda beslutsprcedurer. Öva Utvärdera Förbättra Återkppla Utvärderingsprcessen Vid en stabsövning är det viktigt att i samverkan ch infrmatinsutbyte övas. Här är det till exempel representanter för Plisen ch KBM sm övar samverkan. Ft: KBM. 7

9 sammanfattning Utvärdering i ni steg Handbken presenterar följande utvärderingsprcess: 1. Utse en utvärderingsledare 2. Planera ch rganisera utvärderingen i samspel med övningsledningen (val av målgrupp, syfte ch mål med övningen, val av övningsfrmat). Utvärderingen ch övningens alla övriga mment påverkar varandra i mycket hög grad. 3. Frmulera utvärderingsfrågr 4. Utbildning av övriga övningsutvärderare 5. Observera övningen ch genmför en erfaren hetsåterföring i direkt anslutning till övningen för att inhämta data 6. Analysera insamlad data 7. Sammanställ utvärderingsrapprter sm sprids till lika mttagare 8. Följ upp implementeringen av lärdmarna 9. Börja planera nästa övningsinsats Övning Utvärdering Planera övningen ch dess utvärdering parallellt Ett tydligt syfte ch mål KBM kan inte ng understryka vikten av att en övnings syfte ch mål tydligt preciseras ch kmmuniceras till de inblandade. En tydlig syftes- ch målfrmulering för en övning riskerar inte enbart att sänka kvaliteten på övningens genmförande, utan ckså att ge en tydlig ch mindre användbar utvärdering. Övnings- ch utvärderingsplanering är parallella prcesser eftersm de påverkar varandra, vilket beskrivs i detalj i handbken. Behvet av att bli ännu bättre på att utvärdera övningar är viktigt eftersm övningsverksamhet är ett pririterat mråde ch antalet övningar sannlikt kmmer att öka framöver. Sm skrivs i prpsitinen Samverkan vid kris för ett säkrare samhälle: 8

10 sammanfattning För att öka samhällets krishanteringsförmåga krävs en systematisk utbildnings- ch övningsverksamhet med hög ambitinsnivå / / Utbildningar ch övningar bör innehålla så realistiska inslag sm möjligt så att de kan analyseras, leda till förbättringar ch därmed till lärande ch erfarenhetsåterföringar. / / Enligt regeringen bör utbildnings- ch övningsverksamheten minst mtsvara dagens nivå ch vara bligatrisk för nyckelpersner vid myndigheter. (Regeringens prpsitin 2005/06:133). Praktiska råd vid utvärderingar Det är viktigt att det finns en gd förmåga att ta tillvara på de lärdmar ch erfarenheter sm en övning skapar genm systematiska utvärderingar. Handbken erbjuder en rad praktiska råd för hur en utvärdering kan genmföras. Några exempel är: Planera utvärderingen samtidigt sm övningen. En utvärdering är en väsentlig del i helheten av en övningsprcess, inte bara en del sm tillkmmer på slutet. Utvärderingen är viktig eftersm den påverkar, ch påverkas av, alla andra kmpnenter i en övning. Frmulera ett tydligt mål ch syfte med övningen. Det är en förutsättning för att kunna göra en gd utvärdering. Om mål ch syfte med en övning är klara finns det en str risk att även utvärderingen blir klar. Invlvera ledningen det ger en signaleffekt i hela rganisatinen att övningar bör tas på allvar av alla. Ledningen är ckså en viktig mttagare ch användare av en övningsutvärdering. Använd regeln, halva tiden till övning ch halva tiden till erfarenhetsåterföring där händelserna under övningen kan diskuteras ch reflekteras över. Utan tillräcklig tid för diskussin ch reflektin av vad sm hände under övningen riskerar ett djupare lärande att utebli hs individen. 9

11 sammanfattning Lägg ner tid ch resurser på att identifiera ch etablera kntakt med mttagare av övningsutvärderingen. Det gör det lättare att förstå vilken infrmatin de anser vara relevant ch hur de vill ha infrmatinen paketerad ch presenterad. Tänk på att utvärderingen bör ställa deltagarnas erfarenhet, utbildning ch träning i relatin till hur detta utvärderas. Lyft alltid fram såväl gda insatser sm mindre gda för att ge en balanserad bild av agerandet. Utse gärna en arbetsgrupp sm har till uppgift att följa övningsprcessen ch sm sedan kan bevaka att lärdmar från en övning implementeras i rganisatinen. Sammanställ gärna krtfattat relevant infrmatin m rganisatinens krisplanering ch tidigare kriserfarenheter för nyanställda. Låt persner sm vanligtvis har hand m utvärderingar ch bservatiner delta sm övade i övningar med jämna mellanrum. Det kan ge dem ny inspiratin ch möjlighet att ta till sig nya erfarenheter. Sprid utvärderingen även till andra rganisatiner. Utvärderingar från övningar har ett värde även för andra rganisatiner än den egna. De har även betydelse för samhället i strt då sådant arbete kan stödja framtagandet av standarder ch riktlinjer för gd krishantering. Det är vår förhppning att denna handbk ska erbjuda praktiskt användbara verktyg för att utvärdera stabsch beslutsövningar inriktade mt krishantering, men även för andra typer av övningar. KBM vill gärna uppmana dem sm läser denna handbk att även läsa myndighetens övningshandbk, eftersm övnings- ch utvärderingsverksamhet hänger samman. 10 En samverkansövning i Sllefteå där den lkala POSOM-gruppen övar samverkan under ledning av Sven-Olf Braf. Ft: Erik Löfgren, KBM.

12 sammanfattning 11

13 12 klumntitel

14 intrduktin Intrduktin För att utbildnings- ch övningsinsatser ska vara till nytta är det viktigt att ge utvärderingsdelen de resurser sm den kräver ch förtjänar. Att genmföra en övning är egentligen bara början. Det är genm utvärderingen ch återkpplingen sm lärdmarna ch erfarenheterna blir gripbara ch användbara. Krishantering är svårt. En kris är en situatin sm kan utsätta alla i en rganisatin för en svår prövning. Beslut måste fattas under svåra mständigheter bestående av ht mt värden, str säkerhet ch tidspress. Beslut kmmer att leda till knsekvenser för människrs liv, hälsa ch egendm. Olika vägval kmmer att påverka en rganisatins rykte ch legitimitet. I ett bredare perspektiv påverkas samhället i frm av eknmiska följdverkningar ch förtrendet för statens ch myndigheters möjlighet att hantera svåra situatiner kan påverkas. Övningar ch planeringsarbete för krishantering har sm syfte att bland annat skapa förutsättningar för att i mycket svåra ch stressiga situatiner kunna fatta nödvändiga beslut se till att besluten genmförs se till att infrmatin förmedlas till rätt persner. Beslut måste fattas under svåra mständigheter En stabs- ch beslutsövning inriktad mt krishantering ska höja den individuella ch rganisatriska förmågan att hantera en svår situatin. Den ska genmföras på ett systematiskt ch genmtänkt sätt. Att öva flexibilitet ch kreativitet Det går självklart inte att förutse allt sm kan inträffa vid en kris. Däremt kan övningar ge en struktur ch skapa en grund för att undvika misstag. Det sm framför 13

15 intrduktin allt krävs av en krishanterare är flexibilitet ch kreativitet för att hantera en kmplex situatin. Olika utbildningsch övningsinsatser ökar förutsättningarna för att en kris kan hanteras bättre, mer samrdnat ch mer effektivt. Övning ch utbildning är ckså ett viktigt kmplement till den erfarenhet sm individer naturligen samlar på sig genm sin dagliga verksamhet. Det kan gå lång tid mellan kriser sm en persn behöver hantera. Därför är det nödvändigt att genmföra utbildnings- ch övningsinsatser sm höjer eller behåller en gd förmåga att hantera en kris. Genm övningar ch utvärderingar kan kunskapsluckr identifieras. Gda ch mindre gda besluts- ch infrmatinsprcesser, krisplaner ch funktiner kan institutinaliseras, mdifieras eller helt enkelt tas brt. Vid övningar ser man vilka resurser sm saknas, ch m befintliga resurser används på bästa sätt. Övningar är ett tillfälle att hitta kunskapsluckr Övningar tillåter misstag Vid en övning kan man ckså begå misstag utan att det får knsekvenser. Det är självklart en fördel jämfört med misstag sm begås vid en skarp händelse. Övningar ska framför allt ses sm ett tillfälle för en rganisatin att förändra sig före en kris istället för efter. Men för att en övning ska ge all den här nyttan måste övningen utvärderas. Det är ingen lätt uppgift. Den kräver kunskap, integritet, respekt för dem sm övar, uthållighet ch md att förmedla lärdmarna så att kriser kan hanteras mer effektivt. KBM hppas att denna handbk ska ge praktiska verktyg till dem sm har hand m den mycket viktiga utvärderingen av övningar. Brand i nya brandövningsplatsen i Löddeköpinge. Varför branden uppstått är klart men någn övning förekm inte under dagen enligt brandkåren. En trlig rsak kan vara elfel. Ft Patrick Perssn. 14

16 intrduktin 15

17 klumntitel 16 klumntitel

18 att utvärdera krishanteringsövningar Att utvärdera krishanteringsövningar Denna handbk ger förslag på metdik ch tillvägagångssätt vid utvärderingar av rganisatiner vid stabs- ch beslutsövningar inriktade mt krishantering. Den beskriver ckså hur det valda övningsfrmatet kan påverka utfallet. Materialet är framtaget med utgångspunkt i utvärderingslitteraturen ch utifrån praktiska erfarenheter av utvärderingar av krishanteringsövningar. Efter en övning finns det en risk att man trr att arbetet är avklarat för denna gång. De sm jbbat hårt med övningsplaneringen kan tycka sig vara värda lite ledig tid ch de sm deltagit aktivt under övningen kan ckså vara i behv av en tankepaus. Det är dck vid denna tidpunkt sm den egentliga delen av inlärningsfasen inleds. Efter övningen ska det finnas tid att ta ett steg tillbaka ch reflektera över vad sm gått bra ch vad sm gått mindre bra. På vilka sätt ch med vilka medel kan man göra förbättringar? 5. Utvärdering 4. Genmförande 3. Praktiska förberedelser 6. Återkppling 7. Återrapprtering 2. ergripande planering Nytt uppdrag Uppföljning 1. Uppdrag ch så vidare Övnings-utvärderingsprcessen Övning i första hjälpen på vårdutbildning. Ft: Anna Rehnberg. 17

19 att utvärdera krishanteringsövningar Vad är en utvärdering? Utvärdering är en granskning för att säkra ch bibehålla eller öka kvaliteten på exempelvis insatser, verksamheter ch agerande. Med en sådan beskrivning står det klart att utvärderingar är någt sm alla rganisatiner bör använda sig av. KBM föreslår följande definitin av utvärdering: En systematisk granskning ch efterhandsbedömning av en verksamhet. I denna handbk riktas granskningen ch efterhandsbedömningen dels mt hur man utfrmar en stabs- ch beslutsövning inriktad mt krishantering, dels mt hur deltagarna agerar ch rganisatinen fungerar vid en sådan. En mer utvecklad ch prblematiserande diskussin m begreppet utvärdering finns i Bilaga 1. Målbaserad utvärdering KBM väljer att sätta den målbaserade utvärderingen i fkus för denna handbk, eftersm det handlar m stabs- ch beslutsövningar sm ftast genmförs under en krtare tidsperid. Målet för utvärderingen avgörs av de lika typer av frågr sm övningen ska besvara. Bild från en lägescentral i samband med övningen SAMÖ 04. Ft: KBM. 18

20 att utvärdera krishanteringsövningar Samverkan mellan lika myndigheter under övningen SAMÖ 04. Ft: KBM. Den målbaserade utvärderingen (kallas även ibland för summativ) är den vanligaste varianten av utvärderingar. Den mäter i vilken utsträckning vissa förutbestämda mål har uppnåtts ch handlar till str del m den tänkta nyttan ch resultatet av en övning. En målbaserad utvärdering handlar alltså m att jämföra bservatiner av övningens resultat med intentinerna med övningen. En sådan utvärdering inleds bäst genm att beskriva övningens intentiner ch mål. Målen ställs sedan mt beskrivningen av verkligheten, det vill säga genmför andet av ch resultaten från övningen. Sammantaget bör en utvärdering av en stabs- ch beslutsövning inriktad mt krishantering relateras till både de övades insatser ch till hur upplägget samt genmförandet av övningen har påverkat möjligheten att nå målet med övningen. Stämmer de övades insatser med övningsmålen? Målgrupp Det finns lika målgrupper för övningar. En grv indelning kan göras mellan perativ ch strategisk nivå. Denna skrift fkuserar på den strategiska nivån, närmare bestämt stabs- ch beslutsövningar för persner på 19

21 att utvärdera krishanteringsövningar strategisk nivå. Det påverkar hur utvärderingen ska struktureras, eftersm det inte finns fastslagna mätin strument för vad sm definierar gd krishantering eller gda beslutsprcedurer på strategisk nivå. Utgångs punkten utgörs därför av generella riktlinjer, vilket fta gör arbetet med att analysera de övades agerande mer utmanade. En diskussin kring denna prblematik återkmmer senare i handbken. Vid strategisk krishantering måste du välja en av flera möjliga lösningar Den strategiska nivån vid krishantering, vilken självklart även finns inm perativa rganisatiner, kan främst beskrivas sm en icke-strukturerad verksamhet. Svåra situatiner, kriser, på den strategiska nivån kräver fta kreativt ch flexibelt beslutsfattande eftersm det inte finns endast en lösning utan flera möjliga i en situatin. Vilken lösning sm väljs, eller blir resultatet, är berende av situatinen samt de individer ch den rganisatin sm är invlverad. Den perativa nivån består främst av verksamhetsgrupper ute i fält, exempelvis de så kallade blåljusrganisatinerna eller specialiserade grupper sm medicinsk persnal. De perativa övningarna är mer inriktade på speciell kmpetens ch på lika prcedurer. Det kan exempelvis handla m hur kemikaliebränder släcks på bästa sätt eller hur en kmplex medicinsk prcedur genmförs på ett säkert sätt. Tänk på att övningen är till för deltagaren, inte för utvärderaren Förutsättningar för lärande Först ch främst bör de sm planerar en övning med tillhörande utvärdering förstå att deltagarna kan känna sig utsatta, uttittade ch (alltför) bedömda. Därför ska en övning bygga på respekt för dem sm deltar ch ha en gd atmsfär. Annars riskerar man bland annat att få vill delta i övningen eller att de sm faktiskt deltar maskerar sin förmåga. En övning ska ses sm ett tillfälle att bli ännu bättre, både sm individer ch sm rganisatin. En övning är främst till för deltagarna, inte för utvärderaren. 20

22 att utvärdera krishanteringsövningar Det måste ckså finnas en beredskap att kunna hantera uppretade känslr under eller efter en övning. Det är inte vanligt att det uppstår knflikter då det handlar m extrema situatiner där övningsledarna fta försöker att påverka deltagarna känslmässigt genm säkerhet ch stress. Det är inte meningen att en övning ska ge upphv till dålig stämning eller att persner ska känna sig utsatta efter en övning. Aktör Analys Förklara övningen nga För att skapa en ömsesidig förståelse för varandras uppgifter, övningsledning, övade ch utvärderare, bör de lika uppgifterna förklaras väl. Nedan följer ett resne mang med ett antal punkter sm är viktiga att tänka på sm utvärderare (kpplat till övningsplaneringen). 1. Förklara vilken nytta individerna ch rganisatinen kmmer att ha av övningen ch utvärderingen. 2. Invlvera deltagarna tidigt genm att fråga dem m vilken kunskap de har behv av ch vad de vill bli bättre på. 3. Inled övningen från ett gemensamt kunskapsläge. Det är lämpligt att innan en övning genmföra lika typer av utbildningsinsatser sm bygger upp, förbereder eller uppdaterar nödvändiga förkunskaper innan övningen. Under övningen SAMÖ 04 agerande en grupp rliga anhöriga i mtspelet. Ft: KBM. 21

23 att utvärdera krishanteringsövningar Av naturliga skäl skiljer sig människrs utbildnings- ch övningsvana samt vilken praktisk erfarenhet man har. För att deltagarna lättare ska ta till sig kunskap bör de känna sig trygga i inlärningssituatinen. Det är inte meningen att expnera en persn inför kllegr eller chefer genm att till exempel bltta persnens kunskapsluckr. Se till att deltagarna känner sig trygga Det är viktigt att lyfta fram att individer inte kmmer att hängas ut på någt sätt under vare sig övningen eller utvärderingen. En utvärderare kan frmulera eventuella svagheter ch brister i termer av prcesser eller funktiner snarare än att peka på individers agerande. Om det finns individuella exempel sm är belysande (både psitiva ch negativa) kan persnerna i fråga tillfrågas m de accepterar att bli namngivna i utvärderingen. I detta sammanhang är det viktigt att vara medveten m att det kan vara svårt att gömma individer bakm funktiner. Det går inte heller alltid att garantera att ingen individ känner sig utpekad i en utvärdering. Det är trts allt många gånger tydligt för dem sm arbetar i rganisatinen vem sm hanterar vad. 4. Förklara hur utvärderingen ska användas. 5. Belys varför det är viktigt att genmföra en övning ch hur mål ch syften valts ut. 6. Skapa ett gtt klimat för att deltagarna ska kunna, ch vilja, ta till sig erfarenheterna från en övning. Det är lätt att de övade blir defensiva under ch efter en övning där de har fått hantera en svår situatin. En lyckad övning är en övning (med tillhörande utvärdering) sm lyckas få deltagarna att vilja inhämta ch förstå ny kunskap, ch m nödvändigt vilja förändra ett individuellt eller ett rganisatriskt beteende, för att rganisatinen ska bli ännu bättre på att hantera svåra situatiner. 22 Sm feedback-trappan visar på mtstående sida är målet med en övning ch en utvärdering att skapa förutsättningar för att hamna på de högsta trappstegen. KBM:s ambitin är att handbken ska erbjuda praktiska verktyg för att nå detta mål.

24 att utvärdera krishanteringsövningar Feedback-trappan Förklara J, men Försvara Förstå Att lyssna ch bearbeta Förändra Ett persnligt val Förkasta Det här rör inte mig Nej, så var det inte Invlvera ledningen För att förändringar i krisrganisatinen ska kunna kmma till stånd behövs ett engagemang ch intresse från ledningen i en rganisatin. Ett sådant engagemang ger ckså signaler till rganisatinen att man tar övningar på allvar ch ser dem sm ett strategiskt verktyg för att förbättra (förändra) rganisatinen. Under senare år har medvetenheten m behvet ch nyttan av krishanteringsfärdigheter ökat i samhället. Trts detta kan det vara svårt för en ledningsrganisatin att avsätta den tid ch de resurser sm krävs i frm av persnal, finansiering ch symbliskt stöd för att kunna utföra en lyckad utbildnings- ch övningsinsats. Men det är viktigt att man tar uppgiften på allvar annars är risken att övningarna endast blir en symblisk ritual, sm legitimerar övningsverksamhet en gång per år. Skyddsvallar byggs i Valdemarsvik, Ft: Jhan Nilssn. 23

25 klumntitel 24 klumntitel

26 T r r y i t kmpnenter i en utvärdering Kmpnenter i en utvärdering En utvärdering ska belysa både de övades a ch hur det valda övningsfrmatet påverkade utfall övningen. ISBN ISSN Degnna öevn ingrshaandbk ndn ä r tä k t a tt eva ra en h jä lp fö r ak tö re r på a lla nivåer i k rishan te ringssystemet sm plane rar ch genm för övningar för att förbättra k rishan te ringsförmågan i samhälle t. Bken är tänk t att kunna fung e ra både sm uppslagsve rk ch inspi ra tinskälla med bland annat prak tiska ti ps ch checklistr in för övningar. De sm kan ha nytta av handbken är övningsans eta var ig inm m ighe te r, rganisa tine r, före tag ch beslutsfatta re, liksm pe ra tiv ledning ch stödfunk tine r. Tanken är att handbken ska kunna användas in för ch under övningar såväl av den övningsv ana prjektledaren sm önskar en checklista ch stöd för minnet sm av den sm in te har tid igare e rf arenhet. Denna handbk diskuterar inte övningsplanering, scenari författande ch genmförande av en övning i någn större mfattning. Dessa aspekter belyses i KBM:s övnings handbk: Öva krishantering. Övningen ch utvärderingen bör planeras parallellt. Bx S tc khlm el Fa x kbm@k risbe redskaps m ynd ighe ten.se risbe redskaps m ynd ighe ten.se i ynd K īsbe edskapsm nd ghe en Öva krishantering KBM:s u t bildningsse r ie 2007:1 Öva krishantering Handbk i att planera, genmföra ch återkppla övningar KBM:s utbildningsserie 2007:1 Utvärderingen är en väsentlig del i helheten av en övningsprcess, inte bara en del sm tillkmmer på slutet. Här är det ckså viktigt att tänka på att utvärderingen påverkar, ch påverkas av, alla andra kmpnenter i en övning. Beställ bken på myndigheten.se Det finns två lika, men sammanhängande, delar när det gäller utvärdering av stabs- ch beslutsövningar sm diskuteras i denna handbk: 1. Utvärdering av de övades rganisatin ch agerande i övningen 2. Utvärdering av övningsfrmatet Det finns flera viktiga frågr i utvärderingen sm anknyter till hur övningsplaneringen ch det valda övningsfrmatet för övningen påverkade utfallet (den andra punkten). Följande frågeställningar är viktiga: - Planerings- ch arbetsprcessen: Hur förankrades planering ch genmförande av övningen i rganisa tinen av de sm planerade, genmförde ch utvärderade övningen? Efter en genmförd övning med POSOM-gruppen i Sllefteå utvärderar deltagarna övningen i en öppen diskussin. Ft: Erik Löfgren, KBM. 25

27 kmpnenter i en utvärdering - Ansvarsfördelning ch mandat: Fanns det ett gtt samarbete mellan å ena sidan beställare ch å andra sidan övnings- ch utvärderingsansvariga? - Metdik ch upplägg: Vilken metdik valdes för att genmföra övningen? I vilken utsträckning bidrg det valda upplägget ch genmförandet av övningen till att nå övningens mål? Hur påverkade övningens upplägg ch dess genmförande de övades utbyte av övningen? Främjade det valda upplägget deltagarnas möjligheter att nå övningens mål? Den här typen av frågr bör ställas till alla sm är invlverade i framtagandet ch genmförandet av en övning. Denna infrmatin kmmer att vara mycket betydelsefull när nästa övning planeras ch genmförs. 26

28 kmpnenter i en utvärdering 27

29 klumntitel 28 klumntitel

30 viktiga steg i utvärderingsprcessen Viktiga steg i utvärderingsprcessen En utvärderingprcess består av flera steg vilka kmmer att beskrivas i detalj i följande kapitel: 1. Utse en utvärderingsledare 2. Planera ch rganisera utvärderingen i samspel med övningsledningen (val av målgrupp, syfte ch mål med övningen, val av övningsfrmat) 3. Frmulera utvärderingsfrågr 4. Utbildning av övriga övningsutvärderare 5. Observera övningen ch genmför en erfarenhetsåterföring för att inhämta data 6. Analysera insamlad data 7. Sammanställ utvärderingsrapprter sm sprids till lika mttagarna 8. Följ upp implementeringen av lärdmarna 9. Börja planera nästa övningsinsats Utse en utvärderingsledare Att utvärdera en övning på ett systematiskt sätt är ingen lätt uppgift. En gd början är att utse en utvärderings ansvarig så tidigt sm möjligt i övningsplaneringspr cessen. Berende på övningens mfattning kan det behövas flera persner för utvärderingen. Den utvärde ringsansvariga ch eventuella övriga utvärderare deltar sedan i planeringen av övningen ch utvärderingen: Följande funktiner bör på lika sätt vara invlverade i övnings- ch utvärderingsplaneringen: Beställare (kan vara flera persner ch/eller enheter) Larmet går! Infrmatören Mikael Svenssn börjar ringa runt ch infrmera m vad sm hänt enligt en upparbetad larmlista. Ft: Erik Löfgren, KBM. 29

31 viktiga steg i utvärderingsprcessen Prjektledare Övningsledare Stödfunktiner till övningsledaren Intern ch extern ämnesexpertis Utvärderingsansvarig ch utvärderare Resurspersner ch bservatörer Användare av övningens resultat Flera av dessa funktiner kan innehas av en ch samma persn berende på övningens frm ch mfattning. Prjektledare + Referensgrupp + Externa aktörer = Engagemang ch helhet Ett mycket bra sätt att invlvera dessa funktiner över tid så att alla mment kan gå in i varandra är att bilda en referensgrupp. I den ska alla funktiner ingå ch den ska ledas av prjektledaren. På så sätt säkerställs att alla kan förklara sin rll. Det finns ckså möjlighet att gemen samt frmulera övningens syfte ch målsättning ch hur övningen ska genmföras (metd) vilket är önskvärt för utvärderingen. Referensgruppen är ckså mycket värdefull för eventuella externa parter sm är invlverade i övningsplanering, genmförande eller utvärdering eftersm de genm denna grupp kan få relevant ch uppdaterad infrmatin m både övningen ch den övade rganisatinen. Intern eller extern utvärderare? En utvärdering ska vara berende ch ge så bjektiva svar sm möjligt på de frågr sm övningen är till för att besvara. Därför är KBM:s rekmmendatin att man vid utvärderingar använder en extern utvärderare sm huvudansvarig sm bistås av en vice utvärderings ansvarig sm utses internt. Många övningar är begränsade av resurser sm tid ch persner vilket kan hindra att man anlitar en extern utvärderare, men då bör hänsyn tas till nedan nämnda faktrer. 30

32 viktiga steg i utvärderingsprcessen Syftet med en övning inriktas mt att vara kunskapsch förmågehöjande. En övning kmmer emellertid nästan alltid att påvisa brister i förmågan ch luckr i kunskapen. Det kan ställa en utvärderare i en svår situatin m slutsatsen är att det finns brister i en rganisatin eller i en funktins förmåga. Detta gäller särskilt för interna utvärderare. En intern utvärderare kan ha band till exempelvis en krisplan sm utvärderas eller kan känna sig utsatt ch tr sig riskera sin psitin m utvärderingen är negativ. Det kan göra det svårt för en intern utvärderare att återge en bjektiv bedömning av resultatet. Ytterligare ett viktigt skäl till att använda en extern utvärderare är att interna utvärderare kan tendera att släta över misstag ch avstå från att kritisera medarbe tare, rganisatriska strukturer ch rganisatinskultur. Ojdå! Vågar jag visa detta? Men det är inte nödvändigtvis mindre känsligt att använda en extern utvärderare. Inte minst kan det vara känsligt i övningar rörande krishantering sm fta är nära knutna till strategiska frågr eller annan infrmatin sm man kan vilja behålla internt inm en myndighet. En utvärdering kräver ckså att utvärderaren har gd insikt i en rganisatins kultur, nrmer, tidigare erfarenheter samt styrande lagar ch förrdningar. I detta perspektiv är det en klar fördel med en intern vice utvärderare sm har en gd uppfattning m rganisatinen ch de frågr sm ska utvärderas. En intern vice utvärderingsansvarig är även bra med tanke på att utvärderingen ska användas efter övningens slut när den externa utvärderaren inte längre finns tillgänglig, det vill säga när det är dags att implementera de lärdmar sm dragits. KBM rekmmenderar alltså att man använder en extern utvärderare sm bistås av en intern utvärderare. Då är chansen störst att utvärderingen blir bjektiv. Då kan Att kmbinera en intern ch en extern utvärderare ökar möjligheterna till bjektivitet 31

33 viktiga steg i utvärderingsprcessen även eventuella knflikter undvikas sm en intern utvärderare kan känna av. Dessutm kan den infrma tinsinsamling sm en extern utvärderare behöver göra underlättas av att det finns en intern utvärderare att arbeta tillsammans med. Planera ch rganisera utvärderingen i samverkan med övningsledningen Det är sm nämnts tidigare viktigt att man planerar övningen ch utvärderingen parallellt eftersm de i hög grad påverkas av varandra. Syfte ch mål med övningen måste vara klart frmulerade ch förstådda av invlverade persner. Detta är betydelsefullt framför allt med tanke på följande: Övningsfrmatet, hur en övning ska genmföras, styr utvärderingsfunktinen i hur den på bästa sätt kan bservera ch besvara övningens mål ch syfte. De frågr sm övningen ch scenarit är tänkta att aktualisera måste vara möjliga att bservera, analysera ch utvärdera, både praktiskt ch teretiskt. Det är mycket viktigt att utvärderingsfunktinen bedömer m det är praktiskt möjligt att besvara frågrna med de resurser sm finns tillgängliga ch med de förutsätt ningar sm det valda övningsfrmatet ger. Genm att planera övning ch utvärdering parallellt säkerställer man att båda fungerar En annan fråga är m det finns kunskap ch erfarenhet för att teretiskt kunna analysera, värdera ch därmed utvärdera de övades agerande. Med andra rd är en samtidig utvecklingsprcess mellan övningsansvariga ch utvärderingsansvariga inte bara önskvärd, utan nödvändig. KBM vill även markera det nödvändiga med att förankra den samtidiga utvecklingen med beställaren av en övning så att denne har förståelse för varför prcessen bör se ut på detta sätt. 32

34 viktiga steg i utvärderingsprcessen Det finns lika typer av övningsmål sm enskilt eller i kmbinatin bör stå i fkus för en övningsinsats: undersökande (explrativ) behvsinriktade (diagns) prcess resultat/utfall. Några generella exempel på övningsmål är att höja kunskapsnivån inm ett eller flera specifika ämnesmråden hitta kunskapsluckr ställa diagns ch pröva nya strukturer, funktiner, rutiner ch beslutsfrmer undersöka behv ch användning av resurser ge möjlighet att diskutera lika framtidsscenarier sm en rganisatin kan möta. Exempel på mål ch syfte för en explrativ krishanteringsövning 1 Syftet med krishanteringsövningen med tillhörande erfarenhetsåterföring är att resnera kring hur enhetens förmåga att kunna hantera plötsliga ch kmplexa krissituatiner kan säkerställas eller alternativt förbättras. Det är även ett tillfälle för rganisatinens arbets grupp att rapprtera ch återkppla de resultat sm hittills kmmit fram av dess arbete med att utveckla en beredskapsplan. Men tillfället ses framför allt sm en möjlighet för ledningsgruppen att förmedla sina erfarenheter ch idéer för det frtsatta arbetet att färdigställa en krisberedskapsplan. 1 Internt övningsmaterial från Crismart. Övningen genmfördes

35 viktiga steg i utvärderingsprcessen Målet med övningen, vilken genmförs sm en scenariövning med tre lika scenarier, är att belysa följande punkter: Vilka funktiner är nödvändiga i en krisgrupp? Hur skall ansvarsfördelningen fungera ch hur kan ansvar delegeras, ch återtas? Hur kan en förmåga att kmmunicera (Webb, växel, etc.) gentemt lika målgrupper upprätt hållas i en krissituatin? Hur ser ansvarsfördelningen ut mellan myndig heter, vilken myndighet ska leda arbetet under en krissituatin? Vilka förväntningar finns på enhetens förmåga? Vilka blir knsekvenserna på krt, medellång ch lång sikt för enhetens funktinsförmåga? Vilka åtgärder behöver vidtas? Vem/vilka fattar dessa beslut? Vilken infrmatin behövs för att kunna fullgöra enhetens uppgifter inm sitt ansvarsmråde? Vem/vilka besitter den nödvändiga infrmatinen? Vem/vilka är mttagare av infrmatin från enheten? Hur kan sådan infrmatin förmedlas? Med vilka behöver enheten samverka internt ch externt? Hur kan en sådan samverkan etableras ch upprätthållas? Vilka resurser/förstärkningar kan behövas för att kunna upprätthålla nödvändig verksamhet över tid? Hur kan, ska, dessa resursförstärkningar kmma enheten tillgd? Utifrån diskussinen ch den tillhörande erfaren hetsåterföringen ska ledningen kunna förmedla sina erfarenheter ch inrikta det frtsatta arbetet med att utveckla en krisberedskapsplan. 34

36 viktiga steg i utvärderingsprcessen Metd ch frmat för övningens genmförande Hur ska övningen genmföras? Det vill säga, vilken metd ch vilket frmat ska användas för att övningens syfte ch mål ska uppnås? Det finns flera lika varianter på hur övningar kan genmföras. Mest relevanta för den typ av utvärdering sm diskuteras i denna handbk, stabs- ch besluts övningar på strategisk nivå, är seminarieövningar (table tp) ch simulatinsövningar, det vill säga spel med mtspel. Den största skillnaden mellan dessa två övningsfrmer är graden av interaktivitet mellan de sm övas ch övningsledningen (för ett mer utvecklat resnemang kring lika övningsfrmer se KBM:s övnings handbk: Öva krishantering Handbk i att planera, genmföra ch återkppla övningar. Seminarieövningar (table tp): Den enklaste övnings frmen är seminarieövningen. En seminarieövning innebär att övningsledaren leder diskussiner med de övade kring en viss frågeställning eller ett scenari. En seminarieövning kan göras relativt enkel m det är ett begränsat mråde eller begränsad uppgift sm ska övas. Det innebär att deltagarna blir färre ch tidsåt gången samt kstnaderna mindre, samtidigt sm den Seminarieövningen kräver ftast inga stra materiella förberedelser. 35

37 viktiga steg i utvärderingsprcessen löpande verksamheten påverkas mindre än vid mer avancerade övningsfrmer. Seminarieövningen kräver dessutm ftast inga stra materiella förberedelser. En annan fördel är att de sm övar får möjlighet att fördjupa sig i lika frågr. Alla kan reagera på det sm händer ch kmma med synpunkter, frågr ch invändningar. Seminarieövningen kan ställa stra krav på mderatrn, det vill säga den sm leder övningen. Ju mer kmplexa prblem sm ska övas, dest högre krav ställs på mde ratrns kmpetens inm relevanta mråden. Beskrivningen av situatinen kan antingen ske sm en helhet eller ckså i etapper där krissituatinen gradvis blir alltmer kmplex eller förändras berende på deltagarnas lösningar. Mderatrn presenterar ett antal prblemställningar ch deltagarna får antingen tillsammans eller uppdelade i grupper diskutera sig fram till lösningar. Simulatinsövningar (spel med mtspel) är mycket kmplexa med en hög grad av interaktivitet ch detaljrikedm där målet är att försöka skapa en virtuell kriserfarenhet för de övade. Det är en övningsfrm MOTSPEL = DEN SIMULERADE ÖVADE OMVÄRLDEN Simuleringsövning 36

38 viktiga steg i utvärderingsprcessen där man i en knstlad (simulerad eller arrangerad) miljö övar vissa funktiner. Principen är att denna knstruerade miljö så långt sm möjligt ska efterlikna den verkliga. Grunden för en sådan typ av övning är upplevelsebaserad pedaggik där de övade agerar i en situatin snarare än att de främst diskuterar hur de skulle agera i en situatin. Utifrån ett övergripande scenari ska de övade reagera på händelser sm spelas upp ch agera utifrån dessa. Det är viktigt att tänka på att det inte går att låtsas att saker ch ting har blivit gjrda. Allt måste genm föras sm m det hade varit en verklig händelse. Det är utmrdentligt viktigt att hålla sig till den infrmatin sm ges ch inte byta ut eller utesluta någt. För att de övade ska få någt att reagera på behövs det ett så kallat mtspel sm förser dem med händelser. Berende på övningens strlek kan mtspelet bestå av allt från en persn med en telefn en s.k. givare till en str mtspelscentral med experter ch avan cerat tekniskt stöd. För att genmföra en sådan övning krävs en relativt str insats vid planeringen ch framtagningen av speldkument sm instruktiner, sambandstablåer, spellistr, givarinstruktiner, bildmaterial m.m. En simulering ger fta ett mycket högt utbildnings värde för såväl de deltagare sm övar sm för dem sm sitter i mtspelet sm givare. Prprtinerna mellan spelad ch simulerad del (mtspelet) kan varieras inm mycket vida ramar. Förberedelsearbetet för en övning med mtspel brukar dck vara relativt mfattande ch tidskrävande. Men även mtspelsövningar kan genmföras i mindre skala. Den allra enklaste varianten kan vara en eller ett par persner sm sitter i ett angränsande rum ch genm telefnsamtal agerar mvärld ch ger inspel till övningsdeltagarna. 37

39 viktiga steg i utvärderingsprcessen Val av övningsfrm påverkar hur krävande utvärderingen blir att utföra. En seminarieövning sm sker i ett rum med inga, eller få inspel, är naturligtvis lättare att utvärdera än en simulatinsövning med en hög grad av interaktivitet ch många deltagare i lika lkaler. Vilken frm av övning sm väljs berr i hög grad på deltagarnas kunskapsnivå ch vilka frågr sm står i fkus för övningen. Det är viktigt att den valda övningsfrmen ch de resurser sm är tillgängliga tillåter insamling av relevant data för utvärderingen. Vilka resurser behövs för att kunna samla in relevant data? Det är viktigt att bedöma hur mycket resurser utvärde ringen kmmer att kräva. Vilka persner ch hur mycket tid ch teknik kmmer att användas under övningen för att samla in relevant infrmatin? En utvärderingsinsats med hög kvalitet är arbetsintensiv. Olika typer av resurser, sm persner, tid, teknisk utrustning (ljud- eller videinspelning) ch experter kan behövas för att dkumentera deltagarnas agerande. De sm planerar övningen ch de sm planerar utvärde ringen måste tillsammans diskutera vad övningen syftar till ch vilket frmat sm ska användas för övningen. Detta bör ske på ett tidigt stadium. En tidig planering har str betydelse eftersm övnings frmatet ger en indikatin på hur resursintensiv ut värderingen blir. Det är ckså viktigt att man väljer ett övningsfrmat sm gör det möjligt för utvärderaren att dkumentera händelseförlppet. Utvärderingsledaren bör sedan fundera på vilka resurser sm finns tillgäng liga under ch efter en övning för att kunna skapa en passande utvärderingsmall. Det är svårt att bedöma exakt hur krävande en öv ning blir att utvärdera eftersm det berr på flera lika faktrer. Oftast behöver en str del av händelseförlp pet dkumenteras under övningen. Detta görs genm 38

40 viktiga steg i utvärderingsprcessen direkt bservatin på plats (de övades agerande under övningen möten, telefnsamtal etc.). Även de övades verksamhet i sig (lgg, e-psttrafik, TV-inspelningar av exempelvis pressknferenser etc.) resulterar i dkumen tatin sm skall utvärderas. Det är ckså viktigt att ta hänsyn till hur många persner sm ska delta i en övning ch hur övningslkalerna ser ut. Ett mindre antal persner i ett rum kräver naturligt vis färre sm följer övningen än ett strt antal persner på flera lika platser. Det är dck viktigt att pängtera att en övningsplats inte får översvämmas av utvärderare eftersm det kan riskera den dynamik övningen avser att frambringa. En balans behövs så att deltagarna inte störs samtidigt sm det finns förutsättningar för utvärderaren/utvärderarna att samla nödvändig infrmatin. Undvik sm utvärderare att störa de övande Eftersm en utvärdering innehåller många mment är det en gd idé att ta fram en tids- ch resursfördel ningsplan ch en budgetkalkyl: dels för arbetet med att utfrma en utvärderingsmall, dels för arbetet med att samla in, bearbeta, analysera ch sprida utvärderings resultatet. Även externa utvärderare, experter ch eventuell teknisk utrustning bör tas med i den beräk nade budgeten för utvärderingsarbetet. Hur ska utvärderingen dkumenteras ch spridas? Ett övergripande mål med en utvärdering är att den ska kmma till användning. Det kan fta finnas lika mtta gare för utvärderingens lika delar. Därför är det viktigt att identifiera mttagarna av utvärderingen. Ett bra sätt kan vara att diskutera utvärderingen med beställarna för att ta reda på vilka sm är de tänkta mttagarna av utvärderingen Utvärderaren kan ckså förklara för beställarna hur en utvärdering går till ch vilka frågr den kan, ch inte kan, besvara. Diskussinen bör även behandla hur resultatet (utvärderingen) ska Anpassa utvärderingen till mttagarnas behv ch förutsättning 39

41 viktiga steg i utvärderingsprcessen användas ch hur mttagarna vill ha den presenterad (muntligt, sammanfattning, längre rapprt etc.), för att den ska kmma till användning. Vad är en gd utvärderingsfråga? En gd utvärderingsfråga måste hänga samman med övningens syfte ch mål. Dessutm bör svaret på frågan vara möjligt att bservera ch utvärdera. Det är ingen idé att ställa en fråga sm det inte går att få svar på. Detta anknyter till diskussinen m att utvärderingen måste utvecklas integrerat med övningen. Om man till exempel vill bservera, analysera, värdera ch utvärdera interna kmmunikatinsprcesser i en rganisatin måste man välja ett övningsfrmat sm passar för ändamålet. Då bör övningsledningen, bestäl laren ch utvärderingsansvariga tillsammans diskutera hur en övning på bästa sätt kan framkalla en situatin så att en rganisatins interna kmmunikatinsprcesser kan belysas på ett krrekt sätt. När utvärderingsfrågrna frmulerats bör de alltså granskas utifrån att det ska vara möjligt att besvara dem. Man bör ställa sig följande frågr: Går det att besvara frågrna med de resurser (persner, expertis, tid ch teknlgi) sm finns tillgängliga? Finns det teretiska kunskaper tillgängliga sm möjliggör att bservatinerna kan ana lyseras ch värderas? Allt kan inte utvärderas. Priritera frågeställningarna! Man bör ckså tänka på att en enskild övning inte kan användas för hur många syften sm helst. För att hålla en hög kvalitet behöver man priritera mellan de frågr sm en övning ska besvara. Om det av lika skäl kpplas på flera frågeställningar under prcessen måste utvärde raren ha möjlighet att sätta stpp. Det blir ckså svårt för den eller de sm ska dkumentera händelseförlppet m alltför många frågr ska besvaras i en ch samma övning. Utvärderaren bör dck alltid vara öppen för att lyfta fram nya intressanta bservatinsaspekter sm kan tillkmma under övningen. 40

42 viktiga steg i utvärderingsprcessen Exempel på delar av en stabs- ch beslutsövning sm kan utvärderas: stabsarbete/arbetsprcesser rganisatin/ledning samverkan kmmunikatinsprcesser (internt ch externt) infrmatinsbehandling stresshantering. Utbildning av utvärderare Den utvärderingsansvarige för övningen bör se till att alla i utvärderingsgruppen har kunskap m rganisatinen ch övningsdeltagarna innan övningen. Det ökar förut sättningarna för att utvärderarna ska lyckas inhämta önskad infrmatin under övningen. Det är även bra att de utvärderare sm ska samla in material under övningen utbildas för sin uppgift. En krtare utbildning kan ge ett gtt stöd inför uppgiften att utvärdera en övning. Exempel på material sm kan presenteras ch delas ut till utvärderarna: de viktigaste bakgrundsdkumenten innehållande mål ch syfte med övningen regler för övningen övningsscenarit relevant lagstiftning dkumentatin m tidigare kriserfarenheter för rganisatinen underlag sm beskriver rganisatriska prcesser uppdrags- ch arbetsbeskrivningar krisplaner tidigare övningserfarenheter för rganisatinen 41

43 viktiga steg i utvärderingsprcessen Ytterligare stöd kan man erbjuda utvärderarna genm att frmulera kriterier för de frågr sm ska besvaras. Vad är det utvärderaren ska titta efter ch hur ska han eller hn värdera intrycken av agerandet? Ibland finns det legala kriterier sm ska följas vilken myndighet sm har ansvar eller vilken specifik funktin inm en myndighet sm har ansvar etc. Det kan ckså finnas generella nrmer ch riktlinjer från jämförbara myndig heter eller sektrer sm kan vara användbara. Ingångsvärden För att säkerställa att den infrmatin utvärderaren samlar in är av betydelse bör man ge ingångsvärden för vad utvärderaren ska bservera. Utvärderaren kan förses med en lista med extra viktiga övningsmment. Denna lista kan även fungera sm en tidslinje så att utvärderaren vet när viktiga händelser beräknas inträffa under övningen. Exempel på andra betydelsefulla ingångsvärden: Hur de centrala övningsmmenten initieras i övningen (inspel, telefnsamtal, vide etc.). En krt förklaring på vilket beteende eller åtgärd sm är önskvärd, det vill säga målsättningen med övnings mmentet (kan även kmpletteras med det förväntade agerandet). Vilken rll eller funktin sm brde utföra en uppgift. Exempel på en utvärderingsmall (beteende, funktiner ch prcesser) 1. Hur uppfattade beslutsfattarna situatinen inledningsvis (nrmalläge eller extrardinär händelse)? 2. Hur uppfattade beslutsfattarna tidspressen (ingen tidsnöd, brådskande, mycket brådskande)? 42

44 viktiga steg i utvärderingsprcessen 3. Diskuterades mandat, ansvarsförhållanden? Var det klart vilken myndighet eller enhet sm ägde prblemet juridiskt ch symbliskt? Ändrades rlluppfattning över tid? 4. Fanns det frmaliserade rutiner eller beredskaps planer för hur myndigheten skulle agera i en krissituatin? Om beredskapsplan fanns, användes den? 5. Krisledningsgrupp/stab Hur rganiserades den? Fanns upparbetade rutiner (t.ex. rdförande, ansvarig för dkumentatin, extern infrmatin etc.)? Vilka lkaler valdes för krishanteringsarbetet? Fanns nödvändig utrustning på plats? 6. Beslutsfattande: Var i rganisatinen fattades beslut under krisens gång? Följde enheten upp fattade beslut (såg till att de genmfördes)? 7. Infrmatinsrutiner: Hur inhämtades ch lämnades infrmatin internt ch externt? Fanns det upparbetade rutiner för intern/ extern infrmatinsspridning? Verifierades infrmatinen (källkritik)? Vilka kanaler/tekniska hjälpmedel nyttjades för infrmatinsspridningen? 43

45 viktiga steg i utvärderingsprcessen Observera övningen ch genm för en erfarenhetsåterföring för att inhämta data Utvärderarnas dkumentatin av händelseförlppet ch insamling av intryck ch reflektiner från övningsdelta garna är viktig för att kunna utvärdera följande: deltagarnas agerande i övningen hur övningsupplägget påverkade övningens genmförande m övningen har varit till nytta för de övade. Utvärderaren kan använda lika typer av material för att utvärdera en övning: Primärmaterial: Deltagande bservatin, lggböcker, anteckningar från deltagarna, e-pst, telefnreferat, ljud- ch videinspelningar etc. Sekundärt material: Det finns en mängd material sm prduceras för ett övningstillfälle; inriktningsdkument (övningsmål), övningsbestämmelser, scenaridkument etc. Erfarenhetsåterföring: Efter övningens aktiva fas kan en samling ske med deltagarna för att ge dem möjlighet att delge sina intryck ch reflektiner över vad sm hände i övningen. Persnliga intervjuer: Intervjuer kan även ge värdefull infrmatin m lärdmar ch intryck av en utbildnings insats. Dessa kan ske med både deltagare ch persner i övningsledningen sm kan besvara frågr m övningen i sig ch den valda metden för övningen. Observatörer: Observatörer, fta ämnesexperter eller persner från andra myndigheter, finns fta inbjudna för att ge sina intryck utifrån sina respektive kunskaps- 44

46 viktiga steg i utvärderingsprcessen eller verksamhetshrisnter. Observatörerna kan ckså föra anteckningar sm kan kmma analysen tillgd. Enkäter: Sådana kan delas ut till de övade ch de sm ingår i utvärderingsgruppen. Någt sm har str påverkan på utvärderingen, är hur str del av den ttala tillgängliga tiden för en övning sm ska användas för agerande ch övning ch hur str del sm ska användas för erfarenhetsåterföring. KBM förespråkar användandet av regeln, det vill säga att halva tiden används till själva övningen ch den andra hälften används till erfarenhetsåterföring till del tagarna. För själva övningen är egentligen bara början, det är genm diskussin ch reflektin sm lärdmarna ch erfarenheterna blir gripbara ch användbara för del tagarna. Det är ckså ett viktigt tillfälle för utvärderaren att inhämta värdefulla intryck från deltagarna sm både kan vara nytt användbart material ch en viss kvalitets säkring inför färdigställandet av utvärderingsrapprten. Primärmaterial Primärmaterial är grunden i en utvärdering eftersm det gäller att så nära sm möjligt kmma fram till de övades intryck, upplevelser, känslr, idéer ch lärdmar. Det vanligaste sättet att kmma fram till sådana data är genm deltagande bservatin under själva övningen. Det kan även vara fördelaktigt att titta närmare på det material sm skapas under själva övningen. Detta är ju resultatet av de övades arbete. Det kan handla m fiktiva intervjuer sm gjrts för spelad media, skrivna rapprter m den fiktiva krisen, lggböcker sm de övade förhppningsvis har fört över sitt agerande, eller ftgrafier av anteckningar sm de övade gjrt på white bard-tavlr eller liknande. Detta material kan kmpletteras med intervjuer, enkäter ch/ eller seminariediskussiner. 45