Kollegial granskning. Peer review en metod för utvärdering och systematisk analys i en lärandeprocess

Transkript

1 Kollegial granskning Peer review en metod för utvärdering och systematisk analys i en lärandeprocess

2 Rapport från Samhällsmedicin, ISSN :2 (Aff) Uppdaterad 2007, Centrum för folkhälsa Stockholm 2003 Jenny Sydhoff Caroline Lööf Lena Kanström

3 Förord Hur kan vi förbättra kvaliteten i folkhälsoarbete? Svaret på frågan är ofta en utvärdering för att avgöra om satsningar varit värdefulla. Kollegial granskning bygger på att utvärdering och systematisk analys utförs av en granskningsgrupp som arbetar inom verksamhet liknande den som granskas. Den lärandeprocess som hänger samman med att granska stannar då hos de som är verksamma, istället för hos forskare eller inhyrda konsulter. Kollegial granskning kan användas för folkhälsoarbete inom landsting, kommuner eller andra organisationer. WHO startade 1986 ett nätverk Healthy Cities för folkhälsoarbete i städer, för att visa hur de övergripande målen i dokumentet Hälsa 21 kan tillämpas i praktiskt folkhälsoarbete. En gemensam strävan är att utveckla strategier och metoder genom bland annat erfarenhetsutbyte. Köpenhamns Kommune och Stockholms läns landsting deltar i Healthy Cities och ingick 1999 ett samarbetsavtal med syfte att utveckla folkhälsoarbetet i städerna. Ett arbete var att utveckla metoden kollegial granskning. Vi riktar ett tack till alla som deltagit i de kollegiala granskningarna och bidragit med tid och kommentarer för utvecklingen av dessa riktlinjer. Lena Kanström samordnare av Healthy Cities i Stockholms län chef för Centrum för folkhälsa

4 Innehåll 1. Vad är kollegial granskning? Riktlinjer för tillämpning av metoden Kollegial granskning steg för steg...7 Steg 1: Ingå en överenskommelse...7 Steg 2 Avgränsa och fokusera...9 Steg 3: Bilda en granskningsgrupp...10 Steg 4: Klargöra roller och ansvar...11 Steg 5: Studera bakgrundsmateriel...12 Steg 6: Definiera granskningsplan och metod...12 Steg 7: Studiebesök...12 Steg 8: Skriva en rapport...14 Steg 9: Utfrågning av rapporten...15 Steg 10: Uppföljning av rekommendationer...16 Steg 11: Förlängning av överenskommelsen Erfarenheter och reflektioner...16 Bilaga: Förslag på bakgrundsmateriel och lämpliga personer att intervjua...18

5 1 Vad är kollegial granskning? Kollegial granskning kommer från peer review en välkänd metod som ofta tillämpas inom utbildningssektorn och av vetenskapliga tidskrifter. Peer review är en process som främst ska ses som rådgivande och icke-kontrollerande. Den utförs av kollegor som arbetar inom liknande verksamhet och på samma nivå. Grundtanken med metoden är att en grupp med goda förkunskaper både om möjligheter och problem granskar en verksamhet. De egna erfarenheterna gör att de kan lämna användbara förslag på hur den granskade verksamheten kan utvecklas och förbättras. Folkhälsoarbete Eftersom granskarna inte är experter kan de ej förväntas känna till alla verksamhetsområden, praktiska detaljer eller begränsningar inom det område de granskar. En nackdel med kollegial granskning kan vara att den inte utförs enligt vetenskapliga metoder och kanske inte får samma tyngd som en vetenskaplig utvärdering. Å andra sidan är metoden kostnadseffektiv eftersom processen sker parallellt med ordinarie arbetsuppgifter. En extra vinst med metoden är att granskningsgruppen utökar sina egna kunskaper vilket ofta leder till självrannsakan som i sin tur bidrar till en lärandeprocess. Genom att granska andras verksamhet kan det egna arbetet utvecklas! 5

6 2 Riktlinjer för tillämpning av metoden Vi beskriver här kollegial granskning som metod för att granska folkhälsoarbete. Processens olika steg bygger på våra erfarenheter och kan ses som en idealmodell. Riktlinjerna ger inte lösningen på alla frågor som kan uppstå. De är en beskrivning av olika steg i processen som enligt vår uppfattning är viktiga om man vill engagera sig i kollegial granskning. Processens olika steg ingår i granskningscykeln och följer varandra i en inbördes ordning. När sista steget är utfört kan en ny process påbörjas. Alla granskningar behöver inte gå igenom exakt samma mönster och säkert finns också ytterligare steg som vi inte har presenterat. start Granskningscykeln ingå överenskommelse förlängning av överenskommelsen? uppföljning av rekommendationer avgränsa och fokusera utfrågning och justering av rapporten bilda granskningsgrupp klargöra roller och ansvar skriva en rapport studera bakgrundsmateriel definera granskningsplanoch metod studiebesök 6

7 Det etiska perspektivet är viktigt vid kollegial granskning. Det måste finnas ömsesidighet och förtroende samt en ärlig och öppen kommunikation mellan parterna. En granskningsprocess sträcker sig ofta över flera månader, men för dem som granskar brukar det bli cirka arbetsdagar/ deltagare. Hur lång tid som behövs beror på hur många gånger man har genomfört granskningscykeln. Tidsåtgång/deltagare i granskningsgruppen Inleda samarbete Granskning Förberedeleser Sammanställning och rapport Uppföljning steg dagar steg dagar steg dagar steg dagar steg 10 1 dag Nedan beskrivs granskningscykeln steg för steg och de olika processtegen kan användas som en checklista vid kollegial granskning. 3 Kollegial granskning steg för steg Steg 1 Ingå en överenskommelse Eftersom vi utbyter erfarenheter genom att granska varandras arbete rekommenderar vi en överenskommelse för att skapa en ram för samarbetet. Det ska framgå vilka förväntningar vi har på varandra och vilken grad av öppenhet vi önskar under granskningsprocessen. Ytterligare ett syfte med överenskommelsen är att fastställa att erfarenhetsutbytet är något mer än ett vanligt studiebesök. 7

8 Som vi definierar kollegial granskning är det en systematisk och krävande process som ska vara fokuserad och resultatinriktad och som kan ha både politisk och praktisk betydelse framöver. Överenskommelsen kan innehålla följande delar: Det är viktigt att parterna är på ungefär samma kunskapsnivå inom de områden som granskas. Och att det finns något att granska. Finns det inga kunskaper och erfarenheter att dela riskerar det ömsesidiga utbytet att bli mindre lyckat. 8

9 Vilken roll har politikerna? Att ingå en överenskommelse är ett sätt att involvera politiken i processen. Att engagera politiker i erfarenhetsutbytet kan bidra till att underlätta uppföljningen av kommande rekommendationer och det kan också vara ett sätt att lyfta fram olika folkhälsofrågor. Därför rekommenderar vi att överenskommelsen sker mellan de politiska nivåerna i organisationen. Behovet av en processledare Många frågor blir aktuella efter det att parterna undertecknat överenskommelsen. Det kan vara en fördel att tillsätta en processledare som har ansvaret för praktiska frågor i planeringen och genomförandet av granskningsprocessen. Steg 2 Avgränsa och fokusera När överenskommelsen är undertecknad kan arbetet med att formulera avgränsningar och fokusering starta. Dessa ska spegla vad ledningen och de verksamma tycker är av intresse att granska och även uppmärksamma tillgängliga resurser, till exempel arbetstimmar och kompetens i granskningsgruppen. Kom ihåg att uppdraget inte ges till en konsultfirma, utan till kollegor med samma utbildnings- och arbetslivsbakgrund som ni själva. Ledningen bör redogöra för granskningsgruppen vad deltagarna har att förvänta sig av processen samt vilka förväntningar det finns på dem som deltar. Uppgifter om avgränsningar och fokusering kan bidra till att den tid arbetsgruppen förfogar över utnyttjas effektivt. 9

10 Vilka uppgifter behövs för avgränsningar och fokusering? Uppgifterna ska som minimum definiera det område som ska granskas och vilka huvudfrågor som ska besvaras av granskningsgruppen. En angelägen diskussion är vilken nivå granskningen ska ligga på, vad som ska utvärderas och när. Enligt vår erfarenhet är det klokt att inte bli för ambitiös. Det är lämpligt att låta de som är ansvariga för en verksamhet formulera avgränsningar och fokusering. Det är trots allt de som bäst känner till styrkor och svagheter inom verksamheten och som sedan kommer att ansvara för att genomföra de förslag som granskningsgruppen framför. Det är också viktigt att ta hänsyn till om verksamheten bygger på tidigare erfarenhet. Steg 3 Bilda en granskningsgrupp Valet av personer och funktioner bör stämma överens med de uppgifter som gäller för avgränsningar och fokusering. En tvärsektoriell grupp är att rekommendera. Det är bra att blanda mer och mindre erfarna personer i granskningsgruppen, det gör processen mer dynamisk. Personerna måste dock ha erfarenhet av området i fråga, annars blir begreppet peer review meningslöst. 10

11 Ibland väljs granskningsområde utifrån en speciell person som kan bli en bra processledare. En person i granskningsgruppen bör ha förmågan att inta den rollen, leda processen och handleda de övriga deltagarna. Den personen ansvarar vanligen också för att sammanföra analysen och sammanställa rapporten. Hur stor ska granskningsgruppen vara? Stora grupper kan vara svåra att hålla samman och mindre grupper kan ibland tvingas upplösas på grund av inre konflikter. Följaktligen finns det ingen garanti för att en speciell gruppstorlek är mer framgångsrik än en annan. Det viktiga är att gruppmedlemmarna har olika kompetens och att gruppen ej är för stor. En riktlinje kan vara tre till fem personer. Steg 4 Klargöra roller och ansvar En träff för att lära känna varandra i gruppen och diskutera den framtida granskningen är en bra idé. Observera att detta gäller både som granskare och i rollen att bli granskade. Ett första möte eller en kick off kan se ut så här: Introduktion och allmän information av processledaren Presentation av deltagarna i granskningsgruppen Avgränsningar och fokusering presenteras Allmän diskussion om avgränsningar och fokusering Diskussion om möjlig arbetsfördelning i gruppen Utarbetande av preliminärt arbetsschema Diskussion om lämpligt bakgrundsmateriel Beslut om nästa möte 11

12 Steg 5 Studera bakgrundsmateriel Innan studiebesöket kan genomföras måste en del dokument studeras. Eftersom granskningsgruppen har begränsat med tid är det viktigt att dokumenten är relevanta när det gäller innehåll utan att vara alltför omfattande. Och att de erhålls i god tid. En lista med lämpliga dokument finns som bilaga. Om detta materiel inte ger tillräcklig information kan denna istället fås genom intervjuer under studiebesöket. Steg 6 Definiera granskningsplan och metod Efter att ha tagit del av aktuellt bakgrundsmateriel har granskningsgruppen en uppfattning om den aktuella verksamheten och sannolikt har de också utvecklat ett antal hypoteser och frågeställningar. Nu behöver gruppen träffas igen för att diskutera till exempel tillvägagångssätt för studiebesöket, granskningsstrategi, metod för datainsamling, vilka personer som bör intervjuas och för att ta fram en checklista för dessa intervjuer. Ovanstående sammanfattas i en granskningsplan, som också delges processledaren för gruppen som ska granskas. Steg 7 Studiebesök De som ska bli granskade planerar ett antal aktiviteter för studiebesöket. Eftersom det blir mycket ny information för granskningsgruppen är det bra att lämna tid i schemat för reflektion. 12

13 Om aktiviteter är förlagda på annan plats behöver även tid för transporter planeras in. Förslag på tidschema för studiebesöket Dag 1 Ankomst Presentation av deltagare Information och frågor om verksamheten Presentation av definitivt program Distribution av kompletterande bakgrundsmaterial Dag 2 Studiebesök och intervjuer Dag 3 Studiebesök och intervjuer Dag 4 Möte med kollegor, diskussion om verksamheten Preliminära resultat och slutsatser Dag 5 Presentation av preliminära resultat och slutsatser Avresa 13

14 Vår erfarenhet visar att det är viktigt att avsätta tid för diskussion mellan parterna. I vårt tidschema har tre sådana möten planerats in. Det första mötet ägnas åt kritiska och sökande frågor om verksamheten, för att öka förståelsen och förbättra analysen. Vid det andra mötet delges preliminära resultat och slutsatser. Tredje mötet fungerar som ett slags validering av vad granskningsgruppen har observerat under studiebesök och vid intervjuer. Vid tidsbrist kan schemat kortas ner med viss risk för att det inverkar på granskningens kvalitet och ger minskad stimulans för de granskade. Steg 8 Skriva en rapport Denna del är troligen den svåraste i hela processen. När granskningsgruppen återvänder till ordinarie arbetsuppgifter kan det vara svårt att hitta tid för och koncentrera sig på rapportskrivandet. Deltagarna träffas och diskuterar hur arbetet ska fördelas. Processledaren ansvarar för att bidragen samlas in och sammanför dessa till en gemensam rapport. 14

15 De rekommendationer som utarbetas ska ligga på en nivå som är möjlig för de granskade att följa upp. Tips vid rapportskrivande: Gå igenom preliminära resultat och slutsatser, välj bara de resultat som bekräftats av de granskade Tydliggör vilka kriterier som använts vid granskningen Håll isär resultat, slutsatser och rekommendationer Skriv en sammanfattning med huvudsakliga slutsatser och rekommendationer i början av rapporten Tänk i figurer, tabeller och diagram, inte enbart i text Gör rapporten kortfattad, läsaren är troligen mer insatt i detaljerna än rapportskrivaren. Mer utförlig rapport behövs om den ska läsas av politiker eller utomstående personer. Låt gärna någon som inte varit involverad i processen läsa igenom rapporten som intern kvalitetssäkring. Steg 9 Utfrågning av rapporten När rapporten är sammanställd skickar processledaren ut den för kommentarer från alla som varit involverade, både de granskade och granskningsgruppen. I denna process kan faktafel och missförstånd rättas till. Om slutsatserna grundas på korrekt fakta kan meningsskiljaktigheter bero på olika synsätt och perspektiv och då är det är inte mycket att göra åt saken. Rapporten rättas efter vad parterna kan komma överens om och en slutgiltig rapport tas fram och distribueras på nytt. 15

16 Steg 10 Uppföljning av rekommendationer Vi rekommenderar att skriva ett uppföljningsdokument med förslag på åtgärder. Genom att arrangera ett möte eller seminarium kan resultaten från granskningen presenteras och spridas. Tillfälle ges också för reflektion och diskussion. Det politiska deltagandet är viktigt, speciellt om granskningen ifrågasätter verksamheten. För de som deltagit i erfarenhetsutbytet kan diskussionerna generera kunskap om vad som varit mer eller mindre lyckat och ge viktig information för kommande utbyten och egen verksamhet. Steg 11 Förlängning av överenskommelsen Granskningsprocessen är nu slutförd och en ny process kan inledas. Kanske den tidigare överenskommelsen förlängs för att arbeta vidare med de erfarenheter som gjorts under den första granskningen. 4 Erfarenheter och reflektioner De kollegiala granskningarna mellan Köpenhamn och Stockholm inom ramen för Healthy Cities, finns beskrivna i åtta delrapporter och en sammanfattande rapport. Metoden finns också beskriven mer utförligt i en engelsk version. Personer som deltagit i granskningarna har intervjuats av en student på Folkhälsovetenskapliga programmet, Karolinska Institutet. Här följer ett urval av de synpunkter som framkom. Peer review som metod och instrument för kvalitetsutveckling uppfattades mycket positivt av samtliga grupper. Det fanns under processen en allmän inställning att vilja göra det bästa för varandras projekt och verksamheter. 16

17 Både de danska och svenska granskningsgrupperna ansåg att det fanns behov av bättre information om vad granskningen skulle gå ut på och vad som förväntades av dem som deltagare. Inläsningen av materiel uppfattade deltagarna som en förutsättning för granskningen och för att kunna ge bra rekommendationer och förslag. De flesta uttryckte att de ej haft den tid de behövde för inläsning och förberedelser. Flera arbetsgrupper ansåg att studiebesöken var välplanerade och givande, men någon uttryckte besvikelse över att man inte fått möjlighet att träffa någon politiker. Någon grupp vittnade om att Köpenhamn och Stockholm kommit olika långt i folkhälsoarbetet och att utbytet till viss del blev lidande av detta. Båda länder ansåg att metoden troligen skulle fungera lika bra inom det egna landet och att den skulle kunna tillämpas även inom andra delar i ordinarie verksamhet. I alla arbetsgrupper upplevde man att en lärandeprocess skett, både genom att granska och att granskas. De rekommendationer som gavs uppfattades som befogade och möjligheten att få gehör för uppmärksammade brister ökade genom granskningen. 17

18 Bilaga Förslag på lämpligt bakgrundsmateriel Beslut för verksamheten Verksamhetsplan Verksamhetsberättelse Processbeskrivningar Tidigare utvärderingar Tidigare uppföljningar Producerat materiel Tidningsurklipp/mediabevakning Hemsida Förslag på lämpliga personer att intervjua Beslutsfattare, till exempel politiker, chefer Uppdragsgivare Styrgrupp Referensgrupp Verksamhetsansvarig Samverkanspartners, till exempel studieförbund, myndighet Finansiär eller bidragsgivare Representant från verksamhetens målgrupp 18

19 19

20 Beställa rapporten Centrum för folkhälsa Avdelningen för folkhälsoarbete Box Stockholm E-post: Tfn vx: