Om vägledningen. Vägledning om kontraktsuppföljning

Transkript

1

2 Om vägledningen Bakgrund och syfte Upphandlingsstödet vid Kammarkollegiet har i uppdrag att bidra till en mer effektiv, kvalitetsmedveten och rättssäker offentlig upphandling. Målet är att bättre ta tillvara konkurrensen på marknaden så att skattemedlen kan användas på bästa sätt till nytta för medborgarna, den offentliga sektorn och näringslivet. Målsättningen ska uppnås genom att sprida genomarbetade och väl förankrade metoder och hjälpmedel för upphandlingsprocessen och att därigenom bidra till en förenklad upphandlingsprocess för såväl upphandlande myndigheter som leverantörer. Inom ramen för detta uppdrag har ett behov av ökad kunskap och metodutveckling avseende kontraktsuppföljning identifierats. Många upphandlande myndigheter står inför en situation där de har alltmer kontrakterad verksamhet att kontrollera och följa upp, samtidigt som deras resurser för uppföljning är begränsade. Ett ökande tryck från allmänhet och media för att få insyn i hur skattemedlen används har också bidragit till ett ökat behov av kontraktsuppföljning. Syftet med denna vägledning är att ge förslag på en metod för hur upphandlande myndigheter kan identifiera och prioritera behov av uppföljning för olika typer av kontrakt och hur de sedan kan planera och genomföra kontraktsuppföljningen. Vägledningen har tagits fram i samverkan med representanter från upphandlande myndigheter och leverantörer. Omfattning Denna vägledning omfattar uppföljning av upphandlande kontrakt i enlighet med lagen (2007:1091) om offentlig upphandling (LOU) och lagen (2008:962) om valfrihetssystem (LOV). LOV reglerar vad som gäller när upphandlande myndigheter överlåter till den enskilde att välja en utförare av en tjänst bland godkända leverantörer i ett valfrihetssystem. Denna vägledning omfattar främst upphandlingar genomförda enligt LOU och LOV men kan också omfatta upphandlingar genomförda enligt lagen (2007:1092) om upphandling inom områdena vatten, energi, transporter och posttjänster (LUF) även om det inte finns några sådana exempel i denna vägledning. Vägledningen är generellt utformad. Det är därför alltid nödvändigt att identifiera de unika förutsättningarna i den enskilda upphandlingen. Vägledningen ersätter inte att upphandlande myndigheter och leverantörer vid behov inhämtar kompetens för att genomföra respektive delta i upphandlingar och kontraktsuppföljningar på ett rättssäkert och effektivt sätt. 1

3 Innehåll och disposition Efter vägledningens inledande kapitel om vikten av att följa upp kontrakt, ges i kapitel 2 en översikt över hur uppföljning kan genomföras på flera olika nivåer hos myndigheten. I kapitel 3 beskrivs processen för kontraktsuppföljning och hur den samverkar med upphandlingsprocessen. I kapitel 4 följer en genomgång av de fyra huvudsakliga uppföljningsområden som kontraktsuppföljningen kan delas in i och vilken typ av uppföljning man bör fokusera på inom respektive område. I kapitel 5 ges ett förslag till en enkel modell som kan användas för att identifiera och prioritera behovet av uppföljning. I kapitel 6 redogörs kortfattat för vilka förutsättningar som krävs för att en myndighet ska kunna åstadkomma en effektiv kontraktsuppföljning. Slutligen redovisas i bilagorna exempel på hur modellen för att identifiera och prioritera uppföljningsbehov kan genomföras i praktiken, exempel på olika verktyg som kan användas för att följa upp leverantörens kvalitetsledningssystem samt en översiktlig beskrivning av det regelverk som finns för kontraktsuppföljning inom byggsektorn. Allmänna förutsättningar för vägledningen Genomgående för vägledningen är att alla förslag och exempel på olika typer av uppföljningsaktiviteter, mått och metoder etc. förutsätter att motsvarande krav har ställts i samband med upphandlingen och är reglerade i kontraktet. Målgrupp för vägledningen är alla typer av upphandlande myndigheter såsom kommuner, landsting, statliga myndigheter, statliga och kommunala bolag. För att underlätta för läsaren används genomgående begreppet myndighet för samtliga intressenter. 2

4 Innehållsförteckning 1 Inledning Vad täcker begreppet uppföljning? Uppföljning av en upphandlings- och beställarfunktion Uppföljning på olika nivåer Hur kan processen för kontraktsuppföljning se ut? Identifiera vad som ska följas upp Välja uppföljningstyp (A-D) Ta fram en preliminär uppföljningsplan Vad ska följas upp? Hur ska kraven följas upp? Fastställa uppföljningsplan När och hur ofta ska kraven följas upp? Vem ska genomföra uppföljningen? Genomföra uppföljning Genomföra uppföljningsaktiviteter Hantera avvikelser Dokumentera uppföljningen Analysera och rapportera uppföljning Avsluta ett kontrakt Hur ska kontrakt följas upp? Uppföljning av kvalificeringskrav (krav på leverantören) Uppföljning av skattestatus, ekonomisk och juridisk status Uppföljning av teknisk och yrkesmässig kapacitet Uppföljning av kvalitetsledningssystem Uppföljning av miljökrav och sociala krav Uppföljning av miljöledningssystem Uppföljning av sociala krav Uppföljning av volym och pris Uppföljning av volym Uppföljning av pris och styrning genom ersättning Uppföljning och mätning av levererad kvalitet Uppföljning av kvalitet Mätning av kvalitet Uppföljning som publiceras till allmänheten

5 4.4 Uppföljning och bevakning av övriga kontraktsvillkor Beställarens ansvar och åtaganden Ändringar och tillägg Bevakning av tidpunkter Uppföljning av underleverantörer Åtgärdsplan vid avvikelser Hur kan myndigheten identifiera och prioritera uppföljningsbehov? Grupp A mindre behov av uppföljning Grupp B medelstort behov av uppföljning med fokus på produktivitet Grupp C medelstort behov av uppföljning med fokus på kvalitet Grupp D större behov av uppföljning Vad krävs av myndigheten för att genomföra kontraktsuppföljning? Arbetsrutiner Personella resurser IT-stöd Affärs-/ekonomisystem och beställnings-/inköpssystem Upphandlingssystem och avtalsdatabaser Stöd för kontroll av leverantörer Verktyg för enkäter och statistik Rapporteringssystem Bilaga 1 Exempel på uppföljning av fyra olika typer av kontrakt...39 Exempel på grupp A leverans av frukt Exempel på grupp B städning av kontorslokaler Exempel på grupp C bevakningstjänster och larmmottagning Exempel på grupp D jourmottagning/närakut Bilaga 2 Exempel på verktyg för att följa upp leverantörers kvalitetsledningssystem...52 Bilaga 3 Uppföljning av byggentreprenader

6 1 Inledning Det kan anses vara en självklarhet att en myndighet bör kontrollera att de varor och tjänster som den tar emot och använder i verksamheten också ska överensstämma med det som den faktiskt kravställt, beställt och betalat för. Dock är det ett faktum att det regelbundet konstaterats brister i kontraktsuppföljning inom den offentliga sektorn. Brister som kan ha flera olika orsaker, som brist på resurser, rutiner, kompetens eller brist på samverkan mellan olika enheter eller funktioner inom en myndighet. Enligt en dom från EU-domstolen strider det mot likabehandlingsprincipen och mot ett öppet och objektivt upphandlingsförfarande att ställa krav som inte kan kontrolleras. En myndighet ska alltså kunna kontrollera de uppgifter som lämnas av anbudsgivarna. Därför är det viktigt att i kontraktet formulera tydliga krav och villkor som lämnar så lite utrymme för tolkning som möjligt då det finns begränsade möjligheter att i efterhand ändra kontraktsvillkoren. Den primära risken med utebliven kontraktsuppföljning är att myndigheten får sämre kvalitet än det som är avtalat i kontraktet eller inte kan genomföra delar av sin ålagda eller planerade verksamhet på grund av uteblivna eller bristfälliga leveranser. Den sekundära risken är att både leverantörer med befintliga kontrakt och framtida leverantörer i kommande upphandlingar inte respekterar eller lever upp till de krav som myndigheten ställer i kontraktet för att ingen kontraktsuppföljning sker. Därmed kan det uppstå ett gap mellan de seriösa leverantörerna som uppfyller kraven och de mindre seriösa som får en kostnadsfördel och som kan vinna upphandlingar utan att uppfylla de ställda kraven i kontraktet. Detta leder till att leverantörerna inte konkurrerar på lika villkor, vilket kan snedvrida konkurrensen på marknaden. I praktiken kan en leverantör som inte har fått samma villkor för att vinna kontraktet ställa skadeståndsanspråk mot myndigheten. Det finns exempel som visar att myndigheterna har mycket att vinna på att avsätta resurser för kontraktsuppföljning. 2 Vad täcker begreppet uppföljning? Uppföljning inom upphandlingsområdet kan ses ur två huvudsakliga perspektiv. Det första perspektivet avser myndighetens uppföljning av sin upphandlings- och beställarfunktion, dvs. uppföljning av hur upphandling och inköp görs. Det andra perspektivet avser myndighetens uppföljning av sin upphandlade verksamhet, dvs. uppföljning av vad som upphandlas och köps. Detta perspektiv kan delas upp i flera abstraktionsnivåer varav kontraktsuppföljningen utgör den mest operativa nivån. I detta kapitel ges en översiktlig beskrivning av dessa perspektiv och nivåer. 5

7 2.1 Uppföljning av en upphandlings- och beställarfunktion Som en del i en myndighets arbete med dess interna kontroll kan uppföljning göras av dess upphandlings- och beställarfunktion. Det kan finnas flera syften med en sådan uppföljning, till exempel granskning av hur väl myndigheten följer fastställda rutiner, processer, policyer och lagstiftning inom upphandlingsområdet hur väl upphandlingsfunktionens kompetens, bemanning och resurser möter ställda krav från beställarfunktionen och övriga funktioner inom myndigheten hur stor andel av de totala upphandlingarna som har genomförts som direktupphandlingar hur stor del av gjorda inköp som täcks av upphandlade kontrakt i vilken omfattning beställarfunktionerna avropar/använder de upphandlande kontrakten hur väl upphandlingsfunktionen tillgodoser och stödjer myndighetens inköpsbehov och vilka rutiner som finns för att identifiera behov av nya upphandlingar hur upphandlarna informerar beställarna om aktuella ramavtal och hur de ska avropa från dessa. Denna typ av uppföljning initieras av myndigheten själv, till exempel av upphandlingsfunktionen eller internrevisorn, men genomförs till vissa delar ofta av en extern oberoende revisor. En stor del av denna uppföljning kan göras i form av mätning av olika nyckeltal som till exempel visar avtalstrohet, servicenivåer, intern kundnöjdhet, nedlagd tid per upphandling och andel direktupphandlingar. Uppföljning av en upphandlingsverksamhet kan också inkludera granskning av specifika upphandlingar som genomförts, till exempel att de genomförts enligt gällande rutiner och lagar, att kravställställandet har gjorts korrekt, att lämpliga leverantörer har inkommit med anbud, att det upphandlade objektet fyllde det efterfrågade behovet och gav önskad effekt. Ett annat syfte med denna uppföljning och statistikinsamling är att mäta beställarnas inköpsmönster för att ge underlag till kommande upphandlingar. 2.2 Uppföljning på olika nivåer Myndigheten kan följa upp sin upphandlingsverksamhet på systemnivå (uppföljning av strategisk måluppfyllelse) och på leverantörsnivå (kontraktsuppföljning). 6

8 Uppföljning på systemnivå genomförs oftast på strategisk ledningsnivå för att ge svar på om upphandlingen lett till att skattemedlen använts på bästa sätt för befolkningen och om de politiska målen uppnåtts, det vill säga när man tittar på upphandling som ett medel för att uppfylla myndighetens strategiska mål som t.ex. att förbättra servicen till befolkningen. Uppföljning av en leverans på systemnivå utgår ofta från gällande lagstiftning. Ett exempel på detta är kommunallagen (1991:900) där kommuner och landsting ska tillförsäkras möjligheten att följa upp det som har överlämnats till någon annan än kommunerna själva att utföra. Ett annat exempel är Hälso- och sjukvårdslagen (1982:763) där landstingen ansvarar för att följa upp att befolkningen får en vård av god kvalitet. Uppföljning på leverantörsnivån regleras i kontraktet med leverantören där det fastställs hur den upphandlade myndigheten ska följa upp de i upphandlingen ställda kraven. Här är syftet att följa upp det som leverantören har åtagit sig att göra i enlighet med kontraktsvillkoren. Gränserna mellan dessa två nivåer är inte alltid så tydliga trots att de har olika syften. För vissa större strategiska kontrakt bör man redan vid utformningen av förfrågningsunderlaget, förutom att identifiera de krav som ska följas upp på leverantörsnivå, även identifiera vilka av dessa uppföljningsbara krav som också kan användas till att följa upp på systemnivå dvs. om de strategiska målen uppnåtts eller inte. Ju mer mätbara dessa mål är, desto lättare är det att följa upp dem. Nedanstående tabell kan användas som utgångspunkt för de olika typerna av uppföljningar som myndigheten har ansvar för att utföra och ger exempel på när i tiden dessa kan göras. 7

9 Nivå Kontinuerlig uppföljning när detta ska göras Strategisk måluppfyllelse (systemnivå) Exempel: Summativ uppföljning (d.v.s. sammanfattande bedömning av vad uppföljningarna har gett under en viss period) när detta ska göras Exempel: Resultat i form av effekter av upphandlingen Kontraktsuppföljning (leverantörsnivå) kvalitetssystem och miljöledningssystem prestationer, leveranskontroller kvalitetsresultat till exempel indikatorer Vid myndighetens delårsoch helårsbokslut Exempel: Vid uppföljningsmöten med leverantören Månatligen, vid leveranstillfället Årligen I årsrapporten Vid forskningsstudier Exempel: Vart tredje år Årlig rapport med analys Årlig rapport med analys Tabell 1, Exempel på olika nivåer av uppföljningar och när dessa kan genomföras under kontraktsperioden. Kontraktsuppföljningen befinner sig alltså på den lägsta eller mest operativa nivån. Andra begrepp som används för kontraktsuppföljning är kontraktsstyrning eller contract management. En framgångsfaktor för en lyckad kontraktsuppföljning är att myndigheten och leverantören samarbetar och har en samsyn kring vad som ska levereras, vilka värderingar som ska gälla och vilka mål som ska uppnås. Denna vägledning fokuserar fortsättningsvis enbart på kontraktsuppföljning. 3 Hur kan processen för kontraktsuppföljning se ut? Nedan visas en översiktlig bild av hur en process för kontraktsuppföljning kan se ut och hur den kan kopplas till delar av upphandlingsprocessen. Som framgår av bilden är dessa två processer starkt kopplade till varandra. Central i denna uppföljningsprocess är den uppföljningsplan som tas fram parallellt med kravspecifikationen och kontraktet. Uppföljningsplanen är främst tänkt som ett internt dokument som myndigheten använder för att planera och genomföra arbetet med sin kontraktsuppföljning, men delar av uppföljningsplanen kan också tas med i både förfrågningsunderlaget och kontraktet för att öka transparensen och tydligheten för anbudsgivare och leverantörer. 8

10 Figur 1: Kontraktsuppföljningsprocessen 9

11 3.1 Identifiera vad som ska följas upp Hur ett kontrakt ska följas upp växer fram i takt med att kraven på upphandlingsobjektet definieras. Parallellt med att kraven utformas och formuleras bör man alltså tänka på hur de ska följas upp. Redan här kan det bli nödvändigt att ibland göra avvägningar mellan önskemål att ställa krav och möjlighet att sedan kunna följa upp dem. Som alltid bör det säkerställas att de ställda kraven är rimliga och inte går utöver vad som är nödvändigt för att genomföra uppdraget. 3.2 Välja uppföljningstyp (A-D) I samband med identifiering av vad som ska följas upp behöver man också identifiera hur omfattande uppföljningen behöver vara. Genom att på ett tidigt stadium sätta upphandlingskontraktets betydelse i relation till vilken risk/påverkan samt vilken volym/värde det utgör i myndighetens verksamhet kan man få en grov uppfattning om hur uppföljningen kan göras. För att hitta en rimlig omfattning och ambitionsnivå för uppföljningen kan man placera in upphandlingskontraktet i någon av uppföljningstyperna A-D enligt modellen för identifiering och prioritering av uppföljningsbehov som beskrivs i kapitel Ta fram en preliminär uppföljningsplan Parallellt med att förfrågningsunderlag och kravspecifikation för upphandlingsobjektet tas fram kan man utforma en preliminär uppföljningsplan. Den preliminära uppföljningsplanen bör kunna svara på vad som ska följas upp och hur det ska följas upp. 10

12 3.3.1 Vad ska följas upp? Vad som ska följas upp framgår av upphandlingens förfrågningsunderlag, inklusive kravspecifikation och kontraktsvillkor och varierar mycket beroende på upphandlingens art. Nedan ges några exempel på olika typer av krav: kvalificeringskrav (krav på leverantören) kompetenskrav (utbildning, erfarenhet) prestationskrav (leveranser) funktionella krav krav på produkter eller tjänster och sortiment kvalitetskrav (innehåll) miljökrav och sociala krav kontraktsvillkor priser och ekonomiska villkor. Olika slags krav innebär olika typer av uppföljning t.ex. uppföljning av leverantören, av volym och pris eller uppföljning av kvalitet (se kapitel 4). Det är viktigt att uppföljningsplanen enbart bygger på sådana krav och parametrar som faktiskt har definierats i förfrågningsunderlaget. Det är också viktigt att inte begära in onödig statistik eller rapportering från leverantörerna, utan all information som man planerar att begära in måste kunna spåras till krav eller villkor som har bedömts som viktiga att följa upp Hur ska kraven följas upp? Hur kraven kan följas upp rent praktiskt skiljer sig också mycket åt mellan olika typer av kontrakt, produkter och tjänster. För vissa produkter kan det räcka att göra en noggrann leverans- och fakturakontroll i samband med leveransen medan vissa tjänster måste följas upp regelbundet via förebyggande besök, kontroller och uppföljningsmöten. En viktig faktor för om eller hur ett krav kan följas upp är i vilken utsträckning det går att mäta. Om det inte finns något absolut mått för att mäta om ett krav uppfylls eller inte kan uppföljningen behöva baseras på någon form av bedömning eller värdering. Då är det viktigt att man kan definiera på vilka grunder denna bedömning ska göras. 11

13 Nedan ges några exempel på metoder och uppföljningsaktiviteter som kan vara aktuella: fysiska leveranskontroller fakturakontroller funktionstester besiktningar och inspektioner besök och kontroller (anmälda och oanmälda) stickprovskontroller, blindtester mätning av kvalitet genom nyckeltal bedömningar och betygssättning enkäter till tredjepartsanvändare/brukare (nöjd kund-statistik) egenrapportering från leverantörer regelbundna uppföljningsmöten med leverantörer uppvisande av verifikat, intyg, certifikat eller andra stödjande dokument revisioner. Om det kommer att krävas att leverantören ska använda något särskilt system eller verktyg för rapportering av avvikelser eller felanmälningar bör detta anges i förfrågningsunderlaget då det kan innebära en investeringskostnad för leverantören. 3.4 Fastställa uppföljningsplan När ett kontrakt har tecknats med vald leverantör (eller valda leverantörer) kan man fastställa uppföljningsplanen. Det är först när kontraktet är tecknat som det är möjligt att ytterligare specificera uppföljningsplanen med när och hur ofta uppföljning ska göras samt vem som ska göra uppföljningen. 12

14 3.4.1 När och hur ofta ska kraven följas upp? Tidplaner och tidpunkter för uppföljningsaktiviteterna anpassas till kontraktens löptid och/eller till de definierade leveranstiderna. När och hur ofta kraven ska följas upp beror på hur viktiga eller kritiska de är samt vilken typ av kontrakt det är fråga om. Det kan vara aktuellt med ett eller flera av följande alternativ: vid leveranstillfället vid funktionstest löpande varje månad, kvartal, år etc. vid inrapporterade fel vid större förändring hos leverantören (t.ex. omorganisation eller försämrat kreditbetyg) Vem ska genomföra uppföljningen? När det definierats vad som ska följas upp samt hur, när och hur ofta kraven ska följas upp, får man en bild av vilken arbetsinsats och vilken kompetens som krävs för uppföljningen. Kontraktsuppföljningen kan behöva göras på olika sätt och av olika roller/personer för olika typer av krav och många gånger måste flera olika roller/personer samverka i uppföljningen. En förutsättning för en effektiv uppföljning är att den genomförs av personer som har kunskap om den aktuella varan eller tjänsten. När man definierar vem som ska delta i uppföljningen är det också viktigt att säkerställa att den eller de personer som ska genomföra uppföljningsaktiviteterna kan göra detta på ett oberoende sätt, d.v.s. att de inte har några egenintressen i uppföljningen eller har för nära relation med leverantören. Nedan ges exempel på olika roller inom en myndighet som kan genomföra olika typer av uppföljningsaktiviteter: upphandlare beställare avtalscontrollers användare (t.ex. personalen inom myndigheten) leveransmottagare ekonomipersonal leverantörerna själva via egna självkontroller och egenrapportering oberoende revisorer, besiktningsmän, experter eller konsulter. 13

15 En diskussion om för- och nackdelar med olika upplägg för genomförande av kontraktsuppföljning finns i Miljöstyrningsrådets vägledning för uppföljning. Om en myndighet har flera kontrakt med en och samma leverantör kan det också vara effektivt att samordna uppföljningen för samtliga kontrakt. I samband med fastställandet av uppföljningsplanen är det också lämpligt att definiera hur uppföljningen ska dokumenteras. 3.5 Genomföra uppföljning Själva genomförandet av uppföljningen kan ses som en egen delprocess i uppföljningsprocessen. Den är en delprocess som pågår under hela kontraktsperioden i enlighet med den fastställda uppföljningsplanen. För vissa typer av kontrakt kan vissa uppföljningsaktiviteter fortgå även efter det att kontraktet är avslutat. Det kan t.ex. röra sig om bevakning av vissa service- och garantiåtaganden från leverantören Genomföra uppföljningsaktiviteter Uppföljningen genomförs via de uppföljningsaktiviteter och tidpunkter som fastställts i uppföljningsplanen och enligt de fyra huvudsakliga områden som beskrivs i kapitel 4. Uppföljningsaktiviteterna som genomförs av de roller/personer som definierats i uppföljningsplanen, kan både innehålla externa aktiviteter, till exempel uppföljningsmöten med leverantörer och stickprovskontroller av leveranser, samt interna aktiviteter som interna uppföljningsmöten med berörda intressenter inom myndigheten Hantera avvikelser Löpande under genomförandet av de olika uppföljningsaktiviteterna kommer man att behöva hantera eventuella avvikelser som noterats. I kontraktsvillkoren bör det regleras hur uteblivna eller felaktiga leveranser ska hanteras. 14

16 Det är en fördel att ha tänkt ut och reglerat någon form av sanktionstrappa där det först finns utrymme för dialog och rättning innan det blir aktuellt med sanktioner som successivt blir mer och mer kännbara t.ex. enligt följande ordning: 1. Dialog 2. Rättelse 3. Inte betala ut målrelaterad ersättning (se avsnitt om styrning genom ersättning) 4. Prisavdrag 5. Vite 6. Inte förlänga kontraktet eller inte utnyttja en option 7. Häva kontraktet Att identifiera vad som är en avvikelse kan vara svårt. Ibland kan en enstaka avvikelse vara försumbar medan en rad mindre förseelser tillsammans till slut blir en stor avvikelse. Därför kan det vara viktigt att alla avvikelser noteras löpande. Det kan också vara svårt att vidta åtgärder vid identifierade avvikelser. Förutom att avvikelserna måste vara tydligt dokumenterade för att kunna användas som bevis behövs för varje individuellt fall också göras en avvägning om det är värt att vidta åtgärder, dvs. om avvikelsen är tillräckligt allvarlig eller om kontraktet är tillräckligt stort för att det ska vara värt mödan eller vara ekonomiskt försvarbart att driva igenom åtgärderna mot leverantören. Avvikelser kan även vara ett resultat av att leverantören levererat över fastställd kvalitet eller volym och har rätt till någon form av bonus enligt ett incitamentsavtal (se avsnitt om styrning genom ersättning) Dokumentera uppföljningen En tydlig dokumentation är avgörande för att man ska kunna identifiera och styrka eventuella avvikelser i utförda leveranser i förhållande till vad som avtalats i kontraktet, men också för löpande återrapportering internt inom organisationen samt erfarenhetsåtervinning för kommande upphandlingar. Dokumentation krävs också för att kunna analysera och utvärdera upphandlingens effekt på strategisk nivå (se tabell 1, avsnitt 2.2). 15

17 3.6 Analysera och rapportera uppföljning Att genomföra uppföljningen kan för vissa större eller strategiska kontrakt även utgöra en del av myndighetens ordinarie verksamhetsuppföljning (se avsnitt 2.1). Därför kan det löpande resultatet av kontraktsuppföljningen också utgöra ett bidrag till kvartalsrapporter, årsredovisningar etc. 3.7 Avsluta ett kontrakt I samband med att kontraktet avslutas är det lämpligt att göra en utvärdering av upphandlingen. Utvärderingen kan t.ex. innehålla analyser om det upphandlade objektet uppfyllde ställt behov, om det bidrog till myndighetens strategiska måluppfyllelse, om samarbetet med leverantören har varit tillfredställande etc. 4 Hur ska kontrakt följas upp? För att definiera det som ska följas upp kan kontraktsuppföljning delas in i fyra huvudsakliga områden: 1. uppföljning av kvalificeringskrav (krav på leverantören) 2. uppföljning av volym och pris 3. uppföljning av kvalitet 4. uppföljning och bevakning av övriga kontraktsvillkor. I nedanstående avsnitt beskrivs vad som kan följas upp inom respektive område. Även om uppföljningsaktiviteterna i de olika områdena kan skilja sig åt påverkar de varandra i hög grad. 16

18 4.1 Uppföljning av kvalificeringskrav (krav på leverantören) Det första uppföljningsområdet är hur myndigheten under kontraktsperioden löpande säkerställer att leverantören har kapacitet att leverera avtalade varor eller tjänster utifrån de kvalificeringskrav som ställdes vid upphandlingen Uppföljning av skattestatus, ekonomisk och juridisk status Myndigheten bör redan i förfrågningsunderlaget ställa relevanta frågor för att kontrollera och bedöma leverantörens seriositet under kontraktsperioden. Det är lämpligt att regelbundet under hela kontraktsperioden kontrollera att det inte föreligger någon frivillig uteslutningsgrund som till exempel att leverantören är i konkurs eller likvidation, att leverantören har gjort sig skyldig till allvarligt fel i yrkesutövningen eller att leverantören inte har fullgjort sina skyldigheter avseende socialförsäkringsavgifter eller skatt Det är därför viktigt att regelbundet under hela kontraktsperioden säkerställa att leverantörens skattestatus överensstämmer med statusen vid anbudslämnandet för att förebygga fusk med skatter och sociala avgifter. Genom att teckna en överenskommelse om samarbete med Skatteverket görs det tydligt för leverantörer att myndigheten arbetar aktivt för att förebygga fusk, motverka och ingripa mot oseriösa företag och ekonomisk brottslighet. Genom samarbete med Skatteverket kan myndigheten under kontraktsperioden regelbundet kontrollera leverantörernas skattestatus samt redovisning och betalning av socialavgifter ur Skatteverkets skatteregister. Det är också lämpligt att vid misstanke under kontraktsperioden kontrollera att det inte föreligger någon obligatorisk uteslutningsgrund som till exempel att leverantören är medlem i en kriminell organisation eller är dömd för brott i en lagakraftvunnen dom gällande bestickning, bedrägeri, penningtvätt eller om leverantören är en juridisk person och företrädaren för den juridiska personen har dömts för brottet. Detta kan styrkas genom att begära in en sanningsförsäkran från leverantören, men bör också kontrolleras. Krav på ekonomisk ställning syftar till att säkerställa att leverantören har en tillräckligt stabil ekonomi för att kunna leverera en viss vara eller tjänst. Har man i förfrågningsunderlaget reglerat att krav på leverantörens ekonomiska stabilitet ska gälla under kontraktsperioden, bör man regelbundet kontrollera att dessa uppfylls under kontraktet. Kontrollen kan exempelvis ske genom att leverantören visar att han uppfyller vissa krav på omsättning, lämnar årsredovisningar eller att myndigheten löpande inhämtar kreditbetyg från kreditupplysningsföretag samt begär ut offentliga uppgifter ur Skatteverkets skatteregister. Finns det omständigheter som får medföra uteslutning av leverantörer enligt 10 kap 2 LOU bör även det prövas. 17

19 Om krav på leverantörens juridiska status ställdes som gällande under kontraktsperioden ska det kontrolleras att det också uppfylls under kontraktet. I samarbete med Bolagsverket finns det möjlighet att kontrollera att leverantörens företag är registrerat, vilka som är styrelseledamöter och firmatecknare samt om någon av dem är belagda med näringsförbud. Myndigheten bör också under kontraktsperioden kontrollera vad som händer hos leverantören, exempelvis företagsförvärv dvs. när ett företag köps av en utomstående intressant Uppföljning av teknisk och yrkesmässig kapacitet Om krav har ställts på leverantörens tekniska och yrkesmässiga kapacitet bör detta även följas upp och kontrolleras under kontraktsperioden. Det kan till exempel vara att säkerställa att en viss utrustning uppfyller vissa tekniska krav eller att det finns metoder för att säkra kvalitet. Nedan beskriver vi särskilt hur krav på kvalitetsledningssystem samt miljö och sociala krav kan följas upp Uppföljning av kvalitetsledningssystem I upphandlingar ställs ofta krav på att leverantören ska kunna uppvisa någon form av bevis på att ett kvalitetsledningssystem finns. När detta krav ställs bör i så fall detta även följas upp under kontraktsperioden och inte bara i samband med kvalificeringsfasen. Den upphandlande myndigheten kan begära att leverantören antingen ska inkomma med en egen beskrivning av ett kvalitetsledningssystem eller ett intyg utfärdat av ett oberoende organ. Intyg från svenska och europeiska organ som uppfyller europeiska standarder för certifiering ska då godtas. Att kunna följa upp ett helt kvalitetsledningssystem är dock inte lätt utan kräver särskild kunskap hos den som ska följa upp. Om kravet ställs att leverantören ska ha ett fullständigt kvalitetssystem bör följande delar alltid finnas med: kvalitetskontroll, kvalitetsstyrning kvalitetssäkring och kvalitetsutveckling. Att ställa krav på ett fullständigt kvalitetsledningssystem är inte alltid lämpligt. Bedömning bör göras i varje enskilt fall. Vid upphandling av mindre avancerade tjänster eller varor eller när leverantören har en mycket liten verksamhet kan det räcka med att leverantören kan visa att den har vissa delar av ett kvalitetsledningssystem. Nedan följer en beskrivning av vad ett kvalitetsledningssystem är och hur detta kan följas upp. Se figuren med förklarande text därefter. 18

20 4. Kvalitetsutveckling Ständiga förbättringar innan, under och efter det att varan producerats eller tjänsten utförts 3. Kvalitetssäkring innan varan produceras eller tjänsten utförs 2. Kvalitetsstyrning under tiden varan produceras eller tjänsten utförs 1. Kvalitetskontroll efter att varan producerats eller tjänsten utförts. Figur 2: Efter modell av Bergman och Klefsiö, Kvalitetskontroll (efter det att tjänsten utförts eller varan levererats). Det första steget i ett kvalitetsledningssystem, eller grunden för att garantera att användaren ska få en vara eller tjänst av god kvalitet, är att leverantören inte gör om misstag eller fel som gjorts tidigare hos leverantören själv eller hos underleverantör. Uppföljningen av leverantörens system för kvalitetskontroll kan genomföras genom att t.ex. följa upp leverantörens avvikelsehanteringssystem som ska säkerställa att negativa händelser dokumenteras, sammanställs och analyseras. Analyserna ska leverantören sedan använda till att ta fram nya rutiner så att inte samma misstag görs om. 2. Kvalitetsstyrning (under tiden tjänsten utförs eller varan produceras). Det andra steget som ska följas upp är att leverantören ska visa att den har dokumenterade och välkända rutiner så att rätt personal utför arbetet på rätt sätt hos leverantören. All personal måste ha tillgång till de rutiner som gäller för verksamheten och rutinerna ska i största möjliga utsträckning bygga på insatser eller metoder som är vetenskapligt kontrollerade eller där konsensus råder inom det verksamhetsområde som upphandlingen omfattar. Ett exempel är att leverantören ska visa på att säkerhetsrutiner finns när sådana krävs. Sådana rutiner eller processer kan även vara internationellt eller nationellt vedertagna inom respektive verksamhetsområde. 19

21 3. Kvalitetssäkring (innan tjänsten utförs eller varan produceras). Det tredje steget omfattar att leverantören har mätbara mål (s.k. standarder) samt har tagit fram mätetal för att kunna visa i hur hög utsträckning man uppfyllt, alternativt inte uppfyllt, den kvalitet som enligt kontraktet ska levereras. Flera kvalitetsverktyg kan användas av leverantören som t.ex. olika ISO-standarder. När en verksamhet uppnått de mål eller standarder som satts upp för den specifika verksamheten anses verksamheten vara kvalitetssäkrad. Andra liknande begrepp som certifierad, ackrediterad eller auktoriserad kan också användas. Enligt en europeisk undersökning från 2004 fanns det tjugosex ackrediteringsprogram i arton olika länder. Skillnaderna mellan programmen är stora och därmed finns ett behov för att söka gemensamma definitioner, metoder och normer för god kvalitetsnivå i Europa. I dag närmar sig de olika varianterna av extern bedömning varandra och utgör snarare ett nätverk av olika sätt att bedöma hur standarder efterlevs. Ackrediterings-/certifieringsprocessen syftar till att minska kvalitetsgapet mellan olika leverantörer och att höja kvalitetsribban hos samtliga. Införandet av standarder och ackrediteringsprocesser leder till en ökad standardisering av hur varor produceras och tjänster utförs inom olika verksamhetsområden. På detta sätt kan myndigheten jämföra resultatet mellan olika leverantörer som levererar samma varor eller tjänster. 4. Kvalitetsutveckling (före, under och efter tjänsten utförts eller varan producerats). Det fjärde och sista steget i ett kvalitetsledningssystem som ska följas upp är att leverantören själv utvärderar och analyserar användarens behov, tar tillvara både de uttalade och outtalade behoven samt utvecklar en totalkvalitet utifrån det. Här ingår även den s.k. servicekvaliteten som t.ex. innefattar tillgängligheten för användaren och deras omdöme om verksamheten. Kvalitet är en viktig strategisk dimension och en potentiell konkurrensfördel för leverantörer och därför en viktig del av styrningen av leverantörens egen organisation. Med ökad konkurrensutsättning blir kvalitet som konkurrensmedel således viktigt även för leverantörerna. Extern bedömning av kvalitetsledningssystemet som utförs på uppdrag av leverantören själv används i dag i ökande omfattning för att styra, förbättra och marknadsföra de tjänster eller varor som leverantören levererar. De vanligaste modellerna är då kollegial granskning (peer review), benchmarking, ackreditering men även EFQM-modellen och ISOcertifiering kan användas. Utöver dessa görs uppföljning genom s.k. myndighetsövervakning vilket sker på uppdrag av tillsynsmyndigheter (till exempel genom Socialstyrelsens tillsyn). Läs mer om de exempel på verktyg som kan användas för att följa upp leverantörens kvalitetsledningssystem i bilaga 2. 20

22 Uppföljning av miljökrav och sociala krav Om krav på miljö eller social hänsyn har ställts i samband med upphandlingen, antingen som kvalificeringskrav, som krav på varan eller tjänsten, eller som särskilda kontraktsvillkor bör efterlevnad av dessa följas upp under kontraktsperioden. Annars äventyras den miljö- och socialt anpassade upphandlingens trovärdighet och acceptans. Mer information om uppföljning av dessa krav kan hittas på Miljöstyrningsrådets hemsida, Uppföljning av miljöledningssystem Om krav har ställts i samband med en tjänsteupphandling att leverantören ska driva ett systematiskt arbete för att nå kontinuerliga förbättringar av sin organisations miljöprestanda måste detta också kontrolleras under kontraktsperioden. Uppföljningen kan genomföras av myndigheten själv, genom en anlitad konsult eller genom kontroll av intyg som utfärdats av en oberoende tredje part t.ex. ISO eller motsvarande. Man måste acceptera alla former av bevismedel, inte bara ett specifikt namngivet miljöledningssystem. Därför är det viktigt att myndigheten har varit noggrann med att precisera de miljöledningsrutiner som ska vara uppfyllda. Det är dock av vikt att den som genomför uppföljningen har generell kompetens kring upphandling och sakkunskap om tjänsten som ska kontrolleras. De mest välbekanta miljöledningssystemen är ISO och EMAS. Det finns också förenklade system såsom FR 2000, Svensk miljöbas samt olika diplomeringssystem. Det kan mycket väl vara så att de förenklade systemen täcker in just de miljöledningsrutiner man vill säkerställa. Eftersom miljöledningssystem vanligtvis ses över med flera års mellanrum och kontrakt kan löpa över betydligt kortare tidsperioder, kan det vara viktigt för en upphandlande myndighet att få löpande information om hur de ställda kraven följs. För EMAS-registrerade leverantörer är detta inget problem då de kan tillhandahålla en årlig granskad miljöredovisning. Då sådana redovisningar inte förekommer i andra miljöledningssystem kan löpande information begäras in och beskrivas i kontraktsvillkoren om proportionerligt Uppföljning av sociala krav Miljöstyrningsrådet har lanserat ett konkret verktyg för myndigheter som vill ställa sociala krav i upphandlingar. 21

23 Verktyget heter CSR- kompassen och är ett gratis webbaserat verktyg som ger stöd till det privata näringslivet och offentliga upphandlare vid utformningen av sociala krav. CSRkompassen ger även stöd vid uppföljning genom råd, tips och uppföljningsmallar som kan användas vid uppföljningen. Exempel på en uppföljningsmodell för sociala krav: 1. Frågeformulär (egenrapportering) till leverantör 2. Bedömning av svar 3. Återkoppling till leverantör 4. Kontroll/revision 5. Stickprovskontroll i produktionen Ett frågeformulär kan skickas ut till alla leverantörer vid uppföljning. Deras svar bedöms sedan av myndigheten varefter återkoppling till leverantören bör ske. Om resultaten visar att det är motiverat bör en inspektion göras i första led, dvs. hos leverantören om det är möjligt. En stickprovskontroll kan även genomföras i produktionen om det finns indikationer på att allt inte står rätt till i leverantörens rutiner. Detta görs lämpligast av en extern konsult med kompetens att genomföra sådana inspektioner. Det bör även ingå i dennes uppgift att ta fram ett förslag på en handlingsplan för hantering av avvikelser. Myndigheten kan sedan avtala med leverantören om hantering av avvikelserna med tidsangivelser för när dessa ska vara åtgärdade. För att få hjälp med att kontrollera att sociala och etiska krav i offentlig upphandling uppfylls, se vägledning från Miljöstyrningsrådet samt skriften från Konkurrensverket om miljöhänsyn och sociala hänsyn i offentlig upphandling. 4.2 Uppföljning av volym och pris Det andra uppföljningsområdet avser hur myndigheten säkerställer att leverantören levererar varor eller tjänster utifrån de volymer och priser som avtalats i kontraktet. Uppföljning av volym kan t.ex. motsvaras av en enkel leveranskontroll där antalet mottagna artiklar kontrolleras mot följesedel och order men utan att något direkt funktionstest eller kvalitetskontroll görs. Uppföljning av volym kan också motsvaras av en kontroll av att ett konsultföretag tillhandahållit en konsult under det antal timmar som avtalats, men utan någon noggrannare avstämning att konsulten faktiskt har levererat de tjänster som avtalats. Uppföljning av pris görs normalt vid ordinarie kontroller av faktura och/eller orderbekräftelse men kan också ske genom löpande kontroller av leverantörers prislistor. 22

24 Uppföljning av volym och pris är relativt enkelt i bemärkelsen att eventuella avvikelser ganska lätt kan identifieras. Denna uppföljning kan dock innebära mycket arbete, särskilt vid stora kontrakt med kontinuerliga och omfattande leveranser av varor eller tjänster. För vissa kontrakt är det naturligt att uppföljning av volym och pris görs i samband med uppföljning av kvalitet, t.ex. vid leverans- och fakturakontroller. Men för andra kontrakt kan inte uppföljning av kvalitet göras tillsammans med volym och pris. Det gäller framförallt kontrakt där det inte är beställaren som tar emot eller nyttjar de levererade varorna eller tjänsterna, exempelvis olika former av offentliga tjänster som hälso- och sjukvård, kollektivtrafik och avfallshantering Uppföljning av volym Vid upphandling där krav ställs på att en viss volym ska levereras men där varorna eller tjänsterna ska vara tillgängliga eller levereras kontinuerligt under hela året är det viktigt att fortlöpande följa upp i vilken omfattning och när i tiden leveranserna faktiskt sker. Detta är extra viktigt när priserna är prestationsbaserade (rörliga) med takkonstruktion (volymen får inte överskridas på årsbasis). I annat fall kan volymen och därmed kraven vara uppnådda när endast en del av året har gått, vilket skulle kunna innebära att användarna inte får del av de upphandlade tjänsterna eller varorna under resten av året. Nedanstående tabell är ett exempel på hur upphandlingar som innefattar stora volymer, i detta fall antalet besök inom hemtjänsten, kan följas upp i form av produktionsstatistik (antal hembesök). Typ av tjänst Årets ackumulerade utfall t.o.m. mars månad Utfall samma period föregående år Helårsprognos Avtalad nivå på helår tak Avvikelse prognos kontrakt Planerade hemtjänstbesök Akuta hemtjänstbesök Tabell 2, Exempel på hur volym följs upp i förhållande till de avtalade villkoren i kontraktet och över tid. I detta exempel kan man se att den avtalade taknivån kommer att överskridas med totalt 400 besök om antalet besök fortsätter på samma nivå som under årets första tre månader. Här bör en analys göras kring varför volymen ökat för akuta besök men minskat för planerade besök, dels i förhållande till avtalad volym och dels i förhållande till föregående år. 23

25 4.2.2 Uppföljning av pris och styrning genom ersättning Under kontraktsperioden kan priserna bevakas så att fakturerade priser stämmer överens med avtalade priser. Dessutom måste uppföljningen göras så att leverantören får den ersättning som avtalet stipulerar. Detta gäller både i de fall som leverantören uppfyller eller överträffar kraven men även när kraven inte är helt uppfyllda. Observera att en eventuell prisjustering som sker under kontraktsperioden kan påverka volymen av levererade varor och tjänster i fall där det exempelvis finns ett takpris i kontraktet. En myndighets ersättningssystem består av alla ersättningsmodeller som myndigheten använder för olika typer av kontrakt och uppdrag inom myndighetens ansvarsområde vid en specifik tidpunkt. En ersättningsmodell innehåller en eller flera olika ersättningstyper, såsom exempelvis: Fast ersättning (fast pris) Används ofta vid ersättning för ett helt eller del av uppdrag. Rörlig ersättning (löpande pris) Används ofta för ersättning per prestation per timme/dygn/produkt/ tillfälle. Kan användas med eller utan takkonstruktion. Målrelaterad ersättning Används för ersättning efter att en viss kvalitetsnivå uppnåtts. Bonusersättning Används som ersättning när målet överskrids med en viss nivå. I de fall syftet med upphandlingen är att leverantören av en viss vara eller tjänst ska öka sin produktivitet så är rörlig ersättning i form av ersättning per prestation ett bra sätt att styra. Observera att detta inte behöver leda till att kvaliteten på varan eller tjänsten ökar. Är uppdraget mer komplext där kravet på leverantören är att hålla ihop en för användaren hel tjänst som utförs av flera leverantörer, kan en fast ersättning styra mot det syftet. Är uppdraget att säkerställa att en i förväg beslutad, mätbar kvalitetsnivå ska uppnås för varan eller tjänsten är målrelaterad ersättning bra. För att stimulera till utveckling och förbättring av varan/tjänsten, t.ex. innovationer, kan bonusersättning vara en bra ersättningsform. 24

26 En ersättningsmodell kan innehålla en eller flera av dessa olika typer av ersättningar med olika stor andel av den totala ersättningen. Exempel på ersättningsmodell vid upphandling av bevakningstjänst: I detta exempel finns en takkonstruktion där den totala ersättningen per år beräknas till max 100 mkr och där även den rörliga ersättningen har ett tak på max 50 mkr. Ersättningen fördelas enligt följande: 40 mkr som fast ersättning ersättningen utgår för beredskapen att kunna rycka ut oavsett om larm utlöses eller ej mkr som rörlig ersättning x kronor per uttryckning (prestation) upp till taket på 50 mkr mkr som målrelaterad ersättning utbetalas antingen årligen när uppdraget är slutfört eller i delar under kalenderåret och som återbetalas av leverantören i de fall målen inte uppnåtts. Exempelvis kan man avtala om att ett visst antal utryckningar ska ske inom x minuter. Summa max 100 mkr. Utöver detta kan bonusersättningar betalas ut. Vad som ska följas upp när det gäller pris och hur detta ska ske beror således till stor del på vilken typ av ersättningsmodell som myndigheten har valt. 4.3 Uppföljning och mätning av levererad kvalitet Det tredje och det mest omfattande uppföljningsområdet är hur myndigheten säkerställer att levererade varor eller tjänster uppfyller de kvalitetskrav som fastställts i kontraktet. Kvalitetsbegreppet är mångfasetterat och har många olika definitioner i litteraturen. De flesta tar antingen avstamp i en vara eller tjänst eller hos kunden. Ur varan eller tjänstens hänseenden handlar kvalitet om avsaknaden av fel och ur kundperspektivet är kvalitet kundens tillfredställelse. Juran, som var först med att skriva om kvalitetsbristkostnader (1951, Quality Handbook) definierar kvalitet som lämplighet för avsedd användning. Standardiseringskommissionen i Sverige (SIS) definierar kvalitet som alla sammantagna egenskaper hos en produkt eller tjänst som ger dess förmåga att tillfredsställa uttalade eller underförstådda behov hos en kund. Numera är definitionen enligt ISO 9000 grad till vilken inneboende egenskaper uppfyller krav. 25

27 4.3.1 Uppföljning av kvalitet Uppföljning av kvalitet (dvs. innehållet i leveranserna) ska ske utifrån de krav som ställs i förfrågningsunderlaget och kan med fördel indelas i olika områden beskrivna i förfrågningsunderlaget. Inom varje område kan det finnas ett antal tydliga uppställda krav och indikatorer som kan mäta i hur stor utsträckning som kraven uppfyllts. Syftet är inte att mäta om till exempel myndighetens system påverkats av leveranserna utan i stället att kontrollera om leverantörernas uppdrag och krav enligt kontraktet är uppfyllda. Uppföljningen av kvalitet skiljer sig mycket åt beroende på om det är varor eller tjänster, liksom vilken typ av vara eller tjänst som levereras och om dessa varor eller tjänster ska levereras vid ett tillfälle eller kontinuerligt under kontraktstiden. Leveranserna ska följas upp av myndigheten ur ett serviceperspektiv men också ur ett oberoende kvalitetsperspektiv i de fall leveranserna inte helt kan granskas av användarna själva. För att följa upp kvaliteten i det som har levererats kan nedanstående modell vara behjälplig för att myndigheten ska få svar på vilken typ av kvalitet som levererats. Strukturkvalitet Processkvalitet Resultatkvalitet Vad levereras? Hur levereras det? Effekterna av leveranserna? Figur 3, Efter en modell av Donabedian. Låt oss anta att man ska följa upp de tjänster som levereras i en telefonväxel. Strukturkvalitet motsvaras av att följa upp det som levereras. Det vill säga att man till exempel följer upp de prestationer som ska levereras enligt kontraktet. I detta fall antalet samtal som har besvarats per minut. Processkvalitet motsvaras av att följa upp hur leveranserna har skett. I detta fall den genomsnittliga väntetiden innan ett samtal har besvarats. Resultatkvalitet motsvaras av att följa upp effekterna av leveranserna. I detta fall antalet samtal som har blivit kopplade till rätt person samt uppföljning av hur samtalen bemöts av operatören. Inom begreppet resultatkvalitet kan således också servicekvalitet ingå. 26

28 Inom begreppet servicekvalitet brukar användarnas synpunkter på bemötande och tillgänglighet avseende den upphandlande tjänsten ingå. I tillgängligheten ingår även exempelvis öppettider, hur lång tid tjänsten tar att utföra för den enskilde, hur lätt det är att besöka leverantören, om man till exempel kan parkera sin bil utanför, om man får plats för en rullstol, om synskadade kan ta sig in på ett säkert sätt? Uppföljningen av servicekvalitet kan antingen göras av leverantörerna själva som redovisar resultatet för myndigheten eller så kan den följas upp av myndigheten på ett enhetligt sätt för alla leverantörer som levererar samma typ av tjänst eller vara, genom exempelvis enkätundersökningar Mätning av kvalitet För att veta om den levererade varan eller tjänsten uppfyller kraven på kvalitet kan man mäta kvaliteten med hjälp av kvalitetsindikatorer. En kvalitetsindikator är en mätbar variabel som ska spegla den levererade varans eller tjänstens kvalitet. För att en indikator verkligen ska kunna göra detta så måste den vara: vetenskapligt rimlig (valid) dvs. bygga på evidens och/eller återspegla det som ska mätas och att det ska råda konsensus inom professionen om att indikatorn är valid. relevant (vara av vikt) dvs. den ska belysa viktiga områden inom det som levereras och där förbättringar ska kunna göras. mätbar dvs. den ska kunna mätas på ett tillförlitligt sätt och termer och begrepp, population, mätperiod etc. ska definieras. entydig (tolkningsbarheten ska vara god) dvs. bakgrundsfaktorerna ska vara standardiserade och möjliga felkällor ska kunna redovisas. Om man ska mäta kvaliteten med hjälp av indikatorer så bör dessa uppfylla ovanstående kriterier, i annat fall mäter de inte kvalitet utan någonting annat. Undersökningar visar att det ofta används indikatorer som inte uppfyller ovanstående kriterier. Om det inte går att ta fram lämpliga kvalitetsindikatorer kan andra metoder för uppföljning användas, såsom exempelvis uppföljningsbesök och uppföljningsmöten med leverantören. Dessa metoder ställer dock större krav på personella resurser hos de myndigheter som ska följa upp kontraktet, i jämförelse med att bara ta in ett mått på en indikator. 27