Tillämpningen av successivmetodiken i Åtgärdsplaneringen Extern granskning/utvärdering

Transkript

1 Tillämpningen av successivmetodiken i Åtgärdsplaneringen Extern granskning/utvärdering

2 Innehåll Kontaktperson Capgemini Consulting Johan Fagher Bakgrund, syfte och tillvägagångssätt Bakgrund Syfte Tillvägagångssätt Urval och avgränsningar Sammanfattning Metodens tillämpning Resultat Introduktion och referensram Genomförande Resultat och dokumentation Projektledarnas övergripande syn på metoden Projekt som gjort väsentliga avsteg från metodiken Sammanfattning av resultatavsnittet Analys Potential för säkrare kalkyler över projektlivscykeln Den successiva metodikens processer, rutiner och instruktioner måste utökas/kompletteras för att ta större hänsyn till det sammanhang som kalkylerna ingår i Sammanfattningsvis: Utöka och integrera den successiva kalkylmetodiken i den övergripande projektstyrningsmodellen Bilagor Appendix Sammanfattning av tidigare granskning... 34

3 1 Bakgrund, syfte och tillvägagångssätt 1.1 Bakgrund Banverket, Vägverket, Sjöfartsverket och Luftfartsstyrelsen har beslutat att bedriva åtgärdsplanering som ett gemensamt nationellt projekt. Ambitionen är att det ska resultera i en gemensam transportplan. Utgångspunkten är att samtliga transportslag ska komplettera varandra för att på ett optimalt sätt stödja efterfrågat transportbehov och uppfylla de transportpolitiska målen. En del av arbetet är att ta fram kalkyler på vad olika investeringar kommer att kosta och generera för nytta. Det har beslutats att Banverket och Vägverket ska ha ett gemensamt arbetssätt för framtagning av anläggningskostnadskalkyler för att säkra att nyttan bedöms på ett likartat sätt och att rätt prioriteringar görs. Banverket och Vägverket har tagit fram var sin mall inklusive anvisningar. Syftet med dessa har dock varit att likforma arbetssättet i största möjliga utsträckning. Metodiken är gemensam och bygger på metoden successiv kalkylering, vilken även benämns successivmetodiken eller lichtenbergmetoden. Under våren 2009 genomförde Capgemini Consulting en extern granskning där vi ställde oss positiva till införandet av successivmetodiken och bedömde det som ett steg i rätt riktning för såväl Banverket som Vägverket 1. Granskningen konstaterade dock att förbättringspotential fanns i såväl metodikefterlevnad såsom metodutveckling. Bland annat hade inte samtliga granskade projekt med en estimerad totalkostnad större än 500 MSEK genomfört en fullständig successiv kalkyl. 1.2 Syfte Det finns ett behov att få en opartisk bedömning av hur väl metoden har tillämpats vid framtagningen av anläggningskostnadskalkyler för åtgärdsplanen och om den ger kalkyler med god träffsäkerhet. Möjligheterna för en utomstående att granska själva kalkylen är dock mycket begränsad och istället har beslutats att det görs en granskning av hur kalkylen har tagits fram. Capgemini Consulting har under hösten 2009 genomfört en uppföljande extern granskning av ett antal projekt. Granskningen har, precis som granskningen våren 2009, fokuserat på att utreda hur successivmetodiken har tillämpats i samband med framtagning av anläggningskostnadskalkyler inom projekten. Utgångspunkten har varit att belysa tillämpningen utifrån de handledningar och förutsättningar som har kommunicerats samt identifiera områden där förbättringspotential finns. Denna rapport är resultatet av denna granskning på en aggregerad nivå. 1 Resultatet presenterades i rapporten Tillämpningen av successivmetodiken i Åtgärdsplaneringen , Extern granskning/utvärdering, Denna rapport återfinns som bilaga 1. 3

4 1.3 Tillvägagångssätt Granskningen genomfördes löpande under cirka 9 veckor under perioden 1 september 30 oktober. Samma upplägg som granskningen våren 2009 tillämpades. Intervjufasen påbörjades 8 september och avslutades 20 oktober. Under denna tid genomfördes 26 fokusintervjuer med respondenter, till övervägande del projektledare 2, för utvalda projekt. De huvudsakliga frågorna som diskuterades utifrån varje projektledares perspektiv under intervjuerna var: Hur upplever projektledarna att den successiva metodiken fungerar som kalkyleringsmetod inom Ban- och Vägverket? Hur har metoden tillämpats med utgångspunkt från de handledningar och dokumentationsmallar som kommunicerats? Upplever respondenterna att de kalkylresultat som användandet av metodiken har gett är rimliga och ger en god grund för åtgärdsplaneringen? Granskningen syftade också till att identifiera förbättringsområden inom ramen för användandet av successiv kalkylering vid anläggningskalkyler. Utredningen avslutades med en analysfas under perioden 21 oktober 30 oktober innehållandes bland annat databearbetning, hypotesvalidering, identifiering av utvecklingsområden samt rapportframställan. 1.4 Urval och avgränsningar Urvalet av projekt för denna tillkommande granskning har gjorts av Banverket och Vägverket. Capgemini Consulting har tillhandahållits projekturvalet, vilket specificeras i bilaga 2. Genomgående har den senaste successiva kalkylen granskats. Capgemini Consulting har ej gjort motkalkyler då möjligheterna för en utomstående att granska de numeriska underlagen och skattningarna i kalkylerna är mycket begränsade under en så kort tidsperiod. Utgångspunkten har varit att belysa tillämpningen utifrån de instruktioner och förutsättningar som har kommuniceras samt identifiera områden där förbättringspotential finns. Detta har till stor del baserats på berörda projektledares självskattningar och vår analys av deras svar. 2 Då den övervägande delen av respondenterna har varit projektledare eller ställföreträdande sådana benämns respondenterna fortsättningsvis endast projektledarna. 4

5 2 Sammanfattning Metodens tillämpning Resultat Vid vår granskning av metodens tillämpande har vi beaktat hur metoden har använts jämfört med de riktlinjer som kommunicerats ut från centralt håll inom Banverket och Vägverket. Vår samlade bedömning på en totalnivå är att, i jämförelse med granskningen våren 2009, så har mer gedigna gruppanalyser genomförts. Liksom i förra granskningen är den dominerande bilden att införandet av den successiva kalkyleringsmetoden torde vara ett steg mot mer tillförlitliga kalkyler enligt de medverkande projektledarna. Projektledarna upplever användandet av successiva kalkyleringsmetoden positivt och resultaten från osäkerhetsanalyserna får klart mer än godkänt som underlag till den kommande långsiktiga investeringsplanen. Under vår granskning har projektledarna nämnt följande aspekter som de främsta fördelarna med metoden: Den belyser och leder till ökad förståelse för osäkerheter med kalkylpåverkande effekter Den ger projektmedlemmarna en klarare samsyn på projektets syfte och risker Den hjälper till att identifiera och prioritera arbetet mot de största osäkerheterna Den skapar bättre förutsättningar för att det resultat och osäkerhetsspann som kommer ut av analysen ger en mer realistisk bild av den faktiska kostnadsbilden för projektet I nedanstående tabell sammanfattas kortfattat resultatet av granskningen område för område. Område Huvudsakligt resultat Förändring i jämförelse med förra granskningen Typ av analys I denna granskning har alla projekt utom fyra haft en kalkyl överstigande 500 Mkr och således borde omkring 85% av projekten ha genomfört fullständiga analyser. I cirka sju fall av tio har fullständiga analyser genomförts, vilket alltså innebär vissa frånsteg om kravet på fullständig analys. Värt att notera är också att inom Banverket har i en majoritet av fallen, de fullständiga analyserna genomförts under endast en dag. Vid en jämförelse med granskningen under våren 2009 kan konstateras att det på en totalnivå är något fler projekt, procentuellt sett, som gjort fullständig osäkerhetsanalys i denna granskning. En skillnad från föregående granskning är dock att avsteg från kravet på fullständiga analyser främst skett inom Vägverket. Inom Banverket har det i samtliga fall genomförts en fullständig osäkerhetsanalys eller en en-dags-analys som kan betraktas som en fullständig. Aktiviteter i gruppanalyserna De aktiviteter som enligt handledningarna bör ingå i en gruppanalys har generellt sett genomförts. En klar förbättring har skett över vilka aktiviteter som har genomförts under själva gruppanalysen, vilket skulle kunna förklaras med att projekten blivit mer professionella i arbetssättet med metodiken. 5

6 Område Huvudsakligt resultat Förändring i jämförelse med förra granskningen Medverkande och moderatorer Bemanningen i de fullständiga osäkerhetsanalyserna har generellt sett varit god. Samtliga granskade projekt som genomfört osäkerhetsanalyser har använt sig av moderator och projektledarna är generellt sett nöjda med moderatorerna, externa som interna. Det finns en koppling mellan projektledarnas syn på det resultat som kommer ut av osäkerhetsanalyserna och det övergripande betyget kring moderatorns kompetens. Vid en jämförelse med vårens granskning så har bemanningen under de fullständiga analyserna varit i nivå med varandra medan de förenklade analyserna varit bättre bemannade. Dessutom har andelen projektledare som varit nöjda med de representerade kompetenserna stigit kraftigt. Samtliga projekt, som genomfört osäkerhetsanalyser, har i denna granskning använt sig av moderator, vilket är en tydlig förbättring. De interna moderatorerna får ett något högre betyg i denna granskning. resultat Den stora merparten av projektledarna upplever att osäkerhetsanalyserna har gett ett bra resultat som underlag för åtgärdsplaneringen. Undersökningen visar att resultaten från osäkerhetsanalyserna får klart mer än godkänt som underlag till den kommande långsiktiga investeringsplanen. Nöjdheten med resultatet är i linje vårens granskning. Däremot har andelen projektledare som lämnat in osäkerhetsanalysens resultat till åtgärdsplanen utan revideringar minskat. Vid förra granskningen uppgick denna siffra till sju av tio, i denna granskning är motsvarande siffra fyra av tio. Kalkylernas Projektledarnas syn på metoden Totalt sett är projektledarnas syn på användningen av den successiva kalkyleringsmetodiken väldigt positiv. Alla projektledare som vi har intervjuat vill att metoden ska fortsätta att användas även framgent. Det sammantagna omdömet om metoden är också mycket högt. Denna positiva bild till trots visar vår studie att fler än sju av tio projektledare anser att metoden och dess tillämpning bör utvecklas vidare. Vägverksprojektledarnas generella metodomdöme har höjts något medan Banverkets har sjunkit något. En ökning i andelen som ser ett behov av förändringar/vidareutvecklingar av metoden kan också noteras i denna granskning. I förra granskningen ville ca sex av tio se förändringar av metoden medan sju av tio uttryckt ett behov av detta i denna granskning. Baserat på våra intervjuer med projektledarna, anser Capgemini Consulting att successivmetodiken är ett klart steg i rätt riktning för såväl Banverket som Vägverket. De moment som handledningarna föreskriver har generellt sett genomförts, metoden belyser osäkerheter på ett mer strukturerat och utförligt sätt jämfört med tidigare och projektledarna tror att det resultat som har kommit ut efter genomförd osäkerhetsanalys är bättre än om den traditionella kalkylmetodiken hade använts. Capgemini Consulting anser att detta sammantaget borde ge en bättre kvalitet i de kalkyler som har framtagits i enlighet med Banverkets och Vägverkets handledningar. Potential för säkrare kalkyler över projektlivscykeln Fortfarande kvarstår dock en förbättringspotential, som enligt vår bedömning skulle kunna öka förutsättningarna för mer rättvisande och jämförbara kalkyler över projektlivscykeln. Den allmänna uppfattningen är att man är nöjd med de generella instruktioner som har getts för den enskilda successiva kalkylen, men att de måste utökas/kompletteras för att ta större hänsyn till det sammanhang som kalkylerna ingår i. Tabellen på nästa sida ger exempel på den typen utav efterfrågade utökningar: 6

7 Efterfrågade instruktioner / processer / rutiner i samband med åtgärdsplanens kalkyleringsarbete Tydliga och enhetliga instruktioner för hur en enskild successiv kalkyl generellt ska genomföras finns på plats Tydliga och enhetliga instruktioner för hur en enskild successiv kalkyl ska anpassas till det skede som projektet befinner sig i finns på plats Tydliga och enhetliga instruktioner för när en kalkyl måste göras om och när en befintlig kalkyl endast kan revideras i samband med ändrade beställningar/förutsättningar Tydlig och enhetlig information om hur den ekonomiska uppföljningen kommer att förändras och bedrivas för att ta hänsyn till de osäkerheter som har identifierats genom de successiva kalkylerna Den successiva kalkylmetodiken är tydligt integrerad i den totala projektstyrningsmodellen som projektledarna i anläggningsprojekten jobbar efter Tydliga och enhetliga instruktioner för hur de successiva kalkylerna ska förhålla sig till de traditionella kalkylerna finns på plats Tydliga och enhetliga instruktioner för hur de successiva kalkylerna ska integreras i de rullande prognoser som används i sena skeden Upplevs finnas på plats Behov av utveckling upplevs Redan i förra granskningen påpekades behovet av att sätta den successiva metodiken i ett större sammanhang, d.v.s. hur den förhåller sig till projektplanering, fortsatt kalkylering och uppföljning. Resultatet från en successiv kalkyl är ett i allra högsta grad levande dokument och en levande process som måste anpassas över tid, följas upp och itereras med utgångspunkt i den osäkerhet som har skattats för projektet vid varje tidpunkt. Figuren nedan illustrerar översiktligt hur vi anser att arbetet med de successiva kalkylerna bör utvecklas och bedrivas framgent. Figuren ska främst ses som en initial skiss kring vilken riktning arbetet med de successiva kalkylerna inom Ban- och Vägverket bör ta: Den successiva kalkylmetoden är en integrerad del av projektstyrningsmodellen över alla skeden, med en ekonomisk uppföljning som tar hänsyn till den osäkerhet som successivkalkylerna har identifierat Begäran om framtagning av kalkyl varslas i god tid i förstudieskede anges vilket/vilka alternativ som kalkylen ska baseras på Genomförande av en enskild analys som baseras på tydliga instruktioner, anpassade till skedet Inrapportering av resultatet till åtgärdsplanen görs, projektledaren prioriterar fortsättningsvis arbetet med att utreda de största osäkerheterna och reviderar kalkylen enligt standard Ändrade beställningar hanteras enligt instruktioner antingen genom revideringar av kalkylerna enligt beprövad metod eller genom att ny kalkyl görs Resultatet integreras i det löpande prognos- och budgetarbetet, som också bedrivs enligt successiva metodiker Rekommendation för fortsatt arbete Capgemini Consulting rekommenderar Ban- och Vägverket att starta ett projekt med uppgift att på detaljnivå fastställa vad som idag finns och vad som måste utvecklas för att integrera den successiva kalkylmetodiken i det löpande projektarbetet, över projektlivscykeln. Ett sådant projekt bör också leverera en översyn av hur åtgärdsplaneringen anpassas till ett integrerat arbetssätt med den successiva kalkylmetodiken. Kommande åtgärdsplaneringar måste ta hänsyn och integreras till hur det löpande arbetet med de successiva kalkylerna bedrivs, inte vara det initiativ som inför den successiva kalkylmetodiken. 7

8 3 Metodens tillämpning Resultat 3.1 Introduktion och referensram Vid vår granskning av metodens tillämpande har vi beaktat hur metoden har använts jämfört med de riktlinjer som kommunicerats ut från centralt håll inom Banverket och Vägverket. För att ge en kort introduktion till vår referensram för bedömningen sammanfattas det kommunicerade förhållningssättet till successivmetodiken inom Banverket och Vägverket med nedanstående punkter, vilka är utdragna ur Banverkets/Vägverkets handledningar för användandet av successiv kalkylering 3 (se även bilaga 3 och 4). Delprojektet Anläggningskostnadskalkyler ska säkerställa att Banverket och Vägverket genomför, kvalitetssäkrar och dokumenterar anläggningskostnadskalkyler för stora väg- och baninvesteringsprojekt på ett enhetligt sätt. Målsättningen är att ha en gemensam metodik och förutsättningar för arbetet med anläggningskostnadskalkyler för samtliga investeringsobjekt samt att samordna arbetet med att ta fram anläggningskostnadskalkyler för stora objekt som bedöms ha möjlighet att ingå i det slutliga förslaget till åtgärdsplan. Samtliga kalkyler skall tas fram med en gemensam metodik baserad på successivmetodiken. Handledningarna ger en beskrivning av fyra principer som metoden bygger på, vilka citeras nedan: o o o o Acceptera osäkerheten - Framtiden är osäker, vilket även innebär att våra objekt är osäkra. Det gäller att på bästa sätt försöka identifiera, värdera och belysa dessa osäkerheter, för att på bästa sätt kunna eliminera osäkerheterna under den fortsatta processen. En bedömning av osäkerheterna ska alltid utgöra underlag vid beslutsfattande om objektets fortsatta genomförande. Statistisk beräkningsteknik - Statistiska beräkningsmetoder för sannolikhetslära används för alla beräkningar. Varje kalkylpost bedöms med ett min-, max- och troligtvärde. Resultatet presenteras i form av ett viktat medelvärde och standardavvikelse, vilket gör det möjligt att beskriva förhållandet mellan kostnad och sannolikhet i form av normalfördelningskurvor. Top-down teknik - Alla kostnadsbedömningar vid osäkerhetsanalysen görs uppifrån och ned. Först bedöms ett mindre antal grova kalkylposter. Därefter bryts de mest osäkra posterna ned successivt till mer detaljerade bedömningar. Det gäller att först få en känsla för helheten, få insikt om var de största osäkerheterna finns och sedan jobba vidare med rätt poster. Generella osäkerheter - Generella osäkerheter är osäkerheter som påverkar flera kostnadsposter i den kvantifierbara grundkalkylen (t ex konjunktur, opinion, politiska beslut, etc.). Dessa osäkerheter analyseras skiljt från grundkalkylen. Vid traditionell kalkylering är det inte ovanligt att dessa osäkerheter glöms bort eller underskattas. Följande definitioner har använts i intervjuer liksom i denna rapport: Osäkerhetsanalysen: Avser hela användningen från start till slut (med tillhörande resultatdokumentation och distribution) av den successiva kalkyleringsmetoden i enlighet med Vägverkets eller Banverkets handledning. Gruppanalysen: Avser den gruppaktivitet som metoden statuerar ska användas under osäkerhetsanalysen. Grundkalkyl: En successiv kalkyl består av grundkalkyl + generella osäkerheter. I grundkalkylen görs skattning av kalkylposter i max, min och troliga värden. 3 Om inget annat anges, utgör handledningarna vår referensram, d.v.s. Banverket Åtgärdsplanering Anläggningskostnadskalkyler Handledning för kalkylarbetet respektive Vägverket - Handledning Successiv kalkylering inklusive Lathund Anläggningskostnader Vägverket och Banverket 8

9 Generella osäkerheter: En successiv kalkyl består av grundkalkyl + generella osäkerheter. Generella osäkerheter skattas i max, min och troliga värden. Traditionell kalkyl: En traditionell kalkyl är den kalkylmetod som normal används vid anbudsoch produktionskalkylering, dvs. en relativt detaljerad kalkyl uppbyggd av mängd * á-pris. Fullständig vs. förenklad osäkerhetsanalys: Handledningen beskriver två olika tillvägagångssätt att genomföra en osäkerhetsanalys, fullständig osäkerhetsanalys och förenklad osäkerhetsanalys. Målsättningen har varit att genomföra fullständiga osäkerhetsanalyser för alla objekt med en totalkostnad större än 500 Mkr. För objekt med en totalkostnad lägre än 500 Mkr kan förenklad osäkerhetsanalys genomföras. Nedanstående tabell 1 belyser de största skillnaderna mellan den fullständiga och förenklade analysen: Aspekt Fullständig osäkerhetsanalys Förenklad osäkerhetsanalys Storlek på projekt Totalkostnad större än 500 Mkr Totalkostnad lägre än 500 Mkr Tidsomfattning 2 dagar Kortare tid, 0,5 1 dag Antal medverkande 8-16 tvärsammansatt grupp med tumregel att projektets medlemmar bör vara i minoritet Minst fem personer bör medverka varav minst 2 inte aktivt ingår i projektet. Moderator Opartisk moderator, i huvudsak externt anlitad Genomförs i egen regi med hjälp av regionala stödpersoner Rapportering Ifylld Kalkylmall Åtgärdsplan (Banverket), ifylld Kalkylbok och Kalkyl- PM (Vägverket) Ifylld Kalkylmall Åtgärdsplan (Banverket), ifylld Kalkylbok och Kalkyl- PM (Vägverket) Tabell 1 Vår presentation av hur väl projektledarna har arbetat utifrån de gällande handledningarna samt deras syn på metodiken presenteras i nästkommande avsnitt enligt följande struktur: Genomförande o o o o Typ av analys Aktiviteter i gruppanalyserna Medverkande och moderatorer Fasta förutsättningar Resultat och dokumentation o o Resultat Dokumentation Projektledarnas syn på metoden Sammanfattning av resultatavsnittet 9

10 Andel av de svarande 3.2 Genomförande Typ av analys Figur 1 nedan visar vilka typer av analyser som har gjorts för de olika projekten. I denna granskning har alla projekt utom fyra haft en kalkyl överstigande 500 Mkr och således borde omkring 85% av projekten ha genomfört fullständiga analyser. I denna granskning har en renodlad fullständig analys genomförts i cirka fyra av tio Figur 1 100% 80% 60% 40% 20% 0% 37,5% 44,4% 42,3% 62,5% 11,1% 26,9% 22,2% 15,4% 22,2% 15,4% Banverket Vägverket Totalt Ingen osäkerhetsanalys gjord Förenklad osäkerhetsanalys Granskning hösten 2009: Typ av analys gjord En-dags osäkerhetsanalys antalsmässigt motsvarande fullständig Fullständig osäkerhetsanalys fall. Dock har analyser, som i allt annat än tidsåtgången (genomfört på en dag istället för två), motsvarar en fullständig analys, genomförts i knappt tre fall av tio. I vår granskning har vi ansett dessa analyser vara motsvarande fullständiga analyser och den totala andelen fullständiga analyser uppgår utifrån den bedömningen till ca sju av tio vilket innebär att vissa projekt gjort avsteg från kravet på fullständig analys. Jämfört med granskningen våren 2009 är dock denna andel något högre. I den granskningen hade fullständig analys endast genomförts i sex fall av tio trots att en ännu högre andel av projekten i den granskningen hade en kalkyl överstigande 500 Mkr. Inom Vägverket har hälften av de granskade projekten genomfört en fullständig analys, drygt två fall av tio har genomfört en förenklad analys och i ytterligare drygt två fall av tio kan en osäkerhetsanalys inte alls ha ansetts genomförts. De senare projekten har förvisso uteslutande skattat min, medel och max värden men i en liten grupp eller på för kort tid. I vissa av dessa fall har arbetet inte genomförts i samlad grupp, vilket är ett kännetecken för en osäkerhetsanalys med hjälp successiv kalkylering, utan istället genomförts genom en serie möten där främst kalkylator och projektledare medverkat. Anledningarna till att man inte har genomfört en fullständig analys är flera. I ett fall understeg totalkostnaden 500 Mkr, varvid en förenklad analys genomfördes. Detta är i linje med handledningarna. För övriga projekt som valt att göra förenklade analyser har de främsta skälen varit att man inte ansåg en fullständig tillföra något mervärde, bl.a. på grund av tidigt skede. I de fall där någon osäkerhetsanalys inte alls kan ha ansetts gjorts, har det huvudsakliga skälet varit sent reviderade beställningar och/eller tidsbrist kopplat till detta. Då har projekten istället valt att revidera, bryta ut och/eller slå ihop befintliga kalkylunderlag. Inom Banverket har samtliga projekt genomfört analyser som antalsmässigt motsvarat en fullständig osäkerhetsanalys. Dock har i en majoritet av fallen dessa genomförts under endast en dag. Detta har varit möjligt att genomföra med hjälp av förberedelsearbete och användning av mer standardiserade grupper för generella osäkerheter. Viss standardisering av de generella osäkerheterna var ett av de förbättringsområden som Capgemini Consulting rekommenderade under granskningen våren Även om vi anser att utvecklingen mot en-dagars-analyser är bättre än inga eller förenklade analyser, så finns det risker med att genomföra en fullständig analys under en dag. Några respondenter kommenterar att de i gruppanalysen inte hann arbeta igenom vissa poster tillräckligt och därför tvingades acceptera, enligt egen bedömning, ett alltför stort osäkerhetsspann. I dessa fall har revideringar gjorts eller kommer att göras i efterhand. 10

11 Andel av de svarande Vid en jämförelse med granskningen under våren 2009 (se figur 2) kan konstateras att det på en totalnivå är något fler projekt, procentuellt sett, som gjort fullständig osäkerhetsanalys i denna granskning. En skillnad från föregående granskning är dock att avsteg från kravet på fullständiga analyser främst skett inom Vägverket. Inom Banverket har det i samtliga fall genomförts en fullständig osäkerhetsanalys eller en en-dags-analys antalsmässigt motsvarande en fullständig analys. 100% Granskning våren 2009: Typ av analys gjord 80% 60% 40% 20% 0% 57,1% 61,8% 59,4% 34,3% 20,6% 27,5% 8,6% 17,6% 13,0% Banverket Vägverket Totalt Endast traditionell kalkyl Fullständig osäkerhetsanalys Förenklad osäkerhetsanalys Figur 2 11

12 Andel av de svarande som gjort någon form av osäkerhetsanalys Andel av de svarande som gjort någon form av osäkerhetsanalys Aktiviteter i osäkerhetsanalyserna Vid granskningen kan konstateras att förberedelsemöte inför gruppanalyserna, där projektledare och moderatorer främst har deltagit, har hållits i samtliga fall inom Banverket och till klart övervägande grad inom Vägverket. Detta illustreras i figur 3. Det som behandlats under förberedelsemötena har främst varit kalkylstruktur, gruppsammansättning samt projektbeskrivning. Däremot har projektets traditionella kalkyl inte behandlats vid mer än knappa hälften av förberedelsemötena och endast skickats ut i ett fall av tio. Detta mot bakgrund av att man inte vill föregripa osäkerhetsanalysens gruppanalys med värden 100% Granskning hösten 2009: Andelen som hade förberedelsmöte inför gruppanalysen 14,3% 9,1% från en traditionell kalkyl, vilket är i enlighet med handledningarna. 80% Vid en jämförelse mot granskningen våren % så kan konstateras att 100,0% 85,7% 90,9% 40% resultaten ligger väl i linje 20% 0% med varandra även om en viss förbättring har skett inom såväl Banverket som Banverket Vägverket Totalt Vägverket. Flera projektledare Förberedelsemöte hölls Förberedelsemöte hölls ej har betonat vikten av Figur 3 väl genomförda förberedelsemöten i samband med att en-dagars-analyser förbereds. Då måste kategorier av generella osäkerheter, funktion, omfattning, mängdskattningar, etc. förberedas i högre grad redan på förhand. De aktiviteter som enligt handledningarna bör ingå i en gruppanalys har generellt sett genomförts. Detta belyses i figur 4. Överlag så har dock analyserna inom Banverket följt de uppsatta handledningarna bättre än de som genomförts inom Vägverket. På en totalnivå så har momentet definition av generella osäkerheter i nästan femton procent inte genomförts på ett fullständigt sätt. Definition av generella osäkerheter är också ett av de områden som man i vissa en-dagars-analyser har effektiviserat genom att brainstormingen i vissa fall har begränsats till ett maxantal bidrag per deltagare och/eller kategorisering mot fördefinierade grupper av osäkerheter. Granskningen hösten 2009: Aktiviteter som ingick delvis eller inte alls i gruppanalyserna 75% 36% 50% 13% 14% 14% 14% 9% 7% 5% 7% 5% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% Figur 4 Banverket Vägverket Totalt 12

13 Andel av de svarande som gjort någon form av osäkerhetsanalys Granskning våren 2009: Aktiviteter som ingick delvis eller inte alls i gruppanalyserna 75% 71% 68% 31% 19% 22% 15% 7% 7% 19% 11% 9% 11% 10% 4% 13% 6% 0% 3% 4% 3% 3% 4% 3% Banverket Vägverket Totalt Figur 5 Momentet att utarbeta en handlingsplan för hantering av de största osäkerheterna som gruppanalysen har identifierat, har ej gjorts på ett fullständigt sätt i så många fall som fem fall av tio. Detta moment är förvisso inte dokumenterat i handledningen, men enligt vår bedömning ett viktigt steg för att ta till vara på den riskanalys som genomförs inom ramen för osäkerhetsanalysen och för att uppnå kontinuitet i det osäkerhetsreducerande kalkylarbetet. Mer om detta under analysavsnittet nedan (kapitel 4). Generellt sett så har en klar förbättring skett över vilka aktiviteter som har genomförts under själva gruppanalysen, vilket nog kan förklaras med att projekten blivit mer professionella i arbetssättet med metodiken. Detta syns också tydligt i en direkt jämförelse mellan denna och förra granskning (se figur 4 och 5). Förbättringen har skett inom såväl Banverket som Vägverket men är särskilt märkbar inom Banverket. Vår samlade bedömning på en totalnivå är att, i jämförelse med granskningen våren 2009, så har mer gedigna gruppanalyser genomförts. 13

14 Antal personer Medverkande och moderatorer i osäkerhetsanalyserna Handledningarna föreskriver att den fullständiga analysen bör omfatta åtta till sexton personer och den förenklade minst fem personer. Resultatet i figur 6 visar att i genomsnitt befinner sig såväl de fullständiga analyserna (inklusive en-dagars-analyserna) liksom de förenklade inom dessa ramar. Av de projekt som genomfört osäkerhetsanalyser är det bara något enstaka som legat strax under rekommenderade antalsgränser för antalet medverkande. I de fallen har projektledarna dock ansett den närvarande kompetensen tillräcklig trots detta Granskning hösten 2009: Antal personer i gruppanalyserna per typ av analys 13,7 14,2 13,9 14,0 13,0 11,9 12,4 11,9 10,6 7,0 7,0 5 Banverket 0 Fullständig osäkerhetsanalys En-dags osäkerhetsanalys antalsmässigt motsvarande fullständig n/a Förenklad osäkerhetsanalys Totalt Vägverket Totalt Figur 6 Vid en jämförelse med vårens granskning så har bemanningen under de fullständiga analyserna varit i nivå med varandra. De förenklade analyserna har varit betydligt bättre bemannade i de projekt som har granskats i denna omgång jämfört med våren Värt att notera är dock att när det gäller relationen mellan totala antalet medverkande och antalet medverkande som arbetat i projektet, så skiljer det sig åt mellan verken. Rekommendationen är att högst hälften av deltagarna bör komma ifrån projektet och i Banverkets fall klarar man sig väl under denna gräns. I Vägverkets fall har i genomsnitt över sex av tio deltagare kommit ifrån projektet, men variationen är här betydligt större. Ett intressant mått är också om rätt kompetenser har deltagit eller inte. Resultatet i denna granskning visar att enbart en av tio projektledare bedömde att någon enstaka kompetens saknades vid analystillfället. Detta skall ställas mot vårens granskning då fyra av tio projektledare upplevde att de saknade någon eller flera kompetenser. Till skillnad från förra granskningen har samtliga granskade projekt som genomfört osäkerhetsanalyser, använt sig av moderator, vilket enligt vår bedömning är en kvalitetshöjande faktor. Vid förra granskningen var det också stora skillnader i gruppstorlek baserat på huruvida moderator var intern eller extern. Vid denna granskning har denna skillnad minskat avsevärt, vilket syns i figur 7. Det beror bl.a. på att de interna moderatorerna i högre grad nu har använts vid fullständiga analyser, främst inom Banverket. 14

15 Standardavvikelse i förhållande till 50%-värdet Antal personer Granskning hösten 2009: Storlek på grupp beroende på typ av moderator och om moderator använts eller ej 12,6 Extern moderator Moderator användes 10,0 Intern moderator Figur 7 20% 15% 10% 5% Granskning hösten 2009: Storlek på standardavvikelsen baserat på typ av moderator som använts 18,1% 17,3% 15,2% 12,3% 11,8% 10,5% 8,8% 8,2% 8,6% Banverket Vägverket Totalt 0% Extern moderator Intern moderator Totalt Figur 8 I förra granskningen sågs en tydlig koppling mellan huruvida moderator hade använts och den relativa storleken på osäkerhetsspannet. I denna granskning har alla osäkerhetsanalyser letts av moderator och jämförelsen kan inte göras. Däremot finns skillnader i storleken på det relativa osäkerhetsspannet mellan interna och externa moderatorers osäkerhetsanalyser. Figur 8 visar hur standardavvikelsens storlek i förhållande till 50%-värdet är knappt tjugo procent större i Banverksprojekten och 7-8% större i Vägverksfallen om extern moderator använts. En tolkning skulle kunna vara att externa moderatorer inte låter grupperna bryta kalkylposterna lika djupt som de interna. Det är dock inget i våra resultat som ger en entydig förklaring till varför och detta bör studeras på ett större urval innan slutsatser dras. 15

16 Moderatorns kompetens på en skala 1-6, där 6 motsvarar mycket hög kompetens och 1 mycket låg kompetens Antal projektledare som har gett moderator ett visst betyg 10 8 Granskning hösten 2009: Övergripande moderatorbetyg Moderatorns kompetens på en skala 1-6, där 6 motsvarar mycket hög kompetens och 1 mycket låg kompetens Banverket Vägverket Totalt Figur 9 Våra resultat i figur 9 visar att den av projektledarna upplevda kompetensen hos moderatorerna skiftar även om det stora flertalet har varit nöjda med sin moderator och i genomsnitt har moderatorerna fått betyget fem på sexgradig skala. Det är mycket positivt och bör lyftas fram. Generellt verkar projektledarna vara mer nöjda med sina moderatorer inom Banverket än inom Vägverket. I förra granskningen var en förklaringsfaktor till skillnaderna i moderatorernas skattade kompetens, skillnaden i kompetens mellan interna och externa moderatorer. Resultaten visade att man var något mer nöjd med externa moderatorer än interna, även om skillnaderna var små. I denna granskning är bilden något omvänd, de interna moderatorerna har i genomsnitt fått ett något högre betyg än de externa, vilket illustreras i figur 10. Även om urvalet är litet, kan det för dessa projekt tolkas som att de interna moderatorerna upplevs väl så professionella som de externa. Granskning hösten 2009: Övergripande moderatorbetyg beroende på om extern eller intern moderator har använts Figur ,33 5,50 5,38 4,80 5,00 5,00 5,17 4,86 5,05 Extern moderator Intern moderator Totalt Banverket Vägverket Totalt Liksom vid granskningen våren 2009 ser vi även i denna granskning en viss koppling mellan projektledarnas syn på det resultat som kommer ut av osäkerhetsanalyserna och det övergripande betyget kring moderatorns kompetens, vilket visas i figur 11. Detta sammantaget visar återigen på vikten av att ha kompetenta moderatorer som leder osäkerhetsanalyserna. 16

17 Svårigheter på en skala 1-6 där 6 motsvarar Håller helt med och 1 Håller inte alls med Skala 1-6 där 6 motsvarar Mycket hög upplevd duglighet t i kostnads-och osäkerhetsbedömningen och 1 Mycket låg upplevd duglighet I de fem fall där moderatorerna har fått lägre betyg än fem är det främst p.g.a. moderatorernas ovilja att acceptera givna säkerheter (såsom beaktande av redan upphandlade delar) samt missbedömning av tidsdispositionen. Granskning hösten 2009: Projektledarnas syn på resultatet baserat på moderatorns kompetens Banverket Vägverket Totalt Moderatorns kompetens skala 1-6 där 6 motsvarar mycket hög kompetens och 1 mycket låg kompetens, bruten skala visad Figur 11 Synen på moderatorns kompetens påverkar också hur stora svårigheter projektledarna upplevde att gruppanalysens olika moment betingade. Desto högre upplevd kompetens, desto mindre svårigheter att genomföra en gruppanalys, vilket åskådliggörs i figur 12 nedan. 6 Granskning hösten 2009: De största svårigheterna baserat på moderator 5,5 5 4,5 4 3,5 3 2,5 2 1,5 Svårigheten att samla rätt kompetenser i gruppanalyserna Svårigheten att hitta relevanta, nedbrytbara och uppskattningsbara generella osäkerheter Svårigheten att hinna med allt som ska göras under gruppanalysen Svårigheten att disponera tiden rätt och fokusera på rätt frågor Svårigheten att förstå och behärska metoden fullt ut Svårigheten att hinna med och förstå alla förberedelser som måste göras Moderatorns kompetens på en skala 1-6 där 6 motsvarar mycket hög kompetens och 1 mycket låg kompetens, bruten skala visad Figur 12 17

18 Andel av de svarande som gjort någon form av osäkerhetsanalys Andel av de svarande som gjort någon form av osäkerhetsanalys Fasta förutsättningar i osäkerhetsanalyserna Vår undersökning visar att användningen av fasta förutsättningar, som riskerar att avgränsa bort funktionsområden, omfattning eller kalkylpåverkande osäkerheter, förekommer. I drygt fyra av tio fall där fasta förutsättningar har adderats, finns någon form av risk för sådana konsekvenser. Detta illustreras i figur 13. Uteslutande rör det sig om avgränsningar av funktioner, omfattningar och osäkerheter som faktiskt kan komma att hamna inom ramen för det aktuella projektet, men som ändå har satts som en fast avgränsning. Granskning hösten 2009: Risken att vissa av objektets funktionsområden/omfattning/osäkerheter avgränsades bort vid definitionen av de fasta förutsättningarna 100% 80% 60% 40% 20% 75,0% 25,0% 37,5% 62,5% 56,3% 43,8% Nej Ja eller delvis 0% Banverket Vägverket Totalt Figur 13 Som anledningar till att dessa avgränsningar har lagts till, anges exempelvis att vissa kostnadsutfall eller osäkerheter är så osannolika att de inte har känts relevanta att inbegripa. Några projektledare kan inte riktigt specificera varför förutsättningarna lades. Ytterligare en grupp hänvisar till att osäkerheten kring det som avgränsats var så stor att kalkylens osäkerhetsspann skulle bli intetsägande stort. Särskilt för tidiga skeden har vissa projekt tvingats göra antaganden om funktion och omfattning trots att slutligt alternativ inte var känt. Denna problematik diskuterades i förra granskningens rapport och berörs åter i analysavsnittet (kapitel 4) nedan. Granskning våren 2009: Risken att vissa av objektets funktionsområden/omfattning/osäkerheter avgränsades bort vid definitionen av de fasta förutsättningarna 100% 80% 60% 40% 20% 46,4% 53,6% 52,4% 49,0% 47,6% 51,0% Nej Ja eller delvis 0% Banverket Vägverket Totalt Figur 14 18

19 Vid en jämförelse mot granskningen våren 2009 (illustreras i figur 14) visar det sig att risken för kalkylpåverkande avgränsningar har minskat inom Banverket och ökat inom Vägverket. På en totalnivå har dock denna problematik minskat något. Något försök till att kvantitativt skatta effekterna av dessa avgränsningar eller sannolikheten att de skulle inträffa, har inte genomförts inom ramen för denna granskning. I de fall där vi har bedömt att användningen av fasta förutsättningar känns mer omfattande, har vi uppmärksammat Ban- och Vägverket särskilt på detta genom bilaga 8. Eventuellt bör också en heltäckande genomgång av de fasta förutsättningarna göras, där orsaker och effekter av eventuella friskrivningar i kalkylförutsättningarna skattas och fastställs. 19

20 Andel av desvarande som har gjort någon form av osäkerhetsanalys Skala 1-6 där 6 motsvarar Mycket hög upplevd duglighet t i kostnads- och osäkerhetsbedömningen och 1 Mycket låg upplevd duglighet 3.3 Resultat och dokumentation Resultat efter osäkerhetsanalyserna Den stora merparten av projektledarna upplever att osäkerhetsanalyserna har gett ett bra resultat som underlag för åtgärdsplaneringen Ännu mer positiva är projektledarna om de jämför med vilket resultat de tror sig ha fått om arbetssättet innan successivmetodiken infördes, hade använts (se figur 15). Dessa resultat är i linje med resultaten från granskningen våren Granskning hösten 2009: Upplevelsen av resultatets duglighet 6 5 4,6 4,8 4,9 4,9 4,5 4, Upplevelsen av resultatets duglighet som underlag till den kommande långsiktiga investeringsplanen? Upplevelsen av resultatets duglighet som resultat i jämförelse med resultat från tiden innan succesivmetodiken infördes? 0 Banverket Vägverket Totalt Figur 15 De projektledare som har indikerat på att de inte är fullt komfortabla med det resultat som kommit ut från osäkerhetsanalyserna har framförallt grundat sitt missnöje i att de 1) upplevt osäkerheterna som för höga, bl.a. för att de tvingats skatta osäkerheter för poster som redan är säkrade, 2) inte hunnit färdigt med nedbrytningen av alla kalkylposter och/eller 3) upplevt sig ha fått en storlek på osäkerheten som inte känns helt rimlig. 100% 80% 60% 40% 20% Granskning hösten 2009: Andelen som har lämnat resultatet från osäkerhetsanalysen som underlag till åtgärdsplanen baserat på resultatnöjdhet 0% 40,0% 60,0% 12,5% 19,0% 31,3% 56,3% 38,1% 42,9% Nej Ja, men med ändringar Ja, utan ändringar Figur 16 Figur 16 visar att de projektledare som varit mindre nöjda med sina resultat i högre grad inte alls har lämnat resultatet av osäkerhetsanalysen till åtgärdsplaneringen. 20

21 Andel av de svarande som gjort någon form av osäkerhetsanalys Andel av de svarane som har gjort någon form av osäkerhetsanalys Vad gäller inlämningen till åtgärdsplanen av resultatet ser vi också en remarkabel förändring jämfört med vårens granskning, vars resultat visas i figur 17. Vid den granskningen lämnade cirka sju av tio in sina resultat från osäkerhetsanalyserna till åtgärdsplaneringen utan förändringar. Motsvarande siffra för denna granskning stannar vid drygt fyra av tio. Anledningen till detta är att projektledarna i större utsträckning i efterhand 1) har behövt anpassa sin kalkyl för att tillgodose olika intressenters önskemål (såsom beställare, externa medfinansiärer, etc.), 2) fått sträckningar och beställningar förändrade och/eller 3) att projektledarna ansett storleken på totalkalkylen och dess osäkerheter för stora. 100% 80% 60% 40% 20% Granskning våren 2009: Andelen som har lämnat resultatet från osäkerhetsanalysen som underlag till åtgärdsplanen baserat på resultatnöjdhet 0% 28,6% 14,3% 57,1% 2,0% 5,2% 23,5% 22,4% 74,5% 72,4% Nej Ja, men med ändringar Ja, utan ändringar Figur 17 Vidare, merparten av projektledarna anser att det osäkerhetsspann som har kommit ut från osäkerhetsanalysen är rimligt (se figur 18). Jämfört med granskningen våren 2009 är denna siffra något högre inom Vägverket medan Banverket uppvisar en något lägre siffra. I de tre Banverksprojekten där projektledarna inte har upplevt osäkerhetsspannet som rimlig har de i samtliga fall upplevt osäkerhetsspannet som något för stor. I Vägverksfallet var en projektledare osäker på rimligheten medan en annan ansåg osäkerhetsspannet vara för liten. Granskning hösten 2009: Projektledarnas skattning av rimligheten i standardavvikelsen 100% 80% 37,5% 14,3% 22,7% 60% Standardavvikelsen känns ej rimlig 40% 20% 62,5% 85,7% 77,3% Standardavvikelsen känns rimlig Standardavvikelsen känns ej rimlig 0% Banverket Vägverket Totalt Figur 18 21

22 Andel av de svarande som gjort någon form av osäkerhetsanalys Andel av de svarande som gjort någon form av osäkerhetsanalys Dokumentation från osäkerhetsanalysen Handledningen föreskriver att resultatet från osäkerhetsanalysen skall dokumenteras i Kalkylmall Åtgärdsplan inom Banverket samt i Kalkylbok och Kalkyl-PM inom Vägverket. Figur 19 visar att av de inkomna Kalkylmallarna 4 från Banverket är de flesta ifyllda, men med vissa luckor. Dels har ofta flera fält på fliken objektets förutsättningar lämnats tomma, alternativt innehållit en hänvisning till moderatorns rapport från osäkerhetsanalysen. Även fliken med större osäkerheter är i flera fall spartanskt ifylld genom att endast en eller få osäkerheter omnämns, siffror utelämnas, o.s.v. Dessutom saknas aktuell kalkylmall helt i två projekt (av totalt åtta). Generellt upplever vi en försämring av dokumentationen i jämförelse med vårens granskning, vilket kan kopplas till den tidspress som banverksprojekten har upplevt. De aktuella osäkerhetsanalyserna har uteslutande genomförts under september 2009, med kort tid för framställan av Kalkylmall. Granskning hösten 2009: Är Kalkylmallens följande delar ifyllda? 100% 80% 60% 40% 20% 0% 50,0% 50,0% 16,7% 83,3% 100,0% 33,3% 33,3% 16,7% 50,0% 66,7% 16,7% 83,3% Nej Delvis Ja Figur 19 I Vägverkets inlämnade Kalkylbok 5 visar figur 20 hur denna generellt är väl ifylld men att det ändå finns områden där komplettheten inte är Granskning hösten 2009: total. Precis som i förra granskningen rör Är Kalkylbokens följande delar korrekt ifyllda? detta främst de generella osäkerheterna 100% 8,3% 16,7% som i drygt fyra fall av tio antingen har fyllts 33,3% 80% i delvis eller inte alls. Dessutom 25,0% förekommer i vart tredje fall att kalkylbladet 60% 100,0% är något kortfattat ifyllt och då främst 91,7% 40% blocken rörande de generella osäkerheterna. 66,7% 58,3% Nej 20% Delvis Vad beträffar Vägverkets Kalkyl-PM så 0% Ja innehåller nästan alla inkomna PM de avsnitt som efterfrågas. Dock förekommer det frekvent att man under respektive avsnitt ej inbegripit alla de uppgifter som efterfrågas enligt mallen. Exempel på sådana uteblivna uppgifter är underlag från Figur 20 tidigare skeden, referensstandard för objektet, alternativa sträckningar, avvikelse mot tidigare kalkyler, beslutsdiagram, etc. Vi har inte heller i två fall fått in vare sig Kalkylbok eller Kalkyl-PM för den aktuella osäkerhetsanalysen. 4 Bilaga 4 5 Bilaga 5 22

23 Andel av de svarande 3.4 Projektledarnas övergripande syn på metoden Hur ser då projektledarna på metodens användning i allmänhet inom Ban- och Vägverket? Totalt sett är deras syn på användningen av den successiva kalkyleringsmetodiken väldigt positiv. Alla projektledare som i denna omgång har besvarat de övergripande Figur % 80% 60% 40% 20% 0% Granskning hösten 2009: Ska metoden få vara kvar enligt projektledarna? 75,0% 72,7% 73,3% 25,0% 27,3% 26,7% Banverket Vägverket Totalt frågorna om metoden vill att den ska fortsätta att användas även framgent 6. Detta illustreras i figur 21. Det sammantagna omdömet om metoden är också mycket högt. I genomsnitt ger projektledarna den betyget fem på en sexgradig skala där sex motsvarar mycket positiv och ett mycket negativ. Vägverkets medelbetyg har höjts något medan genomsnittsbetyget på Banverket sjunkit från 5,0 till 4,5. Dessutom har en projektledare på Vägverket satt betyget tre, p.g.a. att denna projektledare upplevt en misslyckad gruppanalys rörande ett projekt i sent skede. Ett så lågt betyg sattes inte i något fall under förra granskningen. De styrkor projektledare återigen främst lyfter fram med metoden är att Den belyser och leder till ökad förståelse för osäkerheter med kalkylpåverkande effekter Den ger projektmedlemmarna en klarare samsyn på projektets syfte och risker Den hjälper till att identifiera och prioritera arbetet mot de största osäkerheterna Nej Ja, men med förändringar Ja Den skapar bättre förutsättningar för att det resultat och osäkerhetsspann som kommer ut av analysen ger en mer realistisk bild av den faktiska kostnadsbilden för projektet De nackdelar i tidsmässig insats, resurser och administration som metoden kräver upplevs moderata och man anser således att fördelarna överväger dessa insatser. Detta illustreras av figur 22 respektive 23. Denna positiva bild till trots visar vår studie att fler än sju av tio projektledare anser att metoden och dess tillämpning bör utvecklas vidare för att ge ännu bättre kvalité på kalkyler och stöd till det fortsatta projektarbetet. Detta är en ökning i jämförelse med förra granskningen då ca sex av tio ville se förändringar av metoden. De områden som har störst förbättringspotential enligt vår syn diskuteras därför vidare i analysavsnittet. 6 Endast de projektledare som i förra granskningen inte intervjuades har besvarat de övergripande metodfrågorna, vars resultat redovisas i figur

24 Granskning hösten 2009: Metodens fördelar Den belyser osäkerhet i kalkyler på ett strukturerat sätt och får organisationen att förstå osäkerheten bättre Den bidrar till att gruppen får en samsyn på projektet och dess syfte Den bidrar till att identifiera ej välunderbyggda poster i kalkylerna Den hjälper till att prioritera de största osäkerheterna Den bidrar till att förbättra sannolikheten att kalkylens osäkerhetsintervall täcker det verkliga utfallet Den ser till att rätt kompetenser kommer med i kalkylarbetet Den är enkel att förstå och arbeta med Totalt Vägverket Banverket Den minskar administrationen i samband med kalkylarbetet Den kräver lite resurser att arbeta med 1,0 1,5 2,0 2,5 3,0 3,5 4,0 4,5 5,0 5,5 6,0 Skala 1-6 där 6 motsvarar Håller helt med och 1 Håller inte alls med Figur 22 Granskning hösten 2009: Upplevda nackdelar Den kräver för mycket resurser att genomföra Den kräver för mycket administration Den tar för lång tid att genomföra Totalt Vägverket Banverket Den är för svår att förstå och arbeta med 1,0 1,5 2,0 2,5 3,0 3,5 4,0 4,5 5,0 5,5 6,0 Skala 1-6 där 6 motsvarar Håller helt med och 1 Håller inte alls med Figur 23 24

25 3.5 Projekt som gjort väsentliga avsteg från metodiken Ett antal projekt har bedömts göra större avsteg i förhållande till kravet på successiv kalkyl och handledningarnas instruktioner. Dessa avsteg skulle kunna innebära att risk för negativ påverkan på kalkylens kvalitet och har specificerats särskilt i bilaga 8. De främsta avstegen som har föranlett denna åtgärd är: Att osäkerhetsanalys ej har genomförts enligt handledningarna och/eller att kraftiga revideringar har gjorts i efterhand av resultatet Att den förenklade osäkerhetsanalysen har genomförts utan ordentlig gruppanalys och/eller i för liten grupp Att det har förelegat risk att gjorda avgränsningar påverkar kalkylkvaliteten 25

26 3.6 Sammanfattning av resultatavsnittet Om alla projekt med en estimerad kostnad överstigande 500 Mkr hade följt kravet på fullständig analys skulle andelen fullständiga analyser ha uppgått till 85 procent. I denna granskning har en renodlad fullständig analys genomförts i cirka fyra av tio fall. Dock har analyser, som i allt annat än tidsåtgången (genomfört på en dag istället för två), motsvarar en fullständig analys, genomförts i knappt tre fall av tio. I vår granskning har vi ansett dessa analyser motsvara fullständiga analyser och den totala andelen fullständiga analyser uppgår utifrån den bedömningen till ca sju av tio. Detta innebär att flera projekt som borde ha genomfört fullständig analys inte har gjort detta. Jämfört med granskningen våren 2009 innebär dock denna nivå en viss förbättring. För de projekt som valt att göra förenklade analyser har de främsta skälen varit att man inte ansåg en fullständig osäkerhetsanalys tillföra något mervärde, bl.a. på grund av tidigt skede. I de fall där någon osäkerhetsanalys inte alls kan ha ansetts gjorts, har det huvudsakliga skälet varit sent reviderade beställningar och/eller tidsbrist kopplat till detta. Då har projekten istället valt att revidera, bryta ut och/eller slå ihop befintliga kalkylunderlag. De aktiviteter som handledningen rekommenderar har generellt sett genomförts under osäkerhetsanalyserna. Vi ser också en klar förbättring inom detta område, inom såväl Banverket som Vägverket, jämfört med granskningen våren Generellt sett är Banverket något bättre på att genomföra de rekommenderade aktiviteterna än Vägverket. Samtliga analyser i denna granskning har genomförts med hjälp av moderator, vilket är en avsevärd förbättring jämfört med granskningen våren Bemanningen i de fullständiga osäkerhetsanalyserna har generellt sätt varit god. De förenklade osäkerhetsanalyserna har också varit betydligt bättre bemannade rent antalsmässigt jämfört med våren De flesta projektledare har varit mycket nöjda med de moderatorer som har använts, såväl externa som interna. Generellt sett är projektledarna inom Banverket mer nöjda än Vägverket med moderatorerna. Resultaten visar liksom i förra granskningen att moderatorn har en central roll för att bl.a. säkerställa projektledarnas nöjdhet med resultatet från osäkerhetsanalysen. Ytterligare en förbättring jämfört med granskningen våren 2009 är att enbart en av tio projektledare upplever att någon (enstaka) kompetens saknades vid analystillfället. Motsvarande siffra våren 2009 var fyra av tio. Vår bedömning är att analyserna i denna granskning har varit bättre bemannade under än granskningen som genomfördes våren Projektledarna upplever generellt användandet av den successiva kalkyleringsmetoden positivt och ger kalkylresultaten klart godkänt som underlag till åtgärdsplanen Dessa resultat är i linje med resultaten från granskningen våren Allmänt anses den ökade förståelsen och identifierandet av stora kalkylosäkerheter, att de medverkande får en gemensam syn på projektets syfte och risker samt tron på att metoden ger mer realistiska kalkylspann, utgöra de främsta styrkorna. Metoden upplevs förvisso som att den kräver mer resurser och administration jämfört med tidigare kalkyleringsarbete, men vår utredning indikerar att mervärdet som metoden levererar överväger dessa ökade insatser. Däremot har andelen projektledare som lämnat in osäkerhetsanalysens resultat till åtgärdsplanen utan revideringar minskat avsevärt. Vid förra granskningen uppgick denna siffra till sju av tio, i denna granskning är motsvarande siffra fyra av tio. Anledningen till detta är att projektledarna i större utsträckning i efterhand 1) har behövt anpassa sin kalkyl för att tillgodose olika intressenters önskemål (såsom beställare, externa medfinansiärer, etc.), 2) fått sträckningar och beställningar förändrade och/eller 3) att projektledarna ansett storleken på totalkalkylen och dess osäkerheter för stora. 26

27 4 Analys Potential för säkrare kalkyler över projektlivscykeln Liksom vid förra granskningen är projektledarna generellt positivt inställda till den successiva kalkyleringsmetoden. Metoden ses i princip av alla som ett steg i rätt riktning och inte en enda projektledare har uttryckt önskan om att avskaffa den. Fortfarande kvarstår dock en förbättringspotential, som enligt vår bedömning skulle kunna öka förutsättningarna för mer rättvisande och jämförbara kalkyler över projektlivscykeln. Den allmänna uppfattningen är att man nöjd med de generella instruktioner som har getts för den enskilda successiva kalkylen, men att de måste utökas/kompletteras för att ta större hänsyn till det sammanhang som kalkylerna ingår i. Den övergripande frågan är, hur ska den successiva kalkylmetoden gå från att vara en kalkylmetod som har använts i samband med denna åtgärdsplanering till att bli en integrerad, välanpassad och kvalitetshöjande kalkylmetod över projektlivscykeln? I denna omgång har inte alla projektledare explicit beskrivit det så, men så många som 18 av 26 granskade projekt, har uttryckt ett eller flera behov som sorterar under denna övergripande frågeställning. Detta illustreras i figur 24 nedan. Det återspeglas också i figur 21 ovan där alltså hundra procent av projektledarna vill behålla metoden, men över sju av tio ser också ett behov av vidareutveckling. Dessa synpunkter är även väl i överensstämmelse med tre av de områden som lyftes fram i förra granskningen: Klargör hur den successiva metodiken kontinuerligt ska integreras i projektarbetet Differentiera metodikanvändningen baserat på skedesspecifika förhållanden Förstärk och/eller klargör styrning och uppföljning Det andra distinkta förbättringsområde som återigen har omnämnts är utmaningarna relaterat till de generella osäkerheterna. Även om andelen har sjunkit något i jämförelse med förra granskningen så finns det fortfarande en oro bland ett av fyra projekt kring framtagandet av de generella osäkerheterna. Detta grundar sig i de risker man fortfarande ser för överlappningar mellan grundkalkyl och generella osäkerheter alternativt inbördes mellan olika generella osäkerheter. I det följande kommer vi emellertid inte att uppehålla oss mer vid denna kommentar utan istället fokusera på hur den successiva metodikens processer, rutiner och instruktioner måste utökas/kompletteras för att ta större hänsyn till det sammanhang som kalkylerna ingår i. För mer läsning om problematiken kring de generella osäkerheterna hänvisar vi till förra granskningens rapport, vilken återfinns som bilaga 1. 27

28 Granskning hösten 2009: Framträdande förbättringsområden i samtalen med projektledarna Metoden är väl beskriven för hur en enskild generell analys ska genomföras - däremot finns en förbättringspotential för kalkylarbetet över projektets livscykel i form av tydligare processer/rutiner/system för; 1. skedesdifferentiering, 2. ändringsförfaranden, 3. förhållande till traditionella kalkyler, 4. överföring till prognos- och budgetarbete, 5. styrning/uppföljning över projektlivscykeln och 6. integration i den övergripande projektstyrningsmodellen, etc. 18 Förtydligande och standardisering av generella osäkerheter för att undvika dubbelräkning och inkonsekvens mellan likartade projekt 6 Figur Antal respondenter som fritt har nämnt detta förbättringsområde 28

29 4.1 Den successiva metodikens processer, rutiner och instruktioner måste utökas/kompletteras för att ta större hänsyn till det sammanhang som kalkylerna ingår i Redan i förra granskningen påpekades behovet av att sätta den successiva metodiken i ett större sammanhang, d.v.s. att sätta den i tydlig relation till övrig projektplanering, fortsatt kalkylering och uppföljning. En successiv kalkyl är ett i allra högsta grad levande dokument och en levande process som måste anpassas över tid, följas upp och itereras med utgångspunkt i den osäkerhet som har skattats för projektet vid varje tidpunkt. I denna granskning har dock behovet av att understryka detta arbetssätt blivit än tydligare jämfört med förra granskningen. Det har blivit tydligare för projektledarna att de enskilda generella kalkylhandledningar som finns till hands, inte täcker den mer långsiktiga processen att arbeta med den successiva kalkylmetodiken. Nedanstående tabell 2 beskriver de situationer där handledningar och instruktioner finns samt vilka situationer och rutiner som inte täcks av idag existerande handledningar: Efterfrågade instruktioner / processer / rutiner i samband med åtgärdsplanens kalkyleringsarbete Tydliga och enhetliga instruktioner för hur en enskild successiv kalkyl generellt ska genomföras finns på plats Tydliga och enhetliga instruktioner för hur en enskild successiv kalkyl ska anpassas till det skede som projektet befinner sig i finns på plats Tydliga och enhetliga instruktioner för när en kalkyl måste göras om och när en befintlig kalkyl endast kan revideras i samband med ändrade beställningar/förutsättningar Tydlig och enhetlig information om hur den ekonomiska uppföljningen kommer att förändras och bedrivas för att ta hänsyn till de osäkerheter som har identifierats genom de successiva kalkylerna Den successiva kalkylmetodiken är tydligt integrerad i den totala projektstyrningsmodellen som projektledarna i anläggningsprojekten jobbar efter Tydliga och enhetliga instruktioner för hur de successiva kalkylerna ska förhålla sig till de traditionella kalkylerna finns på plats Tydliga och enhetliga instruktioner för hur de successiva kalkylerna ska integreras i de rullande prognoser som används i sena skeden Upplevs finnas på plats Behov av utveckling upplevs Tabell 2 Dessa förbättringsområden kommenteras nedan. Behovet av skedesdifferentiering behandlades redan i förra granskningen och det är uppenbart att detta behov kvarstår. Av de projektledare som befinner sig i tidigare skeden är det en betydande andel som även i denna granskning uttrycker att det alternativ som de valde att kalkylera på, på intet sätt med full säkerhet kommer att bli det slutgiltiga. De har inte heller ansett sig kunna inbegripa denna alternativosäkerhet i skattningarna av max- och min-värdena för grundkalkylen och/eller de generella osäkerheterna. Osäkerheterna hade blivit så stora då att kalkylen i praktiken hade blivit oanvändbar. Dessutom hade medelvärdet återspeglat ett fiktivt medelalternativ som inte existerar i verkligheten. Här gör Capgemini Consulting bedömningen att ingen större förbättring har skett i jämförelse med förra granskningen. Vad gäller de sena skedena så verkar det i några fall återigen ha förekommit att man skattat onödigt höga osäkerheter, antingen genom att befintliga upphandlingsunderlag har ignorerats eller genom att deltagare har uttalat sig utanför sina kompetensområden. Samtidigt finns i denna granskning exempel på projekt i sena skeden som, i samråd med moderatorerna, anpassat analysen till att ta hänsyn till de 29

30 säkerheter som då råder. Ett sådant gott exempel är Partihallsförbindelsen, där fasta upphandlade á- priser accepterades. Istället fokuserade analysen på att skatta osäkerheter i mängder samt andra okända kostnadspåverkande risker eller möjligheter som kunde påverka projektets kalkyl. Detta arbetssätt i ett sent skede är väl i linje med vårt förslag från förra granskningen där vi föreslog att fokus skulle ligga på just de delar i kalkylen som fortfarande inte kan anses säkrade medan säkra delar skulle betraktas som fasta förutsättningar. Vår bedömning är att medvetenheten kring nödvändiga anpassningar av metoden för sena skeden har ökat bland moderatorer och projektledare. Detta är mycket positivt. Dock kvarstår fortfarande analyser där man inte har riktigt har lyckats hantera detta. Inte heller tycks tydliga instruktioner baserade på goda exempel och övrig beprövad erfarenhet, finnas på plats. De projekt i sena skeden som har hanterat detta väl, har själva i samråd med moderatorerna anpassat metoden till deras sena skede. Sammanfattningsvis ser vi därför ett behov att, som komplement eller revidering av dagens handledningar, utarbeta riktlinjer för skedesanpassning av metoden. Ett översiktligt förslag på en sådan skedesanpassning illustreras i figur 25 nedan. Förstudie och utredningsskede Fullständig analys utföres på sträckningen som helhet Förenklad osäkerhetsanalys utföres för alla alternativ med anpassningar av resultatet från den fullständiga Planskede Fullständig osäkerhetsanalys görs på den sträckning som är aktuell att genomföra Bygghandling och byggande Osäkerhetsanalys görs men givna säkerheter integreras och accepteras Kalkyler från alla skeden jämförs med utfall Senare skeden Tidiga skeden Figur 25 Vad gäller ändringsförfaranden så har de granskade projekten redan sedan tidigare i hög grad hunnit ta fram någon form av osäkerhetsanalys, utifrån då gällande beställningar och förutsättningar. I många av projekten har sedan dess en andra omgång analyser gjorts, antingen p.g.a. brister i tidigare osäkerhetsanalys eller p.g.a. förändringar i beställning och förutsättningar. Dessa andra omgångens analyser har då varit föremål för vår granskning. I fyra av de granskade projekten har ändringar i beställningarna endast hanterats genom att revideringar, utbrytningar och sammanslagningar av de gamla successivkalkylerna har gjorts, snarare än att en ny osäkerhetsanalys har genomförts. Dessa revideringar har uteslutande gjorts av en eller ett par personer och enligt olika metoder som inte överensstämmer med handledningarna för hur en successiv kalkyl ska utarbetas. Detta är vi kritiska till, då det riskerar att skapa godtyckliga och schablonartade ändringsförfaranden av det successiva kalkylresultatet. Å andra sidan vill vi uttrycka en förståelse för att så har skett. De ändrade beställningarna har åtminstone i två av fallen inkommit, enligt projektledarna, mycket sent, med korta varsel före resultatinlämningen till åtgärdsplanen. Som ett resultat av detta har projekten av tidsskäl inte haft möjlighet att sätta samman en ny komplett osäkerhetsanalys. Här måste interaktionen mellan beställarsidan och utförarsidan ses över för att så långt det är möjligt förhindra sena omsvängningar. I andra fall har projekten bedömt att en ny osäkerhetsanalys inte skulle tillföra något mervärde. Istället har projekten ansett sig kunna revidera 30