Utvärderarperspektivet hur utformar man en bra ansökan

Transkript

1 Utvärderarperspektivet hur utformar man en bra ansökan Gustav Malmqvist EU-konsult, Civilekonom, Leg ssk, Master of Health Information Management

2 Disposition Kort presentation av mig själv och MIDEK AB Utvärderare vem och varför? Utvärderingskriterier betygssättning Hur går utvärderingen till? Hur utformar man en bra ansökan? Vanliga fel och fallgropar Några nyckelpunkter att tänka på Frågor och diskussion

3 MIDEK AB - tjänster Projektetablering, (inkl finansiering t.ex från EU) Projektledning Påverkansprocesser ( lobbying ) Projektutvärdering Utredningar

4 MIDEK AB - specialistområden EU program, politik, strategier, regelverk Infrastruktur och transporter ehälsa (IT i vården) Miljö- och energi Regional utveckling resdagar per år, huvudsakligen i Europa

5 Min bakgrund Ögonsjuksköterska Civilekonom + Systemvetare, Mitthögskolan 1996 Projektledare och forskningsassistent IT-chef, Landstinget Västernorrland Master of Health Information Management Erasmus Universiteit, Rotterdam,2006 Internationell strateg, LVN + Mid Sweden Office, Konsult 2010 Utvärderar åt EU-kommissionen sedan 2005, 2-4 gånger per år: FP6, FP7, MarcoPolo, Horizon2020, CEF IKT, ehälsa, Hälsa, Infrastruktur och transporter

6 Vem kan bli utvärderare? (External expert for the EU Commission) Man behöver inte vara professor! Man behöver inte vara disputerad! Akademisk utbildning i princip nödvändigt Gärna specialist och breda kunskaper Teoretiker eller praktiker Man måste läsa och tala engelska obehindrat.

7 Vilka behövs som utvärderare Professorer, forskare, m.fl inom alla vetenskapsområden Ingenjörer och tekniska specialister inom alla områden Vårdpersonal t.ex. läkare, sjuksköterskor, psykologer, biomedicinska analytiker, sjukgymnaster, Ekonomer, organisationsutvecklare, projektledare Det behövs fler från både små och stora företag Det behövs fler från offentliga organisationer, t.ex kommuner och landsting Det behövs fler från brukarorganisationer, t.ex patientföreningar, handikapporganisationer etc.

8 Varför bli utvärderare? Bästa sättet att lära sig hur bra ansökningar ska utformas Man får alltid ny kunskap och värdefulla kontakter Extremt bra språkträning Träning i förhandlingsteknik och tålamod Men Man blir inte rik på utvärderingar 450 per dag (oförändrat sen slutet på 90-talet) logiersättning 100 /natt och traktamente 92 /dag + resersättning

9 Utvärdering av ansökningar Single-stage or Two-stage proposals Remote evaluation 1-2 veckor läsning hemma och individuell rapport för varje ansökan Consensus meetings 3 utvärderare, 1 rapportör, 1 EC project officer (moderator) Consensus report Cross-reading + Panel Man läser ansökningar som man inte utvärderat (i högt tempo) På panelmötet deltar alla utvärderarna (40-50 st) Där prioriteras ansökningar som ligger nära varandra och betygen kan justeras med ledning av cross-readers synpunkter. Prioriteringen följer dock strikta regler. Hearings Används mer sällan nu, tidigare obligatoriskt för större projekt (s.k IP) SEP

10 Evaluation process Proposal Eligible proposal Expert Expert Expert Expert Expert Minimum 3 experts but can be more Individual Evaluation Report Individual Evaluation Report Individual Evaluation Report Individual evaluation Individual Evaluation Report Consensus group Individual Evaluation Report Consensus Consensus Report

11 Guiding principles for evaluators Independence (Oberoende) You are evaluating in a personal capacity You represent neither your employer, nor your country! Impartiality (Opartisk) You must treat all proposals equally and evaluate them impartially on their merits, irrespective of their origin or the identity of the applicants Objectivity (Objektiv) You evaluate each proposal as submitted; meaning on its own merit, not its potential if certain changes were to be made Accuracy (Noggrannhet) You make your judgment against the official evaluation criteria and the call or topic the proposal addresses, and nothing else Consistency (Konsekvent) You apply the same standard of judgment to all proposals

12 Evaluation criteria

13 Betygssättning (Scoring) 0 The proposal fails to address the criterion or cannot be assessed due to missing or incomplete information. 1 Poor. The criterion is inadequately addressed, or there are serious inherent weaknesses. 2 Fair. The proposal broadly addresses the criterion, but there are significant weaknesses. 3 Good. The proposal addresses the criterion well, but a number of shortcomings are present. 4 Very Good. The proposal addresses the criterion very well, but a small number of shortcomings are present. 5 Excellent. The proposal successfully addresses all relevant aspects of the criterion. Any shortcomings are minor.

14 Poängsättning och tröskelvärden Varje criteria (Excellence, Impact, Implementation ges 0-5 poäng. Max poäng är 15. Halva poäng kan ges Tröskelvärde för godkänt för varje criteria = 3 Kan vara högre i vissa call eller för vissa kriterier (t.ex 4+4+3=12) Totalt tröskelvärde för godkänt = 10 Kan vara högre i vissa call Vid steg 1 i tvåstegsansökan utvärderas endast Excellence och Impact (total maxpoäng =10) Tröskelvärdet är normalt högre (4+4=8)

15 Utvärdering av pågående projekt (Project reviews) Normalt en gång per år 3-5 utvärderare och en project officer Genomgång av deliverables (remote) Hearing med projektledning/projektgrupp Utvärderingsrapport Individual report Consensus report Projektet får besked om kompletteringar behöver göras

16 Stage 1 (of 2-stage calls) Projektet ska beskrivas på endast 7 sidor (+ web-baserad A-del) Ansökan ska endast beskriva Excellence och Impact Alla partners behöver inte vara klara (men bra om de flesta är det) Endast uppskattad totalbudget behöver anges Tröskel för godkänt är oftast 4+4 Praktiska råd Underskatta inte svårigheten att skriva endast 7 sidor Använd inte för många referenser och teoretisk bakgrund (tar plats) Skriv så att vem som helst kan förstå vad ni tänker göra Använd gärna en koncept-bild (kan säga mer än 1000 ord) Anlita någon för att ge oberoende synpunkter (pre-evaluation)

17 Single stage (+ stage 2 av 2) Web-baserad A-blankett (formalia, budget, ethics table mm) B-blanketten del 1-3 (70 sid) + del 4-5 (max 40 sid) skrivs i word och laddas upp som pdf. Praktiska råd Fysiskt arbetsmöte med partners minst en helst två gånger under ansökningstiden, däremellan Skype, telefonmöten och mail. Fördela skrivarbetet mellan partners Läs Guide for proposers och Work programme och andra dokument noga (ofta) Börja med ansökan i god tid och avsätt tillräckligt med tid. Detta underskattas ofta! Var noga med referenser och teoretisk bakgrund men överdriv inte Skriv så att vem som helst kan förstå vad ni tänker göra Använd gärna en eller flera koncept-bilder (kan säga mer än 1000 ord) Anlita någon för att ge oberoende synpunkter (pre-evaluation)

18 Excellence Objectives Vanligt att målen är otydliga eller beskriver vad som ska göras snarare än vad som ska uppnås Dela gärna upp i ett 1-2 övergripande mål och önskat antal delmål (som inte ska vara aktiviteter) Relation to the work programme Citera relevanta delar av WP-texten och beskriv hur ni planerar att uppfylla kraven där. Gärna I tabellform. Vanligt fel är tyvärr att projektet inte riktigt uppfyller det som krävs i Work programme Concept and approach Vanligt att man använder alltför många referenser. Ni ska förklara inte försvara. Vanligt att det gemensamma konceptet = summan av vad olika partners vill göra. Tänk om och utveckla ett gemensamt koncept eller dela upp partnerskapet i olika ansökningar. Skaffa kunskap om vilka andra EU-projekt som gör liknande (Horizon,FP7,FP6,FP5 etc etc). Referera till project som befinliga partners deltagit i. Var tydlig och använd gärna bilder och flödesdiagram. Det som är otydligt beskrivet kan vara otydligt tänkt Ambition Beskriv på vilket sätt projektet för kunskapsområdet framåt. ( beyond state of the art ) Vad blir nästa steg? Skapas det innovationer och nya produkter och tjänster.

19 Impact Expected impacts Beskriv vad som kommer att bli effekten av projektet. för olika målgrupper eller för samhället I termer av kvalitet, säkerhet, kostnader etc. Beskriv hur ni uppnår de uppräknade Expected impact I work programme. På vilket sätt kan det bli fler innovationer med hjälp av projektet. Measures to maximise impact a) Dissemination and exploitation of results Hur kommer ni att sprida resultaten? Artiklar (vilka tidskrifter, Konferenser (vilka), Publikt (hur) etc. Kommersialisering av resulaten, hur och av vilka? Ägande av resultaten (IPR). Beskriv European added value!! Följ samtliga punkter som är uppräknade I ansökningsblanketten!! b) Communication activities Beskrivning av kommunikationsplan

20 Implementation Vanliga fel Överskattat/underskattat antal manmånader för olika aktiviteter Var ärlig i beräkningarna!! Dåliga Gantt-scheman som inte visar en realistisk projektplanering För få Milestones eller för få Deliverables För ytliga beskrivningar av vad som ska göras i olika delaktiviteter i varje Work Package (WP) WPn hänger inte ihop logiskt. WPn är för separerade, dvs en eller ett fåtal partners i varje WP, vilket tyder på separata project. Beskrivningen och planeringen av varje WP måste visa på hur partnerna samverkar och drar nytta av varandras arbete. Project management för ytligt beskrivet eller alltför komplicerat. Lagom är bäst. Risk assessment underskattas ofta. Beskriv vilka risker som kan uppstå i projeket, med uppskattad Impact och Probability (High, Medium, Low). Beskriv för varje risk hur ni tänker förebygga eller avhjälpa om risken uppstår. Resursfördelning i projektet, tittar utvärderarna alltid på. Eftersträva balans inom partnerskapet, men framförallt att varje partners resurser motsvarar deras roller och aktivitetsbeskrivning.

21 Projektet beviljas som det är skrivet. Tidigare hade man alltid en project negotiation med beviljade projekt. Det har man inte nu. Därför: Överskattade kostnader prutas inte, utan kan/ska leda till avslag på ansökan. En aktivitet (t.ex ett WP) som inte är riktigt motiverad eller beskriven kan/ska leda till avslag på ansökan. Avsaknad av en viktig partner (t.ex viss teknisk eller medicinsk kompetens, eller ett SME eller offentlig partner) kan eller ska leda till avslag på ansökan. Deltagande av en partner i projektet vars roll inte är tydlig, kan eller ska leda till avslag. I FP7 kunde vi ge en ansökan högt betyg, med rekommendation till kommissionen om vad som behöver tas upp i förhandlingen (negotiation). Det kan vi inte längre. Svagheter eller misstag ska leda till lägre poäng. SEP

22 Vad är viktigast för en bra ansökan? Konceptet måste vara trovärdigt och väl beskrivet European Added Value: Det ska vara tydligt varför projektet ska finansieras av Horizon2020 och inte av nationellt/regionalt program. Uppskattad resursåtgång (M/M) och övriga kostnader är realistiska och inte överskattade. Arbetsplanen (WPn) är logisk och leder fram till målen som är beskrivna under Excellence (Objectives) Avsätt tillräckligt med tid för skrivande, samverkan med partners, utveckling av det gemensamma konceptet och kvalitetssäkring av ansökan.

23 Gustav Malmqvist