Kvalitetsutveckling i frivilligbaserad miljöövervakning Workshop i samband med SLU- Foma:s konferens Smartare miljöanalysmetoder Ultuna, 2014-11- 18 Sammanställda minnesanteckningar från gruppdiskussioner från tre diskussionsomgångar 1. Problem och Goda exempel med frivilligbaserad miljöövervakning 2. Nya förslag Hur utvecklar vi kvalitén? 3. Finns det behov av gemensamma kriterier för kvalitetsklassning och/eller samverkan kring kvalitetsutveckling? 1. Problem och Goda exempel a. Vilka är kvalitetsproblemen med frivilligbaserade miljödata? När många deltar i datainsamlingen görs observationerna oundvikligen på olika sätt. Detta kan bero på att observatörerna tolkar instruktionerna på olika sätt, att de inte tar del av manualerna på fullständigt sätt eller att manualer är krångliga. Manual framtagen/granskad av forskare bidrar till kvalitetssäkring och till att motivera observatörerna till att hålla god kvalitet. Nationell homogenisering av metod. Ex. Riksfågelstaxeringen och Älgobsen utvecklade homogeniseringen/standardiseringen genom metodutvecklingsprojekt Observationerna kan vara ofullständiga. Ett klassiskt problem är bristen på 0:or (= Inventerat men inte sett ). För svårbestämda/ovanliga arter är avsaknad av belägg ett annat problem. Precisionen varierar mellan observatörer. Detta kan till exempel gälla artbestämning, positionsangivelser, inventeringsfrekvens och antalsskattningar. Frivilliginsamlad data har i vissa aspekter en mycket hög kvalité och en del verksamheter stöds av organiserad eller oorganiserad kontrolltaxering, som kan bidra till mycket hög precision. Någon (Ringmärkningsstationerna?) redovisade att de använder återkommande kalibreringar, dvs observatörernas bedömningar homogeniseras genom upprepade/återkommande utbildningstillfällen. Överrepresentation av rödlistade och sårbara arter och av tätbefolkade områden. Det finns/utvecklas statistiska metoder som hanterar denna skevhet genom att dra nytta av det stora
antalet observationer som frivilligbaserad miljöövervakning ofta genererar. Användare av data värderar olika rapportörer olika utan att det finns en standardiserad grund för det. Ex. kanske experter inte tror på nya fynd utanför det förväntade utbredningsområdet om det inte kommer från en observatör de känner till. Hack i kontinuiteten, dvs tidsserier/observationsserier bryts på ett oförutsägbart sätt. Oro över att återväxten av nya intresserade, frivilliga inte är tillräcklig. Små organisationer är sårbara, dvs de organisationer som samordnar frivilligbaserad verksamhet är ibland små. b. Hur är kvalitetskraven specificerade? Ingen redovisade några exempel på specificerade kvalitetskrav. c. Hur instruerar och utbildar ni frivilliga? Fysiska träffar/kurser av såväl observatörer som av regionala/lokala samordnare Handledning vid stationsbaserad miljöövervakning (ex. Ringmärkningsstationerna) och personliga kontakter (telefon, möten) Skrivna manualer som förmedlas via e- post- kontakt E- baserade utbildningar (Jägareförbundets E- jakt) d. Hur validerar och kvalitetsklassar ni data insamlade av frivilliga? Självvärdering Rimlighetsbedömningar i efterhand av analysansvariga Kompletterande inventeringar Kontrollinstanser (Artportalen, Floraväkteri, ) Nationell homogenisering av metod. Ex. Riksfågelstaxeringen och Älgobsen utvecklade homogeniseringen/standardiseringen genom metodutvecklingsprojekt Jämförelser med data insamlade av professionella observatörer Förstudiebaserad cutoff, dvs förbestämda krav som används som grund för att bestämma om observationer ska uteslutas eller inte inför olika analyser e. Hur ger ni support? Utöver support via telefon och e- post gavs exempel på länsansvariga kontaktpersoner och kompletterande support via publika kanaler som Facebook, Twitter, Instagram. 2. Nya förslag Hur utvecklar vi kvalitén? a. Instruktioner/Utbildning Inspirera! i. Berätta vad data används till ii. Utgå från glädjen att lära sig, utvecklas och bidra till ett gemensamt syfte. Mina data ska vara riktiga och andras data ska vara riktiga iii. Tävlingsmoment (Floraväkteri: Släcka lokalen ) Låt frivilliga starta i mindre skala och utöka efter hand.
Utforma programmet så att frivilliga kan anmäla sig till olika ambitionsnivåer. Utveckla den personliga kontakten. Kanske kan dagens/framtidens kommunikationsteknologi bidra till att öka den personliga kontakten Utveckla lokal förankring i. Lärlingssystem. Låt de som redan deltar stödja nytillkomna. ii. Lokala föreningar validerar lämpliga nya väktare E- utbildning: i. Webbseminarier. Norge har inventerarutbildning på nätet. ii. E- examination. Använd IT- tekniska möjligheter för att utveckla kvalitén i. Nycklar /manualer i smartmobilen. ii. Utveckla enkla rapporteringsfunktioner inkl. digitala inmatningsformulär som minskar möjligheten att mata in något fel. I Artportalen kan rapportmallar vara en bra funktion att bygga ut iii. Kortfilmer (Youtube). Intruktionsvideor, enkla och korta, 60 sek till ett par minuter. iv. Rapportera med röstigenkänning, speciellt intressant för artgrupper med många arter där artlistor i appar mm kan bli ohanterligt långa Support och information på olika nivåer. Människor är olika och vill gå olika djup b. Validering/Kvalitetsklassning Skapa en community på nätet och låta andra medlemmar hjälpa till med identifieringsjobbet. Kanske kan en gemensam community för all frivilligbaserad miljöövervakning bidra till att såväl artbestämnings- som metodsupport- resurser effektiviseras. Öka kvalitetsmotivationen genom att använda frivilligbaserade databaserna (ex. Floraväktar-, faunaväktar-, fenologiväktarrapporter) för att validera icke- organiserade/anonyma observationer Utveckla valideringsmetoder i. Uppmuntra till självvalidering: du har rapporterat en erkänt svårbestämd art. Har du tänkt på att de här arterna finns också? ii. Interaktiv (direkt webb- baserad) rapportering ger möjlighet till direkt kvalitetsåterkoppling 1. Uppmuntra till peer- review, dvs att andra deltagare kontrollerar inkomna rapporter iii. Bildbaserad validering. Digitalkamera (fåglar), fotodokumentation. iv. Automaticerad validering 1. Jämför med närliggande rapporter (i tid och rum) 2. Jämför med modellbaserade förutsägelser baserade på andra/historiska data Formulera kvalitetskrav. Jobba med forskare: vilken kvalitet håller era data?
Valideringsrutiner ska finnas. Publicera metod- och kvalitetsdokument och bifoga dessa som meta- data till databasen. i. Beskriv hur datainsamlingen gått till och vilka som deltagit. ii. Beskriv hur man arbetar för att säkra kvalitet iii. Beskriv krav på metod/data iv. Beskriv valideringsrutiner c. Support och kommunikation Realtidsåterkoppling. Omedelbar resultatåterkoppling motiverar. Tidskritiska observationer kräver mer direktkommunikation Inspirera till god kvalitet. i. Visa på användning och värde. ii. Viktigt att signalera hög kvalitet ökar motivationen för självvalidering. iii. Positiv återkoppling: Arten ny för i år! Har du bestämt rätt? Utveckla alert - funktioner, som kan hjälpa observatörerna att veta vad som är på gång: Om två veckor, Nu har den första rapporterats nära dig. Återkoppling, community och instruktioner i mobilen i. Support i realtid: chatfunktion, Twitter, ii. Sociala medier allt viktigare Citizen Science Academy. Utveckla en gemensam utbildning kring miljöövervakning, metodik och natur/miljövård d. Analysmetoder Utveckla metoder som är anpassade för frivilligadatas egenheter: stora mängder av kompletterande data, obalanserade matriser, brott i kontinuiteten, 3. Finns det behov av gemensamma kriterier för kvalitetsklassning och/eller samverkan kring kvalitetsutveckling? a. Motiv för att träffas i en mötesserie under 2015 Undersöka möjligheter till samverkan Utreda (och om möjligt utveckla) gemensamma kriterier för kvalitetsklassning/säkring Lära sig om varandras verksamheter och datainsamlingar, vilket i sin tur kan leda till egen och/eller gemensam kvalitetsutveckling Datasamverkan. Utbyte av data. Bjuda in föredragshållare som vi har gemensamt intresse av Inspirerande! Definiera gemensamma begrepp Skapa en gemensam, publik sammanställning över befintliga frivilligbaserade verksamheter, exempelvis en hemsida med länkar vidare till respektive verksamhet. Underlätta för rapportörer inom olika projekt att inte behöva lära nytt hela tiden b. Målsättning med mötesserie Lära sig om varandras verksamheter och datainsamlingar
Utreda (och om möjligt utveckla) gemensamma kriterier för kvalitetsklassning/säkring 1. Få rapporterar, många tittar (I Artportalen är förhållandet 20000:270000)!!! Vilket gör kvalitetssäkring viktig. 2. Ex utveckla en gemensam stege för bättre och bättre kvalitet, med krav på ökande dokumentation och expertis 1. Man skulle kunna sätta en gemensam kvalitetsstämpel på hela dataset. 3. Gemensamma kriterier för att definiera lokaler; gemensamma kartfunktioner, teknikdelar 4. Det går inte att ha generella kvalitetskriterier för rapportering, oavsett vilken organismgrupp det gäller. Det finns stora skillnader i svårighetsgrad, liksom vad det finns för motivering bland dem som gått in för observationer. Hur hårda krav man har, måste också bero på sammanhanget. Om man inför gemensamma krav, får de vara på en mycket basal nivå:för flora- och faunaväkteri t ex måste kraven vara höga. Det är viktigt att man får lägga sig på den nivå som man känner är rimlig. 5. Kvalitetsklassning väldigt beroende av sammanhang 6. Projekt i Artportalen: 1. varje projekt kan ha sin metodik. Någon sorts enhetligt formulär för kvaliteten så att olika dataset blir jämförbara. Hur olika dataset valideras innan de förs till databasen bör beskrivas, det har vi ingen koll på idag. Utreda samverkan kring 1. Teknikutveckling för datainsamling 1. Eget interface API 2. Gemensamt rapportverktyg via mobil? 2. E- utbildning 1. Digital inlärning 2. Gemensam plattform för E- utbildning tänkbar 3. Nationell stödfunktion 1. Gemensam ansökan om driftmedel till en spdan stödfunktion. 1. Artbestämningscommunity 2. Manualsupport 4. En gemensam, publik webbportal/sammanställning över befintliga frivilligbaserade verksamheter.