1(5) Fältforsk 2013-12-09 Vägledning till statistisk redovisning i NFTS försöksdokumentation Inledning Det här dokumentet beskriver hur de statisiska resultat som redovisas i NFTS försöksdokumentation ska tolkas. Som exempel används försök L5-0300-2013-002 (Örtogräs i höstvete, vårbehandling). Specifikation av leden I försöket jämfördes tio led. Försöksdokumentationen inleds med en specifikation av de tio leden. Tabell 1 nedan visar hur början av försöksdokumentationens tabell ser ut. Till exempel ser man att led 1 är ett obehandlat led och att led 2 är ett led med 50 g Alliance och 0,8 l Starane 180S. I försöksdokumentationen finns förstås information om samtliga tio led. Tabell 1. Början på försöksdokumentationens specifikation av leden Tabeller med utökad statistik Efter specifikationen av leden följer tabeller med utökad statistik. Dessa tabeller innehåller medelvärden, konfidensintervall och signifikansgrupper. Tabell 2 är ett exempel på en sådan tabell. I NFTS försöksdokumentation är dessa tabeller ordnade i tidsföljd. Tidpunkten anges i rubriken. I tabell 2 framgår det av rubriken att observationerna avser tidpunkten P04, dvs. ca fem veckor efter sista behandling, närmare bestämt den 15 juli 2013. Johannes Forkman tel: 018-67 14 10 Institutionen för växtproduktionsekologi johannes.forkman@slu.se Box 7043, 750 07 Uppsala www.slu.se/faltforsk
Tabeller med utökad statistik finns bara för variabler med rutvisa observationer, dvs. inte för variabler med ledvisa bestämningar. I NFTS väljer man själv vilka variabler man vill ha utökad statistik för. Om tabellen med utökad statistik saknas för någon variabel med rutvisa observationer beror det på att den som har analyserat försöket har valt att inte göra någon statistisk analys för just den variabeln. Detta kan helt enkelt bero på att variabeln inte lämpat sig för statistisk analys, t.ex. om många observationer har varit noll. I så fall presenteras ändå vanliga medelvärden i de enklare tabellerna längst ner i försöksdokumentationen. Tabell 2. Utökad statistik för vikter av baldersbrå Medelvärden Tabellens första kolumn innehåller ledbeteckningarna 1 10 (tabell 2). Den andra kolumnen innehåller information om vad som har observerats (Baldersbrå vikt, g/m 2 ) samt medelvärden. För led 1 (det obehandlade ledet) redovisas medelvärdet 229,2 g/m 2. För led 2 (preparerat med 50 g Alliance och 0,8 l Starane 180S) redovisas medelvärdet 0,02 g/ m 2. Bara i speciella fall är medelvärdena vanliga medelvärden (t.ex. i balanserade fullständiga blockförsök utan några saknade värden). Ofta har man använt en försöksplan som ger möjlighet att justera medelvärdena för skillnader mellan olika delar av fältet. I försöksdokumentationen framgår det av tabellen Grundupplysningar vilken typ av försök det är. I exemplet är försökstypen Latinized alphadesign. För denna försökstyp beräknas justerade medelvärden. Det är vanligt att man måste transformera sina observationer före statistisk analys. Till exempel kan man behöva logaritmera observationerna. Man gör detta för att variansen i försöket ska bli jämnare. Om man inte vid behov transformerar sina data blir inte den statistiska analysen korrekt. Medelvärden har därför ofta beräknats på transformerad skala, som i det här exemplet, och sedan transformerats tillbaka till ursprunglig skala. 2(5)
När observationerna har transformerats före analys redovisas i försöksdokumentationen tillbakatransformerade medelvärden. Dessa skiljer sig från vanliga medelvärden. Om beräkningarna exempelvis har gjorts på logaritmerade observationer är de tillbakatransformerade medelvärdena lägre än de vanliga medelvärdena. När det är stor variation i försöket, dvs. när det skiljer mycket mellan replikaten, kan de tillbakatransformerade medelvärdena och de vanliga medelvärdena vara ganska olika. De tillbakatransformerade medelvärdena är bättre skattningar än de vanliga medelvärdena av vad medianen hade varit om det hade funnits fler replikat. När det är liten variation i försöket är skillnaden mellan tillbakatransformerade och vanliga medelvärden obetydlig. Fältförsök syftar framför allt till att jämföra behandlingar, och för det syftet är tillbakatransformerade medelvärden bättre än vanliga medelvärden. Det är nämligen de tillbakatransformerade medelvärdena som vi kan jämföra statistiskt. När en transformation använts och försökstypen är sådan att medelvärdena kan justeras för skillnader mellan olika delar av fältet görs justeringen på transformerad skala. De redovisade medelvärdena är därför om möjligt justerade för skillnader mellan olika delar av fältet, vilket vanliga medelvärden aldrig är. Man bör inte bara studera de redovisade medelvärdena, för dessa är ofta osäkra, utan även medelvärdenas konfidensintervall. Dessa intervall säger oss vad vi egentligen vet om medelvärdena. Konfidensintervall Ibland är medelvärdet väl bestämt, men ibland är osäkerheten i medelvärdet stort. Man kan uttrycka osäkerheten med ett 95 % -konfidensintervall. Den tredje och fjärde kolumnen i tabell 2 innehåller gränserna för sådana konfidensintervall. Konfidensintervallet för led 1 säger oss att om vi hade haft fler replikat i försöket så hade vi sannolikt fått ett medelvärde någonstans mellan 142,2 och 350,9 g/m 2. För led 2 hade vi sannolikt fått ett medelvärde i ett intervall från 0 till 0,6 g/m 2. Vi är mycket mer osäkra på medelvärdet för led 1 än på medelvärdet för led 2. Det beror på att observationerna varierat mer för höga värden än för låga. När observationerna transformerats före analys, som i det här exemplet, ligger inte det redovisade medelvärdet i mitten av konfidensintervallet. Jämfört med medelvärdet ger konfidensintervallet en bättre bild av den uppmätta nivån i försöket, eftersom det inkluderar en information om säkerheten i resultatet. Tyvärr kan man generellt inte använda konfidensintervallen för att se om två behandlingar är signifikant olika eller inte. För det syftet använder man istället signifikansgrupperna. Signifikansgrupper Den sista kolumnen i tabell 2 redovisar signifikansgrupper. Bokstäverna används för att avgöra vilka led som är signifikant olika. Varje bokstav är en signifikansgrupp. Det led som har det högsta medelvärdet tillhör alltid signifikansgrupp a. I 3(5)
exemplet (tabell 2) finns fyra signifikansgrupper: a, b, c och d. Två led som inte har någon gemensam bokstav tillhör olika signifikansgrupper. De är därför signifikant olika. Exempelvis tillhör led 7 signifikansgruppen d, och led 8 signifikansgruppen b. Leden 7 och 8 tillhör alltså olika signifikansgrupper och är därför signifikant olika. Led 6, som tillhör grupperna b och c, och led 8, som bara tillhör gruppen b, är inte signifikant olika, för de ingår båda i signifikansgruppen b. Skillnaden mellan leden 6 och 10 är inte heller signifikant, för dessa led tillhör båda signifikansgruppen c. Skillnaden mellan leden 8 och 10 är däremot signifikant. Bara i enkla balanserade försök utan transformerade observationer finns en minsta signifikanta skillnad (least significant difference, LSD) som man kan använda för att jämföra samtliga led med varandra. Bara i dessa fall redovisas LSD i försöksdokumentationen, och i så fall i en särskild tabell som heter LSD. Generellt kan man inte se på skillnadens storlek huruvida skillnaden är signifikant eller inte. Till exempel är skillnaden mellan leden 3 och 4 signifikant trots att skillnaden mellan leden 9 och 3 inte är det (tabell 2). Skillnaden mellan leden 3 och 4 är 1,74 (signifikant), och skillnaden mellan leden 9 och 3 är 6,7 (inte signifikant). Återigen beror detta på att variationen varit större för höga vikter än för låga. Med hjälp av signifikansgrupperna är det lätt att snabbt se om två behandlingar är signifikant olika eller inte. I NFTS används alltid signifikansnivån 5 %, så när två led är signifikant olika är sannolikhetsvärdet mindre än 0,05. Signifikansgrupperna är, i de här tabellerna, gjorda utan korrektion för multipla test. När det är många led måste man därför komma ihåg att det är stor risk att några skillnader är signifikanta av en slump. Finns det några skillnader alls mellan leden? Signifikansgrupper redovisas bara när variansanalysens övergripande F-test visar att det finns signifikanta skillnader mellan leden. I försöksdokumentationen redovisas resultaten av dessa test i en tabell med beräkningsnoter (tabell 3). I sista kolumnen listas sannolikhetsvärdena för alla analyserade variabler. Bara om sannolikhetsvärdet är mindre än 0,05 presenteras signifikansgrupper i tabellerna med utökad statistik. I exemplet är sannolikhetsvärdet för skörd lika med 0,394, vilket är mer än 0,05. Det fanns alltså inga signifikanta skillnader i skörd mellan leden. Därför saknas signifikansgrupper för den variabeln, vilket framgår av tabell 4. I flerfaktoriella försök redovisas i tabellen med beräkningsnoter sannolikhetsvärden för alla faktorer och deras samspel. När försöket till exempel innehåller två faktorer är p1 sannolikhetsvärdet för faktor 1, p2 sannolikhetsvärdet för faktor 2, och p12 sannolikhetsvärdet för samspelet mellan faktorerna 1 och 2. 4(5)
Tabell 3. Sannolikhetsvärden Relativtal För skörd visas även relativtal, som i tabell 4. Det led som är mätare har alltid relativtalet 100. Mätaren har markerats med texten Ref. 100. Skörden för led 2 var 94 % av skörden för mätaren. Dock saknas belägg för påståendet att led 2 ger lägre skörd än led 1. Som vi redan sett fanns det inga signifikanta skillnader i skörd mellan leden (tabell 3). Även om det hade funnits signifikanta skillnader i skörd hade vi inte kunnat påstå att led 2 ger lägre skörd än led 1. Konfidensintervallet för relativtalet sträcker sig nämligen från 84 % till 103 %. Eftersom konfidensintervallet innehåller relativtalet 100 % har ingen skillnad mellan leden påvisats. Konfidensintervallen för relativtalen har beräknats med Fiellers metod. Tabell 4. Utökad statistik för skörd Sammanfattning Försöksdokumentationen presenterar medelvärden med 95 % -konfidensintervall. Om det varit nödvändigt att transformera observationerna före analys visas tillbakatransformerade medelvärden. Dokumentationen redovisar sannolikhetsvärdena för de övergripande testen av om det finns några skillnader alls mellan leden. När det finns signifikanta skillnader redovisas även signifikansgrupper. Dessa används för att avgöra exakt vilka led som är signifikant olika. För skörd redovisas relativtal och konfidensintervall för relativtal. 5(5)