Sta$s$k och Experiment

Transkript

1 Sta$s$k och Experiment Christophe Clément Stockholms universitet 1

2 Varför staesek? Datainsamling och mängd mätningar Sannolikhetsfördelning Normalfördelning Centralvärdesatsen SystemaEska fel Snedvridna undersökningar Andra fördelningar Falska samband Higgs parekeln 2

3 Richard Feynman ( ) Nobelpristagare i fysik 1965 Vetenskapens främsta uppgio är ap inte lura sig själv! Och man är själv den läpaste ap lura! Gäller alla människor!! 3

4 Varför är sta$s$k ingrediens inom vetenskapen? VikEg ap kunna kvanefiera sannolikheten av det man observerar. Kan det komma sig av en slump? Eg. parapsykologi föreläsningen. Något kan uppstå av ep sammanträffande, hur avgör man? Hur säkra är vi ap något verkligen händer av det skälet man tror? 4

5 Behandling av lunginflamma$on fram $ll milen av 18- talet Sjukdomen beror på en obalans bland kroppsvätskorna (blod, gul galla, svart galla och slem).! Behandling: Åderlåtning Kräkmedel God och dålig vetenskap 5

6 Joseph Dietl Polsk läkare som gjorde en mycket vikeg undersökning ! Delade upp pa$enterna i 3 grupper: - - Behandling med åderlåtning - - Behandling med kräkmedel - - Ingen behandling!! Resultat: - - Åderlåtning - - Kräkmedel - - Ingen behandling 2,4% dog 2,7 % dog 7% dog 6

7 Slutsats? Dietl slutsats: AP behandla lunginflammaeon med kräkmedel eller åderlåtning inte fungerar utan dödar 2 ggr fler paeenter än själva sjukdomen (vid Dietls sjukhus)...! Flertusenåriga anor... tradieonell europeisk medicin! Varför upptäckte man inte problemet Edigare?! Kanske för a+ läkarna såg med egna ögon a+ å+a av 5o pa5enter blev friska? 7

8 Slutsats? Dietl slutsats: AP behandla lunginflammaeon med kräkmedel eller åderlåtning inte fungerar utan dödar 2 ggr fler paeenter än själva sjukdomen (vid Dietls sjukhus)...! Flertusenåriga anor... tradieonell europeisk medicin! Varför upptäckte man inte problemet Edigare?! Kanske för a+ läkarna såg med egna ögon a+ å+a av 5o pa5enter blev friska? Nu tror ni också al han hade räl men ni har kanske fel! 8

9 TiLa närmare Resultat: - - Grupp 1 Åderlåtning 2 % dog - - Grupp 2 Kräkmedel 21 % dog - - Grupp 3 Ingen behandling 7% dog Det står inte hur många personer som var med i testet så det går inte ap bestämma hur staeseskt säkert depa är. Var det lika många personner i varje grupp? Resultat: - - Grupp 1 Åderlåtning 5 av 25 som dog - - Grupp 2 Kräkmedel 4 av 19 som dog - - Grupp 3 Ingen behandling 2 av 28 som dog (avrundat med avsikt) Det kan röra sig om ganska små antal undersökta personer och skillnader skulle kunna uppstå av staeskeska fluktuaeoner I moderna undersökningar kvaneficerar man alled sannolikhet för det observerade ugallet. 9

10 Datainsamling och mängd mätningar Data set = el antal mätningar Tidiga kurser i fysikutbilningen har studenter laboraeoner Studenter måste göra många mätningar, stämmer resultatet med vad som står i boken? OOast är studenternas första erfarenhet ap mätningar blir alled olika, mätvärden varierar utan ap man inte rikegt får grepp om varför. EP experiment eller en undersökning ger oss en mängd mätningar en mängd mätningar experiment / undersökning mätvärden Vi behöver analysera mätningarna t= s s s s s s 1.17 s s s s 1

11 naturlag experiment / undersökning mätvärden Dataset kommer från ep experiment - - säger alled något om vårt experiment - - säger kanske något en fysiklag man vill undersöka TiPar på en fysiklag alled igenom filtret av vårt experiment AP Analysera Data handlar om ap förstå vad datamätningar säger om en mängd mätningar t= s s s s s s 1.17 s s s s - - själva experimentet - - är det något man kan även lära sig om fysik, eller biologi osv. 11

12 naturlag experiment / undersökning mätvärden Dataset kommer från ep experiment - - säger alled något om vårt experiment - - säger kanske något en fysiklag man vill undersöka TiPar på en fysiklag alled igenom filtret av vårt experiment AP Analysera Data handlar om ap förstå vad datamätningar säger om - - själva experimentet det kan man vara säker på - - är det något man kan även lära sig om fysik, eller biologi osv. en dataset t= s s s s s s 1.17 s s s s endast om det är e3 bra experiment 12

13 i vårt experiment mäter man t.ex. en Ed t= s s s s s s 1.17 s s s s Lära sig något om experimentet först! Genom analys av data mängden Trots ap studenterna förväntar sig ungefär samma mätvärdet varje gång - mätpunkterna finns litet överallt - men inte rik6gt överallt - man kan se en viss spridning Ed [s] Det finns många möjliga orsaker ap man inte får samma svar varje gång: hur noggran är Edtagaruren? är det en person som startar/stoppar klockan?. 13

14 Ed [s] En uppsäpning av mätningar har vissa egenskaper som i första hand återspeglar experimentet / undersökningen (och förhoppningsvis återspeglar också något om fysiklagar som man vill undersöka) Från spridningen kan man lära sig något om hur bra Edtagaruren är och hur snabb personen som stoppar/stannar uren är. 14

15 Nu med 1 mätningar varje mätning visas med ep lodräp sträck Svårt överskådligt Inter särskilt determiniseskt Ändå ser man ap det är fler punkter i mipen Ed [s] Beskriva en mängd data med - - medelvärdet - - median - - standardavvikelse 15

16 Nu med 1 mätningar varje mätning visas med ep lodräp sträck Ed [s] Beskriva en mängd mätningar med - - median = ligger så ap lika många mätvärden är större än och mindre än medianen - - medelvärdet μ = central tendens av en mängd mätningar µ = x + x x 1 2 N N - - standardavvikelse σ = hur mycket hoppar mätvärden upp och ner i genomsnip kring medelvärdet 16

17 Gruppera mätningarna i klasser / intervall 1.6 < t < 1.75 s 1.75 < t < 1.9 s och man räknar hur många mätpunkter faller i varje intervall. antal mätningar i intervallet Ed [s] klassindelat 12 1 histogram Ed [s] 17

18 Från mätningar $ll sannolikhetsfördelning antal mätningar i intervallet nu delar vi antalet mätningar i varje interval med det totalla antalet mätningar mätningar Ed [s] sannolikhet Ed [s] värdet i varje interval anger nu sannolikheten för ap få en mätning i intervallet. => sannolikhetsfördelning 18

19 - - mätningar in en given experimentell uppställning ger olika svar. - - men en mätning är en del av en data mängd - - följer en given sannolikhetsfördelning sannolikhet mätningar Formen på sannolikhetsfördelning bestäms av - - den experimentella uppställningen - - naturlagen man försöker undersöker En mängd mätningar av samma egenskap beräpar mycket mer än en enstaka mätning Ed [s] y- axeln anger = sannolikhet eller den observerade frekvensen beräpar för oss hur moder sannolikhets fördelningen ser ut. 19

20 Normalfördelning Många slumpmässiga processer kring oss följer en så kallad normalfördelning Gäller biologi, fysik, geo, kemi, ekonomi, samhällsvetenskap, Det tar normalt 4 veckor eoer sista menstruaeon Ell barnets födelse. Man kan skapa ep histogram av skillnaden i antalet dagar mellan nedkomst och fakeskt födelsedatum. sannolikhet Staplarna höjd visar sannolikheten. Kurvan visa en så kallad normalfördelning (en Gauss funkeon) 2

21 Varför dyker det upp normalfördelningar överallt? Låt oss anta ap vi kastar tärning 1 ggr och skapar ep histogram av ugallen antal u:all i varje intervallet ugall möjliga ugall 1 ugall => ca. 167 ugall i varje intervall u:all 21

22 Låt oss nu kasta två tärningar EP försök = kasta två tärningar. Summan är ep ugall för ep försök. Och så gör vi 1 försök. 16 antal u:all i varje intervallet u:all = tärning1 + tärning2 22

23 Låt oss nu kasta $o tärningar EP försök = kasta $o tärningar. Summan av alla Eo tärningar är ep ugall för ep försök. Och så gör vi 1 försök. 9 8 antal u:all i varje intervallet u:all = tärning1 + + tärning1 23

24 Låt oss nu kasta $o tärningar EP försök = kasta $o tärningar. Summan av alla Eo tärningar är ep ugall för ep försök. Och så gör vi 1 försök. 9 8 antal u:all i varje intervallet med en Gauss funkeon ovanpå u:all = tärning1 + + tärning1 24

25 Centrala Centralvärdesatsen Om vi summerar ep stort antal slumpmässigt fördelade tal, fördelningen av summan => normalfördelning Lägger man ihop många slumpmässiga faktorer, så får man automaeskt en fördelning som liknar en normalfördelning. Gäller oavsep hur ursprungsfördelningen ser ut. 25

26 Normalfördelning Centralvärdesatsen säger ap den underliggande sannolikhetsfördelningen för mätningar ska följa en normalfördelning med ep medelvärde μ och standardavvikelse σ. Där μ är det sanna värdet som eoersöks och σ säger hur stora är staeseska slumpmässiga felen Man vill komma fram med våra experiment Ell det sanna μ. Man kan komma åt μ genom många experiment. 26

27 De stora talens välsignelse h3 Entries 5 t= s s s s s sannolikhet mätningar medelvärdet = Mean RMS.1118 Underflow Ed [s] 27

28 De stora talens välsignelse h3 Entries 1 sannolikhet mätningar medelvärdet = Mean RMS.276 Underflow Ed [s] 28

29 Och det sanna värdet av μ som jag använder för dessa simuleringar är sannolikhet mätningar medelvärdet = Så med $llräckligt många mätningar kommer medelvärdet väldigt nära sanningen Ed [s] Man kan minska den slumpmässiga osäkerheten genom al u_öra många mätningar σ(medelvärdet) = σ(1 mätning) Antalet mätningar

30 Signifikans Normalfördelningen kan användas för ap testa hypoteser. Man undrar om en viss mätning följer en vis modell som förutsäger ep värde. z = mätvärde modell σ z- värdet: Till ep visst z- värde kan man associera en sannolikhet för ap depa beror på en sta$s$sk avvikelse. Stora värden av z pekar mot något som är mycket osannolikt om det endast skulle uppstå av slumpen, och då måste man kasta bort modellen. 3

31 Systema$ska fel Andra typer av fel kan inte försvinna oavsep antalet mätningar Tex. om Edtagaruren går litet långsammare än den borde Vad kan man lära sig av det andra instrumentet? mätningar medelvärdet = mätserier med 2 olika instrument medelvärdet = Ed [s] 31

32 Systema$ska fel 1) Den andra Edtagaruren har bäpre precision mindre spridning. 2) De ger dock två olika medelvärden Det finns en systemaesk skillnad mellan både instrument. Kan inte avgöra vilken som är räp utan vidare undersökningar mätningar medelvärdet = mätserier med 2 olika instrument medelvärdet = Det finns en systemaesk osäkerhet som är ca..1 och som är mycket större en den staeseska osäkerheten här Ed [s] 32

33 Systema$ska fel Den systemaeska osäkerheten kan inte minskas m.h.a. flera mätningar med samma uppställning. Något måste ändras i den experimentella uppställningen för ap komma åt den systemaeska osäkerheten (tex använda ep tredje intrusment ). I en undersökning är ep systemaeskt fel ep snedvridet underlag 33

34 Snedvridna undersökningar och störande faktorer Popula$onen inte den avsedda En läkare önskar undersöka alla som genomgåp magsårsoperaeon vid ep stort sjukhus under en viss Edsperiod. Genom brev, telefonsamtal och besök kom han i kontakt med 7% och undersökte dessa. Den populaeon han studerade blev följakegen inte den avsedda, och iakpagelserna kan troligen inte generaliseras Ell den avsedda större populaeonen. Varför inte? 34

35 Magsår kan var livshotande. PaEenter som avlidit kommer inte med i undersökningen. Av olika skäl vill inte paeenterna prata med just denna läkare. 35

36 Resultat från den undersökta gruppen (7% av alla) Mår sämre Ingen förändring 39 % mår bäpre, 26% mår sämre. Mår bälre Antalet undersökta Mha binomial fördelning kan man även räkna osäkerheten från staesek. (39 ± 4)% mår bäpre (26 ± 4)% Signifikans ~2.3 standard avvikelser Tyder på posiev effekt. mår sämre 36

37 I verkligheten är det 164 paeenter som blev behandlade av denna läkare. Icke undersökta: Mår sämre Ingen förändring Mår bälre Antalet icke undersökta Om man lägger ihop undersökta och icke undersökta: Mår sämre Ingen förändring Mår bälre Alla Antalet personer Man skulle kunna skriva så här men vi har undersökt HELA populaeonen, då finns det ingen 42 mår sämre 28 mår bäpre en helt annan slutsats! trots al man hade undersökt 7% av gruppen. 42% mår sämre inget binomial fel 28% mår bäpre eoersomvi EPade på hela befolkningen 37

38 Det som är avgörande är inte al man undersökt en stor andel av hela popula$onen. 1) Gruppen som man försöker nå (s$ckprovet) måste vara representa$v för hela popula$onen 2) Man måste anstränga sig för verkligen undersöka alla som man hade tänkte sig undersöka från början. 3) Det kan finnas en underliggande orsak al undersökta kommer inte med i undersökningen och denna orsak kan vara kopplad $ll den undersökta egenskapen. Om man $Lar på undersökningar från Sta$s$ska Centralbyrån så anges andelen som inte svarade på undersökningen. I vissa undersökningar inves$gerar man varför folk inte svarade på undersökningen. 38

39 Gunnar Blom: Ur Sannolikhetsteori och statistikteori med tillämpningar Antalet olyckor under fartbegränsningen har i Grönköping med omnejd varit 1. Under samma tid förra året var antalet 2, dvs en nedgång som är nog så uppenbar, å inte mindre än 5 procent. Måste man nog emellertid, liksom om olycksstatistiken i hela landet, säga, att den markanta nedgången av antalet olyckor till största delen beror på det halkiga väglaget. Grönköpings Veckoblad Från 2 olyckor till 1 olycka kan man inte dra slutsatsen att det är en effekt! God och dålig vetenskap 39

40 Från 2 olyckor till 1 olycka kan man inte dra slutsatsen att det inte ens är en effekt! Behöver så kallade Poisson fördelning för att räkna felet. Reproducerar fördelningen för hur många händelser inträffar under en viss period, i och med att händelserna är oberoende. Kan berätta att om man observera N så är felet N. År 1: 2± 2 => 2±1 År 2: 1± 1 => 1±1 Helt kompatibla med varandra. Ingen statistisk signifikant minskning! God och dålig vetenskap 4

41 Falska samband Gunnar Blom: Ur Sannolikhetsteori och statistikteori med tillämpningar Ett klassiskt exempel: En pedagog observerade att i en population av skolbarn i olika åldrar de som hade de största fötterna läste innantill bäst. Orsakar alltså stora fötter god inläsningsförmåga? Svar: Nej, däremot har de äldre barnen i genomsnitt större fötter och bättre läsförmåga God och dålig vetenskap 41

42 Samband mellan egenskap A och B- Låt oss anta av vi har uteslutit statistisk fluktuation som möjlig orsak. Om man utför observationer i en öppen okontrollerad miljö observationella undersökningar är det svårt att skilja mellan följande fallen: A? B? Dold orsak? A B Observationella undersökningar hjälper oss att hitta oanade samband och kopplingar! Experiment i mycket strängt kontrollerad miljö krävs för att skilja mellan olika scenarier God och dålig vetenskap 42

43 Exempel dagligen i dagspressen Folk som gör si och så (A) löper dubbel så stor risk för (B) Ser man ett samband mellan A och B i en observationellstudie i en öppen miljö kan man inte dra slutsatsen att A innebär B. Det kan också finnas en gemensam orsak till A och B. Vi antar här att det var inga felaktigheter i undersökningen. Vi kommer senare att titta på hur man utför undersökningen. För att t.ex. bevisa att en medicin fungerar eller är ofarlig behövs en mycket väl kontrollerad miljö => kommande föreläsning God och dålig vetenskap 43

44 Riktlinjer för al bevisa kausalitet Kontrollera ap korrelaeonen existerar även när andra parametrar varieras!! Kontrollera ap korrelaeonen förstärks då en misstänkt parameter förstärks!! Om effekten kan orsakas av någon känd effekt, kontrollera ap effekten finns kvar då man tagit hänsyn Ell den kända effekten.!! Försök ap göra ep experiment!! Försök finna en fysisk orsak Ell korrelaeonen! 44

45 Hur man visade al rökning orsakade lungcancer Observerad korrelaeon mellan rökning och lungcancer för alla typer av människor Man fann ap för människor med lika förutsäpningar ap icke rökare hade mer sällan lungcancer än rökare Folk som rökte mycket och länge hade högre chans ap få lungcancer När man korrigerade för kända orsaker Ell lungcancer som tex radon hade rökare forgarande högre frekvens än icke rökare!! Man gjorde djurförsök och fann ap de rökande fick lungcancer Biologer studerade cellkulturer och fann ap röken orsakade mutaeoner och ap det inte fanns någon geneesk faktor! större grad av förståelse och säkerhet Kan inte avstå den undersöknings processen Ells man nåp den djupa förklarigen. 45

46 Upptäckten av Higgs boson 46

47 Large Hadron Collider (LHC) at CERN Collide protons at s=7-14 TeV TeV 27 km circumference LHC- B CMS ATLAS ALICE Christophe Clement Search for TeV scale R- parity conserving supersymmetry with ATLAS

48 27 km circumference 1732 dipoles (8.3T) 15m long Dozens of quadrupole magnets Dozens of special magnets Thousands of beam diagnoec systems Advanced quench warning system RadiaEon hard electronics Christophe Clement Search for TeV scale R- parity conserving supersymmetry with ATLAS

49 ATLAS Experiment 37 Countries 169 Ins$tu$ons 3 Physicists Swedish Ins$tu$ons in ATLAS Stockholm University Kungliga Tekniska Högskolan Lund Universitet Uppsala Universitet Now starts the exciting expoitation of the data from the ATLAS experiment Explore the microscopical landscape at 1-19 m! Instruments with Stockholm University contribueon in design, construceon and calibraeon Instruments with contribueons from other Swedish InsEtuEons Christophe Clement Search for Dark Ma3er with the ATLAS experiment

50 God och dålig vetenskap 5

51 51

52 52

53 53