Den stora tråden om STATISTIK

[Laila]

Äsch då, studien visar bara på fördelen/nödvändigheten att inte sakna ena matta . . . typ.

[Almen]

Menar du ena heltäckningermatta?

Häggström beskriver typen av studie med följande XKCD-strip:

[Laila]

Menar du ena heltäckningermatta? ....

Njae, tänkte nog mestert på "den varierande mattillgången"* . . . typ.

*Men däva kanskedä du åsså tänkte på.

[Almen]

Menar du ena heltäckningermatta? ....

Njae, tänkte nog mestert på "den varierande mattillgången"* . . . typ.

*Men däva kanskedä du åsså tänkte på.

Amen åååhhh...

[Laila]

Bra, vi verkar vara helt överens i frågan . . . typ.

[Almen]

[DQ-20]

Är det skillnad på att ha flera hypoteser och på att ha flera tester med samma hypotes?

Det är antalet TEST som är grundproblemet om man använder en viss signifikansnivå, t.ex. 5%. I 20 slumpmässiga och oberoende test kommer då I GENOMSNITT (högst) ett av testen ge falskt positivt resultat. Det spelar egentligen ingen roll vad testen gäller. Vad XKCD-strippen illustrerar är ett specialfall där man letar efter ett signifikant resultat med en explorativ metod (se om man hittar något i data). Flera tidskrifter inom mitt eget (och andras) områden har börjat förbjuda traditionella signifikanstest med beslutsregel (t.ex. acceptera resultat under 5%-nivån.) Rekommendationen är att redovisa p-värdet för varje test och tolka det. Multiple TEST-problematiken tittade Bonferroni på redan på 1930-talet. En enkel (konservativ) kompensation är att för varje enskilt test kräva ett p-värdet som är Ptot/n där Ptot=Det totala p-värdet för samtliga test och n=antal test. För att nå 5% i 20 test måste då ett enskilt test ligga under 0.25%. Problemet med statistik i normal praktik är inte att det saknas tekniska lösningar utan att man måste vet vad man pysslar med. Grundläggande är en känsla för distributioner (tycker jag.)

Är man en normalbegåvad forskare med ett stort dataset gör man såhär:

1. Gör en massa test tills man hittar några signifikanta samband
2. Skriver en teoridel som motiverar test av de samband man hittar (härleder hypoteser)
3. Kör testen
4. Tolkar testen
5. Publicerar (om man har tur)
På det viset undviker man att redovisa att man egentligen först tittade på resultaten explorativt och sedan skrev storyn om varför dessa resultat är viktiga att undersöka. Det är lättast att göra om man hittar förväntade samband. Något banbrytande lär inte komma ur det men bevisligen helt ok akademiska karriärer genom att empiriskt bekräfta vad alla redan visste.

/DQ-20

[Almen]

OK. Har du satt dig in i problematiken med överkalixstudierna? Professor Bylund verkar ju försöka vidhålla att deras signifikanssiffror var signifikanta.

[DQ-20]

OK. Har du satt dig in i problematiken med överkalixstudierna? Professor Bylund verkar ju försöka vidhålla att deras signifikanssiffror var signifikanta.

Jag har läst vad statistikern skrev och han verkar ha rätt. Signifikanstest är bara en del av "bevisföringen". Man behöver också teoretiskt stöd. Men det har inte Bylund et al. Hade man, utifrån tidigare studier och teori, haft anledningen att testa att det var just sondöttrar som skulle uppvisar effekter hade man kunnat testa detta direkt. Men det hade man inte och testade därför många olika samband. För mig framstår det, efter en MYCKET kort genomläsning, att studien är explorativ och signifikanstesterna är därmed inte att betrakta som hypotestestning utan snarare som indikationer på att "här behöver vi gå vidare".

Denna typ av artiklar är dock inget ovanligt och det finns många aspekter på publicering: Även om det inte handlar om signifikanta resultat kan ju resultaten ändå vara värda att sprida. Men om reviewers endast tar in studier med statistiskt signifikanta resultat så sorterar man automatiskt bort resultat som är värda att publicera fast de inte har statistiskt signifikanta resultat. Statistisk signifikans är för mig endast en form av "reality check" och saker som effektstorlek (spelar det någon roll...) är viktigare. Med ett riktigt stort dataset blir alla samband signifikanta - även de som saknar betydelse för att de är så små. Det finns många exempel på detta inom medicin där man kan hitta t.ex. sjukdomsrisker för det mesta här i världen eftersom man har tillgång till enorma dataset via t.ex. arbetsmedicin och screening. Om man dessutom redovisar result i form av "odds ratios", blir det extra svårt att tolka. Säg att man redovisar en statistiskt signifkant tredubblad risk för någon patologisk förändring ska inträffa och läsaren tänker "oj, oj, oj..." Men om grundrisken var mikroskopisk får vi en förhöjd risk som är 3*mikroskopisk vilket innebär att det fortfarande inte spelar någon roll trots signifikans och tredubblad risk.

/DQ-20

[Almen]

Här är ett inlägg av Olle Häggström i nollhypotessignifikanstestdebatten: The need for nuance in the null hypothesis significance testing debate

Jag har inte läst den än, men har följt debatten lite grand och prof. H. har tidigare skrivit om detta.

[Almen]

Bra artikel! Förutom ett inlägg i nämnda debatt också en genomgång av terminologin.

Några highlights:

In my humble opinion, statisticians still have a lot to contribute to these discussions, and it is therefore
important that they take part. [...] For instance, if the editors of BASP had had contact with professional statisticians,
they would probably have been spared the embarrassment of banning NHST methods on the confused grounds that they did.
---
[John Kruschke (2010)] advocates the abandonment of NHST methods [...].
I am sure his paper would have been much more interesting and useful to the scientific community if there had
been statisticians around to inform him of this discourse...

Jag gillar hur han inleder ovanstående drapa med "imho".

A particular point where I think an improved understanding among scientists would greatly benefit science
itself is the interpretation of a statement like "p<0.05". Suppose everyone understood that statistical
significance on level 0.05 on its own is no more than (at most) the observation that data suggest that an effect
may well be present, an observation that can be taken to warrant further study of the possible presence of the
effect.
---
As things are today, "p<0.05" is way too often taken to mean something like "beyond reasonable doubt", or to serve
as an excuse for cocksure statements such as the title of the Bygren (2014) paper that I quoted in item (e) of Section 2.
---
The Big Data revolution in areas like bioinformatics (see, e.g., Efron 2012) has led to routine experiments involving
thousands or even millions of hypotheses to be tested simultaneously; in such situations, a raw p-value of
0.00003, untouched by multiple inference analysis, does not even warrant a raised eyebrow.

[DQ-20]

Bra artikel! Förutom ett inlägg i nämnda debatt också en genomgång av terminologin.

Ja, det var en bra artikel men den är inte för lekmän. När BASP kom med nyheten att det ändrat sin policy gällande NHST var det många kollegor som applåderade detta på t.ex. Facebook. Själv undrade jag om BASP:s board of editors var helt jävla dumma i huvudet: inte så mycket pga av beslutet i sig utan pga av argumentationen (som var helt uppåt väggarna). Andra tidskrifter har dock kommit med förändringar som varit mer genomtänkta, t.ex. att inte tillåta test mot fasta signifikansnivåer (t.ex. 0.05 eller 0.01) utan i stället kräva rapportering av det "råa" p-värdet som det är. Generellt kan man säga att flera och fler tidskrifter gått från ord till handling för att stävja missbruk av NHST utan att ta avstånd från de matematiska grundantagandena. Det är "inne" just nu men det är enbart av godo.

/DQ-20

[Almen]

...fler tidskrifter gått från ord till handling för att stävja missbruk av NHST utan att ta avstånd från de matematiska grundantagandena. Det är "inne" just nu men det är enbart av godo.

Ja, det måste det ju vara.

Tycker som lekman att det blir polariserat för ofta, liknande Fisher vs. Bayes-debatten. I min stilla enfald tänker jag "Men kan man inte ta lite av varje, eller använda det som passar bäst för stunden?"

[DQ-20]

Tycker som lekman att det blir polariserat för ofta, liknande Fisher vs. Bayes-debatten. I min stilla enfald tänker jag "Men kan man inte ta lite av varje, eller använda det som passar bäst för stunden?"

Nej, riktigt så enkelt är det nog inte. Det är just statistisk principlöshet som har lett till det moras som vi nu står inför. Det finns olika skolor men de har var och en sin egen interna logik och är helt enkelt inte kompatibla. Fisher var drygare än Yes och antydde väl att de som inte begrep det fina i hans "fiducial interval" var korkade. Bayesianer är självgoda så det räcker och blir över. Om de skulle vara i luven på varandra så är det bara vad de förtjänar...

/DQ-20

[Almen]

Tycker som lekman att det blir polariserat för ofta, liknande Fisher vs. Bayes-debatten. I min stilla enfald tänker jag "Men kan man inte ta lite av varje, eller använda det som passar bäst för stunden?"

Nej, riktigt så enkelt är det nog inte. Det är just statistisk principlöshet som har lett till det moras som vi nu står inför. Det finns olika skolor men de har var och en sin egen interna logik och är helt enkelt inte kompatibla. Fisher var drygare än Yes och antydde väl att de som inte begrep det fina i hans "fiducial interval" var korkade. Bayesianer är självgoda så det räcker och blir över. Om de skulle vara i luven på varandra så är det bara vad de förtjänar...

/DQ-20

Jo, men de flesta statistiker ligger väl däremellan? Lite mer pragmatiska, sådär...

Jag menar inte att anything goes, men att det i alla fall inte behöver vara antingen/eller.

[DQ-20]

Tycker som lekman att det blir polariserat för ofta, liknande Fisher vs. Bayes-debatten. I min stilla enfald tänker jag "Men kan man inte ta lite av varje, eller använda det som passar bäst för stunden?"

Nej, riktigt så enkelt är det nog inte. Det är just statistisk principlöshet som har lett till det moras som vi nu står inför. Det finns olika skolor men de har var och en sin egen interna logik och är helt enkelt inte kompatibla. Fisher var drygare än Yes och antydde väl att de som inte begrep det fina i hans "fiducial interval" var korkade. Bayesianer är självgoda så det räcker och blir över. Om de skulle vara i luven på varandra så är det bara vad de förtjänar...

/DQ-20

Jo, men de flesta statistiker ligger väl däremellan? Lite mer pragmatiska, sådär...

Jag menar inte att anything goes, men att det i alla fall inte behöver vara antingen/eller.

Mellan tolkningen av sannolikhet som frekvens ("frequentist interpretation") och sannolikhet som subjektiv förväntan (Bayesian) så går det en skarp skiljelinje skulle jag vilja säga. De flesta är inte bayesianer.

När det gäller signifikanstester/hypotestester så går det en skiljelinje mellan Fisher och Neyman-Pearson. Dessa två synsätt har dock ingått en ohelig allians mot vilka ett ökat antal vetenskapliga tidskrifter verkar vända sig. Och det är väl bra att man tar urkällorna på allvar. Fisher tyckte ju typ att Pearson inte kunde räkna...

/DQ-20

[Svante]

Alla dessa gubbar...

[DQ-20]

Alla dessa gubbar...

Det går nog inte att komma ifrån: Neyman-Pearson och Fisher använder sig av samma matematik för p-värde. Det som skiljer dem åt är deras vetenskapssyn (epistemologi) vilket ger olika beslutsteoretiska slutsatser. Därför är det svårt att lyfta ut människorna i sammanhanget och ersätta dem med opersonliga formler - valet av det ena eller andra sättet får mening först i ett socialt sammanhang. Den nuvarande diskussionen om NHST ("null hypothesis significance test") har främst sociala argument. Men sammanfattningsvis för dilettanter:

Fisher: P-värdet är i sig ett indicium på resultatets statistiska signifikans (tolkat som statistisk "ovanlighet"). Konfidensintervall ingår också i Fishers metod. Fisher gör sig i detta sammanhang (givetvis) inte skyldig till "transposed conditional" dvs. han använder inte begreppet "konfidens" som det ofta används på faktiskt.se, men hans eget resonemang om "fiducial interval" har historiskt sett ställt till det en del när det gäller tolkningen. Med "transposed conditional" avser jag misstaget att förväxla P(data|parameter) dvs. "sannolikhet" med P(parameter|data) dvs. "likelihood". "Fiducial interval" är överkurs - googla.

Neyman-Pearson: Det "råa" p-värdet är i sig inget indicium utan det viktiga är "alfa", dvs. det vi vanligen kallar signifikansnivå. Metoden går ut på att använda två hypoteser: en "nollhypotes" och en alternativ hypotes. "Nollhypotesen" skall testas mot en på förhand bestämd nivå, ofta 0,05 och om testet visar att resultatet är tillräckligt osannolikt givet "nollhypotesen" faller man tillbaka på den alternativa hypotesen. OBS! Läs igen: jag skriver INTE att "nollhypotesen" är osannolik givet resultaten eftersom det skulle vara ett exempel på "transposed conditional" och därmed strida mot själva sannolikhetsgreppet.

"Modern" metod: Använd Neyman-Pearson ("nollhypotes" + alfa) men med flera alfa-värden (t.ex. 0,1, 0,05, 0,01, 0,001) och "gradera" p-värdena som t.ex. "marginellt signifikant", "signifikant", "starkt signifikant", "mycket starkt signfikant" osv. Genom denna gradering tillmäter man indirekt det "råa" p-värdet ett egenvärde i enlighet med Fisher, fast med en godtycklig ordinalskala och man hamnar snubblande nära "transposed conditional". Om man ska vara noga är nivåerna epistemologiskt godtyckliga men ofta matematiskt motiverade genom att sammanfalla med jämnt antal standardavvikelser. Det var dock detta "egenvärde" hos p-värdet som Neyman och Pearson med stor emfas argumenterade emot och som bidrog till populäriseringen av deras synsätt. Vetenskapsteoretiskt blir det varken hackat eller malet och ger upphov till många missförstånd eftersom metoden spänner över två konkurrerande paradigm.

Den debatt som för närvarande pågår tycks i allt väsentligt vara en återgång till Fisher där man tar bort signifikansnivåerna och ersätter dem med ett epistemologiskt grundat resonemang om p-värdena samtidigt som man behåller Neyman-Pearsons idé om "alternativhypotesen" som nödvändigt komplement till "nollhypotesen". Same-same but different.


/DQ-20

[Almen]

Ja, hur man än vänder och vrider på sig har man ju rumpan bak, och hamnar någonstans vid Fischer som utgångspunkt.

...misstaget att förväxla P(data|parameter) dvs. "sannolikhet" med P(parameter|data) dvs. "likelihood".

Och där finns ännu ett misstag att göra: att översätta "likelihood" med "sannolikhet". En rimlig översättning vore "trolighet", men det verkar som att de flesta i skrået skippar översättningen och alltid använder "likelihood" i stället.

Jag upptäckte för ett tag sedan att man på Karolinska Institutet (av alla ställen) översatt "likelihood function" till "sannolikhetsfunktion" i sin MeSH-ordlista, så jag fick nöjet att påtala missen för ansvariga. De var mycket snabba med att korrigera och tackade ödmjukt för hjälpen.

[DQ-20]

Och där finns ännu ett misstag att göra: att översätta "likelihood" med "sannolikhet". En rimlig översättning vore "trolighet", men det verkar som att de flesta i skrået skippar översättningen och alltid använder "likelihood" i stället.

"Likelihood" är en fackterm och det finns ingen svensk fackterm. Det är lika bra det förresten - det är MYCKET viktigare att markera vad det inte betyder (sannolikhet) än vad det betyder.

Jag upptäckte för ett tag sedan att man på Karolinska Institutet (av alla ställen) översatt "likelihood function" till "sannolikhetsfunktion" i sin MeSH-ordlista, så jag fick nöjet att påtala missen för ansvariga. De var mycket snabba med att korrigera och tackade ödmjukt för hjälpen.

Problemet är att en mängd estimatorer bygger på likelihoodfunktioner, sk. MLE (maximum likelihood estimators). Man kan till och med säga att OLS (ordinary least square) är ett specialfall av MLE när felen är normalfördelade. Enda skillnaden är att när man uppfyller antagandena hos OLS kan man ta matematiska genvägar som ger "closed form solutions" och man slipper integrera sannolikhetsfördelningar. Det var viktigare förr än nu. I vilket fall som helst så sticker omvänd sannolikhet (transposed conditional) upp sitt fula tryne varthelst man ser. Därav min relativa avsky för begreppet "konfidens" och som betyder mer än 1-p. Skillnaden är större än en enkel matematisk operation och innebär ett epistemologiskt sidbyte.

/DQ-20

[Almen]

Jag har insett att jag borde läsa in mig på likelihood så jag får lite mer känsla för vad det innebär.

[Svante]

Varför tycker jag att statistik är som en hal tvål?

[petersteindl]

Jag hatade mat.stat.

[DQ-20]

Jag hatade mat.stat.

De som gillar matematisk statistik måste ha någon diagnos. Matematiska bevis, kombinatorik och annan skit är inget för mig.

/DQ-20

[DQ-20]

Varför tycker jag att statistik är som en hal tvål?

Ja, säg det? Kanske det är för att du känner att du själv måste kunna matematiken för att förstå?

/DQ-20

[Svante]

Varför tycker jag att statistik är som en hal tvål?

Ja, säg det? Kanske det är för att du känner att du själv måste kunna matematiken för att förstå?

/DQ-20

Grejen är ju att jag förstår. Tror jag. Sen gör jag det inte. Flupp, så hoppar tvålen iväg.

Jag har ju tom undervisat i matstat, inte på så hög nivå, men ändå.

[DQ-20]

Grejen är ju att jag förstår. Tror jag. Sen gör jag det inte. Flupp, så hoppar tvålen iväg.

Jag har ju tom undervisat i matstat, inte på så hög nivå, men ändå.

Undervisat i matematisk statistik? Antingen är du en mycket dålig människa som Gud har bestämt sig för att straffa eller så är det bara livets tillfälligheter. Slumpen helt enkelt. Vem vet?

/DQ-20

[PerStromgren]

Den debatt som för närvarande pågår tycks i allt väsentligt vara en återgång till Fisher där man tar bort signifikansnivåerna och ersätter dem med ett epistemologiskt grundat resonemang om p-värdena samtidigt som man behåller Neyman-Pearsons idé om "alternativhypotesen" som nödvändigt komplement till "nollhypotesen".

Hjälp, var har jag hamnat?

[Almen]

Den debatt som för närvarande pågår tycks i allt väsentligt vara en återgång till Fisher där man tar bort signifikansnivåerna och ersätter dem med ett epistemologiskt grundat resonemang om p-värdena samtidigt som man behåller Neyman-Pearsons idé om "alternativhypotesen" som nödvändigt komplement till "nollhypotesen".

Hjälp, var har jag hamnat?

Ja, det var väl i de banorna jag funderade när jag tänkte mig att statistiker mestadels är ganska pragmatiska. Jag skulle väl till och med vilja krydda på med lite Bayes, där priorn lämpligen kan tas fram med frekventistiska metoder.

Men jag håller med om den hala tvålen. Matematisk statistik känns i många avseenden som vagare och svårare än andra former av matematik, och där den generella kunskapen utanför skrået är låg (och kanske i synnerhet om den egna begränsningen). Det är väl därför expertvittnen i domstolar kan få personer (till exempel Sally Clark och Lucia de Berk) dömda till långa fängelsestraff bara genom att visa några siffror, även om de är totalt felaktiga.

Och varför ett rättshaverande justitieråd i Högsta Domstolen får för sig att med statistik "bevisa" att en friad person egentligen är skyldig.

[IngOehman]

OK. Har du satt dig in i problematiken med överkalixstudierna? Professor Bylund verkar ju försöka vidhålla att deras signifikanssiffror var signifikanta.

Jag har läst vad statistikern skrev och han verkar ha rätt. Signifikanstest är bara en del av "bevisföringen". Man behöver också teoretiskt stöd. Men det har inte Bylund et al. Hade man, utifrån tidigare studier och teori, haft anledningen att testa att det var just sondöttrar som skulle uppvisar effekter hade man kunnat testa detta direkt. Men det hade man inte och testade därför många olika samband. För mig framstår det, efter en MYCKET kort genomläsning, att studien är explorativ och signifikanstesterna är därmed inte att betrakta som hypotestestning utan snarare som indikationer på att "här behöver vi gå vidare".

Denna typ av artiklar är dock inget ovanligt och det finns många aspekter på publicering: Även om det inte handlar om signifikanta resultat kan ju resultaten ändå vara värda att sprida. Men om reviewers endast tar in studier med statistiskt signifikanta resultat så sorterar man automatiskt bort resultat som är värda att publicera fast de inte har statistiskt signifikanta resultat. Statistisk signifikans är för mig endast en form av "reality check" och saker som effektstorlek (spelar det någon roll...) är viktigare.

Vackra ord det där. När jag tittar runt på hur folk resonerar kring resultat de läser om så får jag ofta intrycket att de inte förstår att det är väsensskilda saker.

Särskilt är det förstås så när verkligt samband i verkligheten saknas (vilket man kanske inte vet ännu) och den enda sak man kan bygga upp genom att testa saken, är ju då en SS för nollresultatet. Och då behöver man bestämma sig för en nivå, eftersom den som en bieffekt även blir en osäkerhet. Ju lägre krav på SS man ställer desto lättare är det att svaga effekter slinker igenom, det vill säga att det resultat man stannar vid säger att man antingen har en svag effekt, eller att man testat för lite...

Även inom LTS har jag ibland förvånats över att se att folk tro/anse att etablering av SS (snarare än att beskriva färgningarna) är det viktiga, och rent av en sorts mätetal för färgningarna. Det är det inte. Det vill säga det är inte så enkelt.

Med ett riktigt stort dataset blir alla samband signifikanta - även de som saknar betydelse för att de är så små.

Jag skulle ha velat hålla med om det där, men kan inte, helt enkelt för att gränsen för vad som saknar betydelse eller inte saknar betydelse är subjektiv, och inget hindrar att någon kan tycka att den ligger till och med under detektionsgränsen.

En liten randanmärkning bara.

Jo en sak till - skulle vilja byta ut ditt "alla samband" till "alla med metoden detekterbara samband". För det kan ju finnas samband som finns men som kräver andra metoder för att kunna detekteras, och då får man ingen signifikans hur länge man än testar (hur stort dataset man än har).

Det finns många exempel på detta inom medicin där man kan hitta t.ex. sjukdomsrisker för det mesta här i världen eftersom man har tillgång till enorma dataset via t.ex. arbetsmedicin och screening. Om man dessutom redovisar result i form av "odds ratios", blir det extra svårt att tolka. Säg att man redovisar en statistiskt signifkant tredubblad risk för någon patologisk förändring ska inträffa och läsaren tänker "oj, oj, oj..." Men om grundrisken var mikroskopisk får vi en förhöjd risk som är 3*mikroskopisk vilket innebär att det fortfarande inte spelar någon roll trots signifikans och tredubblad risk.

/DQ-20

Du har helt rätt, men igen vill jag reservera mig på samma mjuka grunder som nyss. "Inte spelar någon roll" är en subjektiv bedömning. Du är otillåtet svartvit.

Med det sagt är dina påpekanden viktiga, och ett skäl till att (i ämnet oförståndiga) journalister ibland är olämpliga som förmedlare av information.


Vh, iö