Den stora tråden om STATISTIK

[Svante]

Grejen är ju att jag förstår. Tror jag. Sen gör jag det inte. Flupp, så hoppar tvålen iväg.

Jag har ju tom undervisat i matstat, inte på så hög nivå, men ändå.

Undervisat i matematisk statistik? Antingen är du en mycket dålig människa som Gud har bestämt sig för att straffa eller så är det bara livets tillfälligheter. Slumpen helt enkelt. Vem vet?

/DQ-20

Gud är sannolikt sadistiker om hen finns.

[IngOehman]

Om gud inte finns så är han eller hon eller den eller det också sadistiker, men med en mindre sannolikhet.


Vh, iö

[Svante]

Jag såg ett program på TV igår som handlade om arkeoligi. De hade hittat 17 personer som hade blivit nedslängda i en brunn på 1100-talet. DNA-analys visade att de hade en egenskap som man bara hittade hos 5% av den kristna befolkningen, men hos 30% av den judiska befolkningen. Det var mycket ovanligt med judar i trakten vid den tidpunkten. Tolkningen de gjorde av resultatet var att personerna i brunnen med största sannolikhet var judar. Retoriskt i programmet blev det en sanning.

Underkänt.

[Almen]

Ha! Det där ser ut som ett klockrent läge för Bayes. Någon som känner sig hågad? Jag kan titta på det i kväll.



Jag antar att
A: de är av judisk börd
B: de har den specifika egenskapen

[DQ-20]

Underkänt

Varför?

/DQ-20

[IngOehman]

Är inte det självklart?

För att informationen inte alls säger det som programmet antydde.


Utfallet är ju möjligt i ett samhälle där det bara finns kristna. Säg att den speciella egenskapen är... bruna ögon (bara ett exempel) och att de kristna var brunögda till 5%, och att någon ansåg att de som var det av något skäl förtjänade att bli kastade i brunnen. I varje fall om de var uppstudsiga också.

Då är det ingenting konstigt alls om man finner att alla nedkastade var brunögda. 5% av alla kristna torde räcka väl till för att hitta 17 stycken som är brunögda, det behövs ju bara 340 personer.

Det som är konstigt (läs ovetenskapligt slutsatsdragande) är att någon som inte verkar veta någonting alls om det exakta antalet judar som de facto uppehöll sig i trakten, ändå drar slutsatser om att de nedkastade var det, bara för att man råkar veta att 30% av judar är brunögda (bara ett påhittat exempel, fortfarande).


Sammanfattning: TV när det är som allra sämst (OCH statistik när den är som allra sämst).


Vh, iö

[DQ-20]

Är inte det självklart?

Nej, det var därför jag frågade. Ibland har man ju annan information och då blir sannolikheten betingad av denna information. Man kan tänka sig att man vet att en viss folkgrupp blev förföljd, att ögonfärg sällan varit ett skäl till att bli kastad i en brunn om man tillhörde den etniska majoriteten osv. Vidare kan man också fundera på hur man samplar, dvs. hur ser ut om man samplar på kluster om 17 personer map en viss egenskap med istället för individer. Men visst: om man inte har någon annan information än det som framgått i tråden blir ju slutsatserna orimliga ur en statistisk synvinkel. Jag har inte sett programmet.

/DQ-20

[Svante]

Är inte det självklart?

Nej, det var därför jag frågade. Ibland har man ju annan information och då blir sannolikheten betingad av denna information. Man kan tänka sig att man vet att en viss folkgrupp blev förföljd, att ögonfärg sällan varit ett skäl till att bli kastad i en brunn om man tillhörde den etniska majoriteten osv. Vidare kan man också fundera på hur man samplar, dvs. hur ser ut om man samplar på kluster om 17 personer map en viss egenskap med istället för individer. Men visst: om man inte har någon annan information än det som framgått i tråden blir ju slutsatserna orimliga ur en statistisk synvinkel. Jag har inte sett programmet.

/DQ-20

Jag tyckte det var självklart, ja. Men det kanske blev ett villospår med talet 17, det var inte tänkt som räkneinformation, de hade lyckats få DNA från 8 av dem tror jag och de var släkt med varandra, alltså var det effektivt ETT sampel inte 17. Frågan är alltså om gruppen var judisk. Det var alltså väldigt få som var judiska där, men några hade tagits dit som finansiärer. Kristna fick nämligen inte låna ut pengar mot ränta, det ansågs omoraliskt. Finansiering behövdes dock och därför hade man flugit in (kanske inte...) en del judar. I programmet lät det som att de var ovanliga, min känsla var kanske en på hundra.

Det betyder att sannolikheten att gruppen var judar är 0,01*0,3/(0,01*0,3+0,99*0,05)=0,057. Med min antagligen generösa tolkning av andelen judar och deras DNA-bevis så blir sannolikheten mindre än 6% att de var judar.

[IngOehman]

Precis, höll jag på att skriva...

Men jag menar nog att det från den information jag sett, inte finns möjlighet att uttala sig om hur sannolikt det ena eller andra var. Det är ju som det är, och inte en riktig slumpsituation.

Jag menar alltså (kanske har jag missförstått något) att det du gör är nästan lika tveksamt som det TV-programmet gjorde. Ni drar otillåtna slutsatser.

Man kan inte räkna på sannolikheter, varken si eller så, med den information som står till buds. Det går inte veta om man har relevant information även om man vet att den man har stämmer, och på det så är ju detta ett enskilt fall (där det är på ett visst sätt, helt säkert, oavsett om vi vet hur det var ännu) och inte ett med en sannolikhet.


Vh, iö

[IngOehman]

Är inte det självklart?

Nej, det var därför jag frågade. Ibland har man ju annan information och då blir sannolikheten betingad av denna information.

Aha du tänker så.

Jag bara utgick ifrån att det Svante berättade var en ackurat redovisning av vad TV-programmet berättade.

Man kan tänka sig att man vet att en viss folkgrupp blev förföljd, att ögonfärg sällan varit ett skäl till att bli kastad i en brunn om man tillhörde den etniska majoriteten osv. Vidare kan man också fundera på hur man samplar, dvs. hur ser ut om man samplar på kluster om 17 personer map en viss egenskap med istället för individer. Men visst: om man inte har någon annan information än det som framgått i tråden blir ju slutsatserna orimliga ur en statistisk synvinkel.

Precis min poäng.

Och jag underkänner för protokollet även Svantes senare beräkning av sannolikhet.

Man kan inte räkna sannolikhet på händelser som har faktiska icke slumpmässiga orsaker och vars inträffande inte är fråga om sannolikheter.


Det hela påminner mig om det gamla radioprogrammet där två astronomer bråkade om hur sannolikt det var att en specifik identifierad himlakropp skulle träffa jorden.

Sanningen är att sannolikheten är antingen 0% (om den kommer att missa) eller 100% (om den kommer att träffa). Att man inte vet om den kommer att missa eller träffa (saknar en massa information) gör inte att man kan ange en sannolikhet någonstans däremellan för träff. Det enda man berättar när man försöker redovisa en sådan är att man själv inte vet tillräckligt mycket för att kunna säga om den kommer att missa eller träffa. Det blir en siffra som säger något om den som anger siffran, men ingenting om huruvida det blir miss eller träff.

Någon kan förstås påstå att sannolikhetsangivelsen är en sorts kvalitetsgradering för den informationsmängd man har, men då det inte är slumpen (eller något tillräckligt slumplikt) som bestämmer hur det kommer att gå är beräkningen förfelad.


Vh, iö

[Svante]

Vad jag invänder emot var alltså att de framförde att de hade DNA-bevis som styrkte att de var judiska. Så pekar jag på felkällan med representationen av judar i befolkningen. Det finns fler felkällor, men bevisningen blir mycket svagare när man inser att det finns många fler faktorer än DNAt om man inte utreder de andra faktorerna. Och det är fel att som man i programmet gjorde säga att de var judar för att DNAt sade det.

[IngOehman]

Ja, det var det. Men det var också fel att påstå att man från tillgänglig datakan beräkna sannolikheten för att det var si eller så.


Vh, iö

[Morello]

Grejen är ju att jag förstår. Tror jag. Sen gör jag det inte. Flupp, så hoppar tvålen iväg.

Jag har ju tom undervisat i matstat, inte på så hög nivå, men ändå.

Undervisat i matematisk statistik? Antingen är du en mycket dålig människa som Gud har bestämt sig för att straffa eller så är det bara livets tillfälligheter. Slumpen helt enkelt. Vem vet?

/DQ-20

Gud är sannolikt sadistiker om hen finns.

...om vederbörande......

[Svante]

hen hen hen

[IngOehman]

Vederbörande är verkligen ett mycket bättre ord.

Hen är förfärligt. Hur könsneutralt man än bestämmer att ordet skall föreställa vara så låter det mycket mera som henne än som honom.

Gillar Komoroks gamla ide att man KAN använda ordet hen, som det feminina könsneutrala begreppet, om man även av jämlikhetsskäl inför ordet hum, som det könsneutrala maskulina begreppet för samma sak.


Vh, iö

[UrSv]

Och hin för det könsneutrala skällsordet.

[Almen]

Man kan inte räkna sannolikhet på händelser som har faktiska icke slumpmässiga orsaker och vars inträffande inte är fråga om sannolikheter.

Betyder det att du helt underkänner bayesiansk statistik?

[IngOehman]

Nejdå.

Menar bara att man måste skilja mellan att ha osäkra och/eller begränsade data och att ha okunskap om vem som är vem i en större mängd.

Att man kan beräkna risken för att en slumpvis vald (= vem som helst inom en grupp) drabbas av något, är inte samma sak som att risken gäller för en enskild individ. Risken pekar inte på personen utan på det slumpvisa valet, och vilar på de statistiska data man har om gruppen.


Vh, iö

[Almen]

Så här då: för en händelse av det slag som hittandet av kvarlevorna utgjorde uppgår sannolikheten (bayeansk uppskattning med priorn P(A)=0,01) för att de skulle vara av judisk börd till 0,057.

[DQ-20]

Jag tycker poängen är att man kan ge fan i att räkna när det saknas så pass mycket viktig information och Bayes har inte så mycket att göra med det du skriver. En "prior" skulle i detta fall gälla själv sakfrågan: hur stora är mina förväntningar på att de som ligger i just den här brunnen är judar INNAN jag tittar på bevisen. Posterior är vad jag tror när jag titta på bevisen. Är min tro stark åt ena eller andra hållet och de empiriska bevisen är inkonklusiva så får min "prior" stort genomslag på min "posterior". Vilket är som människor brukar bete sig. Det var därför Laplace menade att statistik var "förnuftets matematik".

/DQ-20

[Svante]

Jag tycker poängen är att man kan ge fan i att räkna när det saknas så pass mycket viktig information och Bayes har inte så mycket att göra med det du skriver. En "prior" skulle i detta fall gälla själv sakfrågan: hur stora är mina förväntningar på att de som ligger i just den här brunnen är judar INNAN jag tittar på bevisen. Posterior är vad jag tror när jag titta på bevisen. Är min tro stark åt ena eller andra hållet och de empiriska bevisen är inkonklusiva så får min "prior" stort genomslag på min "posterior". Vilket är som människor brukar bete sig. Det var därför Laplace menade att statistik var "förnuftets matematik".

/DQ-20

Jadå.

Det jag invände emot var att de i programmet gjorde ett resonemang med 5% av icke-judar och 30% av judar hade genen och att de tog det som att det var nära säkerställt att personerna var judar. Jag punkterade det genom att invända att om judar utgör 1% av befolkningen, vilket är mer än vad det framställdes som i programmen så är (med endast dessa indata) sannolikheten mycket liten att de var judar.

Jag invände alltså mot retoriken/bevisföringen, jag försökte inte primärt räkna ut en hållbar sannolikhet. Ska man räkna behöver man bättre indata. Jag misstänker att det som behövs inte finns.

[DQ-20]

Jag tycker poängen är att man kan ge fan i att räkna när det saknas så pass mycket viktig information och Bayes har inte så mycket att göra med det du skriver. En "prior" skulle i detta fall gälla själv sakfrågan: hur stora är mina förväntningar på att de som ligger i just den här brunnen är judar INNAN jag tittar på bevisen. Posterior är vad jag tror när jag titta på bevisen. Är min tro stark åt ena eller andra hållet och de empiriska bevisen är inkonklusiva så får min "prior" stort genomslag på min "posterior". Vilket är som människor brukar bete sig. Det var därför Laplace menade att statistik var "förnuftets matematik".

/DQ-20

Jadå.

Det jag invände emot var att de i programmet gjorde ett resonemang med 5% av icke-judar och 30% av judar hade genen och att de tog det som att det var nära säkerställt att personerna var judar. Jag punkterade det genom att invända att om judar utgör 1% av befolkningen, vilket är mer än vad det framställdes som i programmen så är (med endast dessa indata) sannolikheten mycket liten att de var judar.

Jag invände alltså mot retoriken/bevisföringen, jag försökte inte primärt räkna ut en hållbar sannolikhet. Ska man räkna behöver man bättre indata. Jag misstänker att det som behövs inte finns.

Utan att ha sett programmet så tycks det mig att statistiken främst illustrerar deras förväntningar snarare än data. Subjektivt finner jag dock sannolikheten hög för att de har rätt, data till trots.

/DQ-20

[Almen]

Ja, det där med att få judar bodde i området verkar inte stämma (Jewish bodies found in medieval well in Norwich):

Norwich had been home to a thriving Jewish community since 1135 and many lived near the well site. But there are records of persecution of Jews in medieval England including in Norwich (see fact box).
---
1100s: Resentment against the Jewish community grows over their perceived wealth and belief they killed Jesus. The "blood libels" - Jews are accused of the ritual murder of Christian children.
1190: Many Jewish people massacred in York. In Norwich they flee to the city's castle for refuge. Those who stay in their homes are butchered.
1230s: Executions in Norwich after an allegation a Christian child was kidnapped.

Så man behöver nog knappast matematik för att dra till med en kvalificerad gissning.

Å andra sidan, att utgå från en frekventistiskt bestämd prior vid bayesiansk analys är väl inte så konstigt? Tänker på det klassiska exemplet med bröstcancer:

A Bayesian approach is particularly useful when predicting outcome probabilities in cases where one has strong prior knowledge of a situation. Suppose, for instance (borrowing an old example that Silver revives), that a woman in her forties goes for a mammogram and receives bad news: a “positive” mammogram. However, since not every positive result is real, what is the probability that she actually has breast cancer? To calculate this, we need to know four numbers. The fraction of women in their forties who have breast cancer is 0.014, which is about one in seventy. The fraction who do not have breast cancer is therefore 1 – 0.014 = 0.986. These fractions are known as the prior probabilities. The probability that a woman who has breast cancer will get a positive result on a mammogram is 0.75. The probability that a woman who does not have breast cancer will get a false positive on a mammogram is 0.1. These are known as the conditional probabilities. Applying Bayes’s theorem, we can conclude that, among women who get a positive result, the fraction who actually have breast cancer is (0.014 x 0.75) / ((0.014 x 0.75) + (0.986 x 0.1)) = 0.1, approximately. That is, once we have seen the test result, the chance is about ninety per cent that it is a false positive. In this instance, Bayes’s theorem is the perfect tool for the job.

[IngOehman]

Lite förenklat man kan säga att problemet med det aktuella fallet är att vi inte vet vad vi behöver veta för att kunna räkna på fallet.

Då går det inte att räkna på.

Jag tycker poängen är att man kan ge fan i att räkna när det saknas så pass mycket viktig information och Bayes har inte så mycket att göra med det du skriver. En "prior" skulle i detta fall gälla själv sakfrågan: hur stora är mina förväntningar på att de som ligger i just den här brunnen är judar INNAN jag tittar på bevisen. Posterior är vad jag tror när jag titta på bevisen. Är min tro stark åt ena eller andra hållet och de empiriska bevisen är inkonklusiva så får min "prior" stort genomslag på min "posterior". Vilket är som människor brukar bete sig. Det var därför Laplace menade att statistik var "förnuftets matematik".

/DQ-20

Exakt!

Jadå.

Det jag invände emot var att de i programmet gjorde ett resonemang med 5% av icke-judar och 30% av judar hade genen och att de tog det som att det var nära säkerställt att personerna var judar. Jag punkterade det genom att invända att om judar utgör 1% av befolkningen, vilket är mer än vad det framställdes som i programmen så är (med endast dessa indata) sannolikheten mycket liten att de var judar.

Och jag envisas med att hävda att det inte går att räkna ut någon sannolikhet.

Det är som det är, och det de data vi har visar är att vi faktiskt inte vet hur det är trots att det är på ett visst sätt (det kan vara 100% judar, eller 0 % judar, eller vad som helst däremellan), och därmed ipso facto heller inte kan säga hur sannolikt det är att det är si eller så.

Jag invände alltså mot retoriken/bevisföringen, jag försökte inte primärt räkna ut en hållbar sannolikhet. Ska man räkna behöver man bättre indata. Jag misstänker att det som behövs inte finns.

Bra sagt där på slutet, men har du glömt att du ändå gjorde just det som du säger att du inte försökte göra?

Strunt samma - bra att vi är överens om att det inte går att räkna med dessa indata.


Vh, iö

[Almen]

Det har ju kommit en metastudie på HiRes-lyssningstester från AES, A Meta-Analysis of High Resolution Audio Perceptual Evaluation.

Den är Open Access och kan laddas ned här: PDF

Jag tänker mig att det kan vara ett lämpligt objekt för denna tråds ämne. Det finns mycket att diskutera, men en sak som jag undrar över är följande:

[76] noted that “the percentage of subjects
who correctly identified SACD at least 70% of the time
appears to be implausibly low.” In trials with at least 55
subjects, only one subject had 8 out of 10 correct and 2
subjects achieved 7 out of 10 correct. The probability of
no more than 3 people getting at least 7 out of 10 correct
by chance, is 0.97%. This suggests that the results were far
from the binomial distribution that one would expect if the
results were truly random.

Blandar man inte ihop "man skall inte bli förvånad om någon har många rätt av slump" med "man skall bli förvånad om inte någon har många rätt"?

P.S. Och "truly random" för 55 lyssnare känns som att de förväntar sig en perfekt slumpfördelning, men det får man ju inte - om inte en och annan gång av ren slump.

[DQ-20]

Det har ju kommit en metastudie på HiRes-lyssningstester från AES, A Meta-Analysis of High Resolution Audio Perceptual Evaluation.

Den är Open Access och kan laddas ned här: PDF

Jag tänker mig att det kan vara ett lämpligt objekt för denna tråds ämne. Det finns mycket att diskutera, men en sak som jag undrar över är följande:

[76] noted that “the percentage of subjects
who correctly identified SACD at least 70% of the time
appears to be implausibly low.” In trials with at least 55
subjects, only one subject had 8 out of 10 correct and 2
subjects achieved 7 out of 10 correct. The probability of
no more than 3 people getting at least 7 out of 10 correct
by chance, is 0.97%. This suggests that the results were far
from the binomial distribution that one would expect if the
results were truly random.

Blandar man inte ihop "man skall inte bli förvånad om någon har många rätt av slump" med "man skall bli förvånad om inte någon har många rätt"?

P.S. Och "truly random" för 55 lyssnare känns som att de förväntar sig en perfekt slumpfördelning, men det får man ju inte - om inte en och annan gång av ren slump.

Jag tror inte att de tror att det fått ett "truly random sample" av subjekt utan bara att det är den baseline som man skall jämföra med för att se om resultaten skulle kunna ha uppstått av en slump. Vad jag TROR att de säger är att OM subjekten bara gissade slumpmässigt så skulle det vara fler som gissade fler rätt än vad resultaten ger för handen. Problemet har tagits upp i samband med F/E-lyssning: hur skall man värdera resultaten från ett subjekt som konsistent svarar fel? Att svara alla fel är lika ovanligt som att svara alla rätt under ett antagande om att chansen att svara rätt ELLER fel är 0,5 per försök. Lösningen är att använda ett riktningsoberoende signifikanstest, dvs. man sätter inte upp en hypotes om att resultaten skall gå åt ena eller andra hållet utan man tittar bara på den absoluta avvikelsen från väntevärdet för nollhypotesen. Man tar så att säga med "båda sidbanden". Men varför göra man inte det? Tja, antingen har man antagit att mer "högupplösta" system låter "bättre" än CD och därför låst sig vid en riktningberoende hypotes, eller så har man så små urval och låga effektstorlekar att man inte "har råd" med riktningsoberoende hypotestestning eftersom den, vid ett givet resultat, fördubblar p-värdet och därmed minskar den statistiska signifikansen. Opps! Jag har inte räknat på det citerade exemplet.

/DQ-20

[Almen]

Ja, det är det jag tycker, att dubbelsidighet borde vara lite standard vid sådana tester. Men man kanske inte tänker "nu skall vi se om lyssnarna kan skilja på H och L" utan "nu skall vi se om lyssnarna kan identifiera H och L (och höra att H är mycket bättre än L)". Det är ju förödande för resultatet i sådana fall, men jag misstänker att det i många av deras refererade tester har gått till på det sättet.

In King 2012, participants were asked to rate 44.1 kHz,
96 kHz, 192 kHz, all at 24 bit, and “live” stimuli in terms of
audio quality. This methodology is problematic in that the
ranking may be inconclusive, yet people might still hear a
difference, i.e., some may judge low sample rate as higher
quality due to a personal preference, regardless of their
ability to discriminate.
We were provided with the full data from the experiment.
A priori, the decision was made to treat the “live” stimuli as
a reference, allowing the ranking data to be transformed into
a form of A/B/X experiment. For each trial, it was treated
as a correct discrimination if the highest sample rate, 192
kHz, was ranked closer to “live” than the lowest sample
rate, 44.1 kHz, and an incorrect discrimination if 44.1 kHz
was ranked closer to “live” than 192 kHz. Other rankings
were excluded from analysis since they may have multiple
interpretations. Thus if there is an inability to discriminate
high resolution content, the probability of a correct answer
is 50%.

Resultatet från King är 55.74%, p=0.2213. Varför har man med det över huvud taget? Och vad menas med "Other rankings were excluded from analysis", gjordes det i metaanalysen eller redan i testet?

[DQ-20]

Resultatet från King är 55.74%, p=0.2213. Varför har man med det över huvud taget? Och vad menas med "Other rankings were excluded from analysis", gjordes det i metaanalysen eller redan i testet?

Vad uppfattar att man gjorde var att göra en dikotom variabel av ordinaldata (ranking). "Rätt" är att 192 kHz föredras framför 44,1 kHz och "Fel" är om 44,1 kHz föredras framför 192 kHz i jämförelse med "live". Genom att göra så slänger man bort information - sannolikt för att man inte vet hur man skall avsätta en rank på varje möjligt kombination av svar så att man kan ange ett numeriskt värde. Såhär tror jag man tänkt:

192; 96; 44,1=Rätt
192; 44,1; 96=Rätt
96; 192; 44,1=Rätt
44,1; 192; 96=Fel
44.1; 96; 192=Fel
96; 44,1; 192=Fel

Eller något liknande med bara två alternativ åt gången om man använt ABX.

Formellt har man haft en hypotes och testat den. Om det är en bra hypotes och om det var en Bra Idé att testa den är en annan fråga. Från min dilettant-horisont tycker jag det verkar vara ett prov utan värde.

/DQ-20

[Almen]

OK, "live" var känt, typ som ett ankare. Ja, med det upplägget kanske ett 50/50-resultat inte är så oväntat.

Den givna frågan för mig att svara på är inte "föredrar lyssnaren..." eller "vilket liknar mest...", utan "kan man skilja på". Alltså ett dikotomt upplägg med ABX och fullständig symmetri (dubbelsidigt). Sedan går man vidare med de med p<=0,01 och testar djupare.

[KarlXII]

Jag tycker nog att det finns plats för båda angreppssätten.
Det skulle inte förvåna mig om det är helt olika mekanismer i kroppen och knoppen som sätts igång av frågorna "föredrar du" eller "kan du skilja på"..