Vad kommer allt konstigt ifrån?

[Sanny_X]

Skulle vara kul att göra ett blindtest på kablar med t.ex nån konstruktör i panelen.

Eller test mellan innbrända och nya nätkablar.

mvh
Sanny_X

ändrad efter eftertanke

[Svante]

OK, säg att man har ett test, där den genomsnittlige testaren får 5 av 7 (någon kanske klarar 7 av 7, men några bara 3 av 7). Lite mer än slumpen alltså, så det lutar mot att det kanske finns en skllnad, en liten. Men så liten att den, om den finns, inte går att spika på 7 av 7. Om det nu finns en sådan skillnad, ska man då bry sig om den? Som vanlig konsument? Borde det inte finnas mer relevanta saker att lägga tid, ork och pengar på?

Kul och att se variationen i denna tråd, bitvis mycket hög nivå!

Haha, men här har nog statistikerna extra vapen att ta till! Om tex tre personer testat samma sak, och fått 3 av 7, 5 av 7, och 7 av 7 så bakar statisktikern ihop allting i ett test och ser att vi har 15 rätt av 21. Och utan att ha räknat skulle jag tro att det är ett 99-procentigt resultat. Eller?

[Johan_Lindroos]

Sanny_X, det var ett bottennapp. Inte behöver du väl nämna andra människor?

[matson]

Sanny_X: Är det inte bättre att du gör ett test? Så vet du själv hur stora skillnader du upplever. Det borde väl vara bättre än att Olle/Kalle/Bamse testar?

Mvh

[DQ-20]

Men jag begriper fortfarande inte hur power ska kunna inkludera alla de försökspersoner och anläggningar som inte deltar i testet.

Det gör det inte heller. Lika lite som ett signifikanstest gör det. Se nedan.

Ta extremen att man gör tester med en liten monokassettbandspelare. Jag försöker 100 ggr lyssna om kassett a eller kassett b låter bäst (blindat på nåt sätt). Jag lyckas dåligt med det, konfidensen blir inte övertygande. Menar du att jag utifrån detta kan säga att det är osannolikt att inspelning a låter bättre än inspelning b, även om jag har dem på CD och att de spelas på en bra anläggining och slipper vänta på att kompisen ska byta kassett åt mig eftersom jag ordnat med en omkopplare?

Nej, det menar jag inte. Men jag menar inte heller att du kan säga att bara för att du hört skillnad på en kassettbandspelare kan du höra skillnad på CD. Eller att bara för att du har hört skillnad i ett test kommer du att höra skillnad i ett annat. Inte med mindre än att du har annan information som pekar på detta, t.ex. tidigare erfarenheter. Generalisering av experimentella resultat följer inga strikta logiska lagar: vi sätter tilltro till dem på många olika sätt och här kommer man in på begreppet validitet. Intern validitet, dvs förmågan att etablera kausala samband, anses normalt experimentets styrka. Genom att kontrollera experimentet och begränsa inflytandet från faktorer vi inte mäter kan vi känna oss säkra på att de orsakssamband som vi får fram verkligen stämmer. I det experimentet. Extern validitet handlar om hur väl vi kan generalisera resultatet till andra situationer utanför experimentet. Detta anses vanligtvis vara det kontrollerade experiementets svaga del. I exemplet du anför verkar du t.ex. använda annan information än de som framkommit genom experimentet för att dra slutsatsen att resultat som tagits fram med bandspelare inte är giltiga för CD-spelare. Men även det omvända gäller: bara för att byxbenen fladdrar lite annorlunda strax innan njurarna skakar sönder på Studio Blue betyder ju inte detta att samma sak är detekterbar under andra omständigheter, eller hur? Det kan vara en god övning att fundera på varför vi sätter generell tilltro till vissa experiment och i vilka situationer vi tänker oss att detta är giltigt.

En ytterligare aspekt på detta är att vi arbetar med sannolikheter. "99% konfidens" betyder inte att man kan vara till 99% säker. Det betyder istället att i 1% av alla experiment kommer en skillnad lika stor eller större att uppstå pga av slumpen om "nollhypotesen" är sann. För ett enskilt test har vi ingen aning om det finns en effekt eller inte, vare sig resultatet är signifikant på 5%, 1% eller 0,1% nivån: antingen är nollhypotesen sann eller så är den det inte. Strikt kan vi alltså inte ansätta någon "subjektiv" sannolikhet i det enskilda experimentet, även om vi gärna tolkar det så. (Därav mitt gnäll om 7 av 7 och 1 % risk...)

Sen är det förstås så att om man utför många tester så ska kraven ökas för de enskilda serierna. Jag har inbillat mig att det är därför det är brukligt i dessa sammanhang att använda 99% konfidens i stället för 95 % som annars är vanligt.

.

Både 5% och 1% är godtyckliga nivåer. 5% har vi som ett arv från Fisher. Jag tycker också att man gör ta hänsyn till testets power (nej jag vet inget svenskt namn) innan bestämmer sig för vilken signifikansnivå man accepterar. Men det finns delade meningar om det. Justeringen för "multiple-comparison" tester sker normalt via Bonferronis, Scheffes eller Sidaks justeringar. Dessa justeringar ger lite olika resultat där Bonferroni är mest robust (rustik?): man delar helt enkelt den totala signifikansnivån med antalet test. Lätt som en plätt.

/Dahlqvist

[DQ-20]

På förekommen anledning.
Signifikansnivå och power for no so dummies

Läs på egen risk!

Tidigare i tråden införde jag tydligen begreppet "power" i statistiken. ("Power" som i "kraftfullhet". ) Jag har inte läst en enda statistikbok på svenska så jag har tyvärr inte något svenskt begrepp. Eftersom det aldrig används av andra än de närmast sörjande är jag inte ens säker på att det finns. Iallafall.

Statistik handlar ju om att uppskatta en egenskap hos en sk. population (eller mer generellt "sample space") genom att undersöka ett mindre antal element i ett urval. Inget urval man gör kommer genom slumpens inverkan att vara helt representativt för populationen. Det är denna naturliga variation och dess påverkan på resultatet vi försöker ta ställning till.

Statistiskt beslutsfattande har två grundstenar: signifikansnivå och power.

Signifikansnivå.
Signifikansnivå inriktar sig på skillnader. Signifikansnivån (alfa), t.ex. 5%, 1% eller något annat, anger hur stor andel av alla urval som kommer att uppvisa denna skillnad eller större trots att det inte finns någon skillnad i populationen. Signifikanstest har ofta nollhypotesen som jämförelseobjekt. Implicit testar vi i hur stor andel av alla urval kommer vi att uppnå denna skillnad även om det inte finns någon skillnad i populationen, dvs. att nollhypotesen är sann.

Med signifikanstest försöker vi undvika typ 1-fel i våra beslut om resultatens giltighet, dvs. att vi tror att det finns en effekt eller skillnad när det i verkligheten inte finns någon. Detta är också den vanligaste frågan inom forskning: finns det någon skillnad eller effekt?

Power
Formeln för power finns även tidigare i tråden:

Power=1-Beta.

Beta är komplementet till Alfa. Det är inte alls lika vanligt och är lite svårare att förklara. Till att börja med kan vi säga att Beta anger sannolikheten (tolkat som den relativa frekvensen) att vi, på grund av ett visst signifikanstest, accepterar att nollhypotesen är sann trots att den inte är det. Vi tror alltså att det inte finns någon effekt, trots att det i verkligheten finns det. Power är alltså sannolikenhet att vi INTE begår detta fel. Power kan tolkas som sannolikheten att vi med vårt signifikanstest faktiskt kan hitta skillnader av en viss storlek i populationen. Om beta är 0,7 blir power 0,3. Det betyder i klartext att vårt signifikanstest endast ger utslag för en verklig effekt av en viss storlek i 30% av våra experiment. Har man så låg power kommer man alltså i 70% av fallen få icke-signifikanta resultat trots att det finns en effekt i populationen. Tolkningen av icke-signifikanta resultat i experiment med låg power blir trivial: "Vi vet inte vad det beror på, vi skulle ändå bara få napp var tredje gång". Har vi hög power har vi ett test som i de flesta fall hade givit signifikanta resultat om en verklig effekt funnits. Icke-signifikanta resultat har då högre sannolikhet att bero på små eller inga skillnader i population snarare än dålig power hos experimentet.

[DQ-20]

För övrigt skulle jag nog vilja hålla med Svante om att det räcker med att en lyssnare sätter en tillräckligt lång serie (kursivering tillförd/ Dahlqvist)

Detta är helt sant under förutsättning av man på förhand bestämmer sig för 1) hur lång "en serie" är och b) hur många sådana serier man genomför. Om flera personer bara sitter och gissar en hel kväll kommer sannolikheten att man får ett signifikant resultat att öka efterhand. Och det är ju våra resultat i förhållande till en situation med rena gissningar (dvs ingen skillnad, nollhypotesen) som vi vill jämföra med. Genomför man många test så måste man justera signifikansnivån. Enklast genom Bonferroni dvs, alfa/antal test. Kör man 20 serier och vill att hela testet skall ha en signifikansnivå på 1% så måste en enskild serie ligga på 1%/20=0,05% (exempelvis en serie 11 av 11). Kör vi 20 serier och får en serie 7 av 7 så har vi med samma logik en total signifikansnivå runt 15%. Inte så bra.

/Dahlqvist

[Thomas_A]

Mer fackfrågor...

Jag undrar om post-hoc test som Bonferroni appliceras på diskret binomialfördelning? Gäller det inte ANOVA?

Ändring: Jag förstår principen men sannolikheten kan ju räknas ut exakt också genom diskret fördelning. Dvs vad är sannolikheten att man ur 20 slummässigt utvalda grupper med 10 personer i varje att man får åtminstone en grupp med bara kvinnor eller bara män. (p=0.5 för kvinna och vi antar att populationen är så stor att vi inte behöver lägga tillbaka personen till populationen.)

T

[Sanny_X]

OK, ändrat.

Var mest intresserad för själv hör jag ingen skillnad på kablar.
Nån som påstår sig höra skillnad på olika nätkontakter borde väl ha superhörsel?

http://www.hififorum.nu/forum/topic.asp?TOPIC_ID=28150

Men OK, point taken.

[Svante]

Dahlqvist:
Ok, följdfråga, för att bli konkret så att min lilla hjärna ska begripa: Hur mäter man power på ett lyssningstest (den vanliga typen, blint A/B)? Är det möjligt, eller blir det bara en bedömning?

[matså]

bara för att man inte kan mäta det så betyder inte det att inte finns.

Läs vad jag snappade upp på ett världsberömt forum

"Humaneutik erkänndes inte i Sverige heller för 15 år sedan, för att det inte var mätbart. Det är fortfansde inte mätbart men erkänt idag."

[Rydberg]

Var mest intresserad för själv hör jag ingen skillnad på kablar.

Då har du inte testat under kontrollerade förhållanden

[DQ-20]

Mer fackfrågor...

Jag undrar om post-hoc test som Bonferroni appliceras på diskret binomialfördelning? Gäller det inte ANOVA?

Ändring: Jag förstår principen men sannolikheten kan ju räknas ut exakt också genom diskret fördelning. Dvs vad är sannolikheten att man ur 20 slummässigt utvalda grupper med 10 personer i varje att man får åtminstone en grupp med bara kvinnor eller bara män. (p=0.5 för kvinna och vi antar att populationen är så stor att vi inte behöver lägga tillbaka personen till populationen.)

T

Jag skulle nog inte kalla Bonferroni "post hoc test" i samband med ANOVA där det lätt för tankarna till Tukey's post hoc test. Men visst kan man applicera det på binomialfördelningen. Fördelningens utseende spelar ingen som helst roll eftersom vi utgår från alpha.

Som du redan har förstått så närmar jag mig problemet från statistiken, inte från den matematiska statistiken. Jag tänker främst termer av distributioner och undviker helst kombinatorik eftersom det ger mig huvudvärk och har en begränsad användning. Så något svar på den senare frågan lär du inte få av mig. Men någon annan kan kanske ge sig i kast med detta. Justering enl. Bonferroni måste dock under alla förhållande betraktas som en approximation. MEN, det ger en fingervisning om vad vi har för problem att brottas med och dess storleksordningen.

Hälsningar,

Dahlqvist

[matså]

Alltså allvarligt talat. Jag tror inte vi /ni kommer överens i frågan. Det viktigaste är väl att man inte själv känner sig lurad. Är man nöjd så är man

Denna fråga har på olika plan/sätt diskuteras och jag tror inte vi kommer längre nu.

[Svante]

Alltså allvarligt talat. Jag tror inte vi /ni kommer överens i frågan. Det viktigaste är väl att man inte själv känner sig lurad. Är man nöjd så är man

Denna fråga har på olika plan/sätt diskuteras och jag tror inte vi kommer längre nu.

Jag tycker tråden tog en ganska intressant vändning. Även om statistik inte är det som får mig att må bäst så har jag insett att det behövs. Jag tycker inte vi ska sluta.

[matså]

Nej inte sluta, tycker det också är intressant, bara det jag tror inte att vi kommer till något slutgiltigt. Visst behövs statistik.

[__10]

"Humaneutik erkänndes inte i Sverige heller för 15 år sedan, för att det inte var mätbart. Det är fortfansde inte mätbart men erkänt idag."

Vad är humaneutik?

[Style]

"Humaneutik erkänndes inte i Sverige heller för 15 år sedan, för att det inte var mätbart. Det är fortfansde inte mätbart men erkänt idag."

Vad är humaneutik?

det undrar jag också

Angående statistikdribblet tycket jag att det är betydligt begripligare att prata konfidensintervall än hypotes/noll-hypotes och signifikans. Har aldrig riktigt fattat vad finessen är med det.

Satte förövrigt just på Birthday Party "Mutiny" efter att ha plågats med frugans Diana Krall hela dan. Inget vidare ljud (alla cymbaler distar och trummorna helt utan attack) men vilken skiva

[Thomas_A]

D,

jo jag förstår nu att Bonferroni kan användas. Men såå svårt är det inte att räkna på diskreta fördelningar. Lite jobbigt kanske, men det är ju bara lite produkter + dess kombinatorik. Tukey och Holm är ju andra post-hocs när man har multipla analyser som ANOVA. Själv använder jag rätt mycket icke-parametriska test som Kruskal-Wallis etc.

Jobbigare är det med Fisher's exakta test i st för chi-2 men det ger ju exakt p-värde.



T

[Isidor]

Thomas_A,

Ändring: Jag förstår principen men sannolikheten kan ju räknas ut exakt också genom diskret fördelning. Dvs vad är sannolikheten att man ur 20 slummässigt utvalda grupper med 10 personer i varje att man får åtminstone en grupp med bara kvinnor eller bara män. (p=0.5 för kvinna och vi antar att populationen är så stor att vi inte behöver lägga tillbaka personen till populationen.)

Om jag inte missförstått något i din fråga så är det hela ganska enkelt. Uttrycket formuleras i diskussionens anda i termer av signifikanstest (byt ut alfa mot någonting i stil med px så har du den kombinatoriska formuleringen):

p = 1-(1-alfa)^r

där alfa i det här fallet är 2*(0.5)^10 och r är 20. Uttrycket kan härledas m.h.a. grundläggande kombinatorik för övrigt.

Sedan vill jag bara lägga till att även om det har varit mycket diskussion om signifikanstest (hur en viss nollhypotes står sig) så bör man känna till att ett konfidensintervall innehåller betydligt mer information - området inom vilket den okända parametern ligger med en viss säkerhet.

Power brukar i svensk litteratur kallas för styrka.

Är det någon som fått nog av statistikbludder ännu? Jag känner att jag börjar bli ganska trött själv. Statistik är något av ett nödvändigt ont om man frågar mig.

[Thomas_A]

Isidor,

jag var lite för snabb tidigare, men jag vill gärna separera diskret (binomial) och kontinuerlig (normal) fördelning.

T

[DQ-20]

Angående statistikdribblet tycket jag att det är betydligt begripligare att prata konfidensintervall än hypotes/noll-hypotes och signifikans. Har aldrig riktigt fattat vad finessen är med det.

AMEN.

Jag tror att anledning till att tråden fokuserar kring just signifikanstest är att de lyssningstest som refereras på forumet (KTH; LTS) inte försöker skatta någon parameter (i hur stor andel av alla försök att höra skillnad ger man rätt svar) utan bara om denna är skild från 0.5 (finns det någon hörbar skillnad?).

Svante: Jag har det lite körigt just nu men återkommer förhoppningsvis med lite tabelleringar av power vid olika effektnivåer och urvalstorlekar.

Thomas_A: Jag får som sagt huvudvärk av kombinatorik. Skillnaden mellan det värde som Isidor gav en formel till och en enkel summering av sannolikheter (20*2*0.5^10) är liten: 0=0.0383 mot 0.0391. För övrigt låter jag mitt statistikprogram ta hand om Fisher's exact test när så behövs.

/Dahlqvist

[Svante]

Jag tror att anledning till att tråden fokuserar kring just signifikanstest är att de lyssningstest som refereras på forumet (KTH; LTS) inte försöker skatta någon parameter (i hur stor andel av alla försök att höra skillnad ger man rätt svar) utan bara om denna är skild från 0.5 (finns det någon hörbar skillnad?).

Svante: Jag har det lite körigt just nu men återkommer förhoppningsvis med lite tabelleringar av power vid olika effektnivåer och urvalstorlekar.

/Dahlqvist

Nja, det jag tycker det är jobbigt nog att lyssna fram om nåt hörs, överhuvudtaget. Jag brukar storkna bara av det. Ingen panik med tabellerna, jag vet hur det är ibland, men det blir välkommet när det kommer (så välkommet som statistik nu kan vara... ).

[matså]

SUCK!

[Johan_Lindroos]

Mats, vilken dum kommentar. Lägg dig inte i saker som du inte har en aning om. Du förstör ju bara diskussionen.

Framför din egen åsikt istället för att sucka.

[Audiomanikern]

Hej!

Suck! Nej skojA*!

mats du är ju helt klart vettig i vanliga fall, suckar får man vara försiktig med, de
kan vara lite tjabbiga faktiskt.se!


Mvh A*(lltid lägga sig i... A*llt)

[matså]

Suck! Nej det är jag somnar av allt tekniksnack när det blir för mycet av den varan. Fy på er för nu nä'r jag sätter på en platta så far det upp en massa tekniksnack i mitt huvud. Jag villl njuta av musiken.

[matså]

Men till det där var allt kontigt kommer ifrån. Hm jag tror om allt konstigt inom hifi hade kostat under tusenlappen så hade det nog inte funnits en massa konstiga saker (tror jag) Varförf? jo därför då hade många fler kunnat testa. Som det är nu så många av de sakerna dyra. Jo man kan låna hem tror jag. Men i och med att det är så dyrt så struntar man i att låna hem o testa.

Det behöver ju inte vara bull allt ihopa. Man skall nog inte säga att nej förnuftet inom sig säger att det är bull. Det där sa dom även om påståendet att jorden är rund osv.

Lindroos, när blev du moderator? He he

[Audiomanikern]

Men till det där var allt kontigt kommer ifrån. Hm jag tror om allt konstigt inom hifi hade kostat
under tusenlappen så hade det nog inte funnits en massa konstiga saker (tror jag) Varför?
jo därför då hade många fler kunnat testa. Som det är nu så många av de sakerna dyra.
Jo man kan låna hem tror jag. Men i och med att det är så dyrt så struntar man i att låna hem o testa.

- Det ligger nog mkt i det! Tror (vet även) att det inte alltid är det enklaste att kunna låna
många utav dessa HifiProdukter o när vissa då hävdar att "det bara är o låna hem" så är ju
detta samma snubbar som igen o igen hävdat att vemsomhelst ifrån hifibutik också kan låna
hem cd, stärkare, högtaleri à 10,000-tals kr i ngn månad, inga problem! Bortsett ifrån att detta
ej är med sanningen överenstämmande (1st lögn? ) så (borde) det nog även falla på dess orimlighet(?).

Tror även att många dyra produkter snabbt skulle bli många billiga produkter om det nu
fungerade som uppgivet! (Massproduktion, konkurrens & Co brukar fixa sådant hyffsat väl)


Mvh A*

[Johan_Lindroos]

Mats, jag gillar inte din stil att diskutera.