Den stora tråden om STATISTIK

[IngOehman]

En klassiker, ja. Fast det var väl dörrar.


Vh, iö

[Almen]

En klassiker, ja. Fast det var väl dörrar.


Vh, iö

Ja, och två getter och en bil.

[IngOehman]

Fast skall man vara noga, och det skall vi väl här på faktiskt.se, så duger det inte att som du skrev
"ta bort ett av alternativen och fråga om man vill byta". Då ökar nämligen inte chansen av att byte
ett endaste någe.

Om målet var att peka ut den som är olika och testledaren däremot visar eller pekar ut ett av dem
som är lika efter att man valt, så förbättras oddsen om man byter till den andra. om det är ett slump-
spel vill säga. Den som hörde tydligt vilken som var annorlunda (och inte inbillade sig) förbättrar inte
några odds genom att byta i den situationen. Det måste vara ett slumpspel.


Vh, iö

[Almen]

Fast skall man vara noga, och det skall vi väl här på faktiskt.se, så duger det inte att som du skrev
"ta bort ett av alternativen och fråga om man vill byta". Då ökar nämligen inte chansen av att byte
ett endaste någe.

Om målet var att peka ut den som är olika och testledaren däremot visar eller pekar ut ett av dem
som är lika efter att man valt, så förbättras oddsen om man byter till den andra. om det är ett slump-
spel vill säga. Den som hörde tydligt vilken som var annorlunda (och inte inbillade sig) förbättrar inte
några odds genom att byta i den situationen. Det måste vara ett slumpspel.


Vh, iö

Jo, jag vet, tyckte bara att det var en lite rolig parallell. Och när ingen responderar på ens seriösa inlägg så får man väl skoja till det lite.

[IngOehman]

Ja, det får man.

Men man kan ju passa på att ha rätt samtidigt.


Vh, iö

[grafpro]

Tråd ur spår. Tänka sig. Verkligen ingen som kan besvara frågan?

[Almen]

Tråd ur spår. Tänka sig. Verkligen ingen som kan besvara frågan?

DQ-20 gjorde ett försök, men det såg du kanske inte: http://www.faktiskt.io/phpBB3/viewtopic.php?p=1657973#p1657973

Dessutom ställde jag en fråga till dig: http://www.faktiskt.io/phpBB3/viewtopic.php?p=1657113#p1657113

[grafpro]

Tråd ur spår. Tänka sig. Verkligen ingen som kan besvara frågan?

DQ-20 gjorde ett försök, men det såg du kanske inte: http://www.faktiskt.io/phpBB3/viewtopic.php?p=1657973#p1657973

Dessutom ställde jag en fråga till dig: http://www.faktiskt.io/phpBB3/viewtopic.php?p=1657113#p1657113

Ser faktiskt inget svar i något av dessa inlägg. Frågan löd:

För att nå 99% säkerhet i tester där testpersonen har två alternativ gäller först 9 lyssningar. Med 9 rätt är då saken klar. Med färre rätt fortsätter man. 12 rätt av 13 ger också 99%, liksom 14 rätt av 16 eller 17 rätt av 20.

Hur ser motsvarande serie ut i upplägg med tre alternativ?

[Almen]

---
Slumpresutatet är därmed 1/3 i stället för 1/2 - hur ska då en testserie för 99% konfidens se ut?

...OM det är en sannolikhet på 1/3 att svara rätt är det väl bara att multiplicera på tills man når under 0.01, dvs.i det här fallet 5 gånger.

[IngOehman]

Tråd ur spår. Tänka sig. Verkligen ingen som kan besvara frågan?

DQ-20 gjorde ett försök, men det såg du kanske inte: http://www.faktiskt.io/phpBB3/viewtopic.php?p=1657973#p1657973

Dessutom ställde jag en fråga till dig: http://www.faktiskt.io/phpBB3/viewtopic.php?p=1657113#p1657113

Ser faktiskt inget svar i något av dessa inlägg. Frågan löd:

För att nå 99% säkerhet i tester där testpersonen har två alternativ gäller först 9 lyssningar. Med 9 rätt är då saken klar. Med färre rätt fortsätter man. 12 rätt av 13 ger också 99%, liksom 14 rätt av 16 eller 17 rätt av 20.

Hur ser motsvarande serie ut i upplägg med tre alternativ?

Det går inte att svara om inte frågan är entydig. Det finns många saker som kan vara
variabler. En är om serien får förlängas om den som svarar inte når det statistiska målet
på den korta serien, en annan är om man accepterar om den som svarar får svara fel
varje gång istället för rätt varje gång. Det senare är inte aktuellt i tre-fallet dock, och
svaret på din fråga kan därför formuleras så här:

Om man skall upptäcka den som är annorlunda så räcker det med att klara det fem gånger
i rad för att det skall vara mindre än 1 chans på 100 att det är slumpen som är lyssnaren
till hjälp (>99% säkert), om lyssningen representerar en finit serie. Det hade nästan räckt
med bara fyra rätta svar i rad*.

Och nu tycker jag du skall svara på Almens fråga.


Vh, iö

- - - - -

*Det ger 1,2345678901234... chanser på hundra att slumpen svarat rätt åt en döv lyssnare.

[LasseA]

Nu en konkret fråga som det alldeles säkert finns ett konkret svar på.
---
Möjligen är jag den siste i världen att inse att ett annat upplägg finns (jag såg det i ett nyhetsinslag om forskning på människors förmåga att känna skillnad på dofter): Lyssnaren får tre alternativ att välja på, där två i själva verket är detsamma. Frågan som ställs är "Vilken är annorlunda?".

Vad skulle förbättras i detektionsavseende menade man i programmet i fråga?

Nu har jag inte sett just det programmet men triangle tests används en del när det gäller smaker så vitt jag förstår det.

http://en.wikipedia.org/wiki/Discrimina ... g#Triangle

[Almen]

Nu en konkret fråga som det alldeles säkert finns ett konkret svar på.
---
Möjligen är jag den siste i världen att inse att ett annat upplägg finns (jag såg det i ett nyhetsinslag om forskning på människors förmåga att känna skillnad på dofter): Lyssnaren får tre alternativ att välja på, där två i själva verket är detsamma. Frågan som ställs är "Vilken är annorlunda?".

Vad skulle förbättras i detektionsavseende menade man i programmet i fråga?

Nu har jag inte sett just det programmet men triangle tests används en del när det gäller smaker så vitt jag förstår det.

http://en.wikipedia.org/wiki/Discrimina ... g#Triangle

Tack, LasseA!

[petersteindl]

Verkar vare en jättebra Wiki-sida. Jag gillar att de använder rätt namn i sammanhanget. Det har ju tidigarte diskuterats på faktiskt.

Mvh
Peter

[grafpro]

Nu en konkret fråga som det alldeles säkert finns ett konkret svar på.
---
Möjligen är jag den siste i världen att inse att ett annat upplägg finns (jag såg det i ett nyhetsinslag om forskning på människors förmåga att känna skillnad på dofter): Lyssnaren får tre alternativ att välja på, där två i själva verket är detsamma. Frågan som ställs är "Vilken är annorlunda?".

Vad skulle förbättras i detektionsavseende menade man i programmet i fråga?

Ingen aning. Det var var ett kort nyhetsinslag om näsans förmåga, inte ett program. Sådana aspekter var nog långt utanför inslagets ambitionsnivå.

Men nu har vi ändå två små framsteg. Artikeln på wikipedia ger två namn åt metoden - "triangle" eller "XXY". Gott så, men inget svar på frågan alls.

Därtill en beräkning av sannolikheten att få alla rätt i en serie. Så långt är det hyggligt enkelt att beräkna. (1/3)^4 ger 1/81, vilket är 0,0123456. Alltså 98,7654% sannolikhet att det inte skedde av en slump vid fyra rätt av fyra. (Fem rätt av fem ger 99,588% säkerhet, för den klentrogne.) Det är ju mycket trevligt. Jämfört med AB eller FE eller ABX behöver man alltså bara köra fyra lyssningar istället för nio för att nå så långt.

Om vi nöjer oss med den nivån, hur ser då den fortsatta serien ut? Alltså för den som har tre rätt av fyra och vill fortsätta, etc. Det är fortfarande själva frågan.

[Almen]

Jämfört med AB eller FE eller ABX behöver man alltså bara köra fyra lyssningar istället för nio för att nå så långt.

Nja, fem i stället för sju, blir det väl för 99% enkelsidigt? Och dessutom får du fler jämförelser att göra eftersom du har tre alternativ i stället för två.

[Svante]

Nu en konkret fråga som det alldeles säkert finns ett konkret svar på.
---
Möjligen är jag den siste i världen att inse att ett annat upplägg finns (jag såg det i ett nyhetsinslag om forskning på människors förmåga att känna skillnad på dofter): Lyssnaren får tre alternativ att välja på, där två i själva verket är detsamma. Frågan som ställs är "Vilken är annorlunda?".

Vad skulle förbättras i detektionsavseende menade man i programmet i fråga?

Ingen aning. Det var var ett kort nyhetsinslag om näsans förmåga, inte ett program. Sådana aspekter var nog långt utanför inslagets ambitionsnivå.

Men nu har vi ändå två små framsteg. Artikeln på wikipedia ger två namn åt metoden - "triangle" eller "XXY". Gott så, men inget svar på frågan alls.

Därtill en beräkning av sannolikheten att få alla rätt i en serie. Så långt är det hyggligt enkelt att beräkna. (1/3)^4 ger 1/81, vilket är 0,0123456. Alltså 98,7654% sannolikhet att det inte skedde av en slump vid fyra rätt av fyra. (Fem rätt av fem ger 99,588% säkerhet, för den klentrogne.) Det är ju mycket trevligt. Jämfört med AB eller FE eller ABX behöver man alltså bara köra fyra lyssningar istället för nio för att nå så långt.

Om vi nöjer oss med den nivån, hur ser då den fortsatta serien ut? Alltså för den som har tre rätt av fyra och vill fortsätta, etc. Det är fortfarande själva frågan.

Det verkar nog trevligare än det är. Det är, skulle jag tro ett svårare test att plocka vilken av tre som är annorlunda än att peka ut samma av två. Jag skulle gissa att varje lyssning både tar längre tid och är svårare. Eller åtminstone det första. Och tar varje lyssning längre tid så hinner man inte med lika många. Hur man än vänder sig har man ändan bak.

Den fortsatta serien kan se ut lite hursomhelst, precis som i fallet med tvåval. Jag har ju tjatat om det förut, att man behöver bestämma sig i förväg om man ska veta hur stor felrisk ett test ger. Men om man i förväg bestämmer sig för en försöksdesign så kan man räkna ut hur stor felrisken är för försöket sett som helhet. Tex så ger 9-13-16-20 c:a en procents felrisk (dubbelsidigt). Motsvarande siffra finns för vilken design du än väljer för trevalstestet. Jag har ingen simulator för det dock så jag kan inte räkna ut det nu.

Men man kan som sagt inte tala om hur "serien ser ut". Det finns många försöksdesigner som ger 1% felrisk, det finns alltså inte bara en "serie".

(Dög det, DQ?)

[Svante]

En fördel med trevalsmetoden är dock att det inte är meningsfullt att göra en dubbelsidig design. Det finns inte mycket skäl att godta att man svarar fel konsekvent, bla eftersom det ger betydligt längre serier. (2/3)^12=0,0077, dvs det behövs 12 lyssningar om man bara godtar alla fel.

Man kan därför jämföra 5 lyssningar enkelsidigt med trevalsmetoden med 8 lyssningar dubbelsidigt med tvåvalsmetoden, båda ger <1% felrisk.

[Almen]

Man kan därför jämföra 5 lyssningar enkelsidigt med trevalsmetoden med 8 lyssningar dubbelsidigt med tvåvalsmetoden, båda ger <1% felrisk.

Och eftersom varje lyssning i trevalsmetoden egentligen är (minst) tre, och varje lyssning i tvåvalsmetoden är (minst) två, så har man att ställa 5*3 emot 8*2, d.v.s. 15 jämfört med 16.

[Svante]

Man kan därför jämföra 5 lyssningar enkelsidigt med trevalsmetoden med 8 lyssningar dubbelsidigt med tvåvalsmetoden, båda ger <1% felrisk.

Och eftersom varje lyssning i trevalsmetoden egentligen är (minst) tre, och varje lyssning i tvåvalsmetoden är (minst) två, så har man att ställa 5*3 emot 8*2, d.v.s. 15 jämfört med 16.

Ja, och att jämföra tre med varandra känns dessutom klurigare än att jämföra två med varandra. Mentalt blir det tre jämförelser, svårare att hålla reda på i huvudet vilken man lyssnar på, det borde ta minst dubbelt så lång tid att komma fram till ett vettigt svar.

Besläktat med trevalsidén är annars ABX-test. Jag gillar inte den heller.

[DQ-20]

Tråd ur spår. Tänka sig. Verkligen ingen som kan besvara frågan?

Det här är inte din tråd. Det är vår, eller kanske till och med min. Vill du beklaga dig över OT i vanlig ordning så går det utmärkt att starta egna trådar.

Vad gäller "frågan" så besvarades den av mig så långt det går att göra med en miniräknare. När Svante räknade ut sina exempel för längre serier med två svarsalternativ löste han det numeriskt, vilket nog är att rekommendera. En analytisk lösning är möjlig men tar mycket tid och det är lätt att göra fel.

Alltså 98,7654% sannolikhet att det inte skedde av en slump vid fyra rätt av fyra.

Nej, det är 1,23% sannolikhet att resultatet kommer fram när ingen skillnad föreligger (av en slump alltså). Det kan verka som en subtil skillnad men den är faktiskt enorm. 1-p är omvänd sannolikhet och det ska man passa sig för som ögat. Det statistiska testet gäller endast för hypotesen som är kopplad till p-värdet.

Om vi nöjer oss med den nivån, hur ser då den fortsatta serien ut? Alltså för den som har tre rätt av fyra och vill fortsätta, etc. Det är fortfarande själva frågan.

Jag kan tyvärr inte hjälpa till - det kräver för mycket jobb (för mig). Någon som är aktiv matematiker/ingenjör har säkert lättare. Ett fulhack i Python kanske...

/DQ-20

[DQ-20]

(Dög det, DQ?)

Ja. Du har härmed benäget tillstånd att fortsätta skriva i den här tråden.

Och det är precis som du säger. Vill man ha ett entydigt p-värde associerat med en viss serie måste man räkna ut stopp-villkor. I praktiken förslår jag att man gör som du gjort, nämligen bestämmer sig för hur lång den längsta serien får vara och räknar ut de punkter i serien där man kan stanna när man har nått ett tillräckligt högt p-värdet, GIVET den maximala längden på serien. Det är alltså stopp-villkor man räknar ut, inte "fortsättningsvillkor".

/DQ-20

[Svante]

Tack, det känns skönt att läsa.

[Almen]

... de punkter i serien där man kan stanna när man har nått ett tillräckligt högt p-värdet

Tillräckligt högt?

[Svante]

... de punkter i serien där man kan stanna när man har nått ett tillräckligt högt p-värdet

Tillräckligt högt?

Han menar nog när konfidensen är tillräckligt hög...

[Almen]

... de punkter i serien där man kan stanna när man har nått ett tillräckligt högt p-värdet

Tillräckligt högt?

Han menar nog när konfidensen är tillräckligt hög...

Precis, det är ju lätt att tänka konfidens när man inte är så insatt.

[DQ-20]

Såhär kanske det borde sett ut:

(Dög det, DQ?)

Ja. Du har härmed benäget tillstånd att fortsätta skriva i den här tråden.

Och det är precis som du säger. Vill man ha ett entydigt p-värde associerat med en viss serie måste man räkna ut stopp-villkor. I praktiken förslår jag att man gör som du gjort, nämligen bestämmer sig för hur lång den längsta serien får vara och räknar ut de punkter i serien där man kan stanna när man har nått ett tillräckligt lågt p-värde (dvs. tillräckligt hög statistisk signifikans), GIVET den maximala längden på serien. Det är alltså stopp-villkor man räknar ut, inte "fortsättningsvillkor".

/DQ-20

Jag bjuder!

/DQ-20

PS. Signifikansen visar ju bara hur (o)sannolik noll-hypotesen är, inte hur sannolik den alternativa hypotesen är. Ett resultat med hög statistisk signifikans är ett resultat med hög osannolikhet, givet nollhypotesens utformning.

[DQ-20]

Precis, det är ju lätt att tänka konfidens när man inte är så insatt.

Du, den där smileyn, var inte den lite väl ironisk? Halvvägs mellan frontalangreppet <ingen smiley> och .

Men som sagt: jag bjuder.

/DQ-20

[Almen]

Precis, det är ju lätt att tänka konfidens när man inte är så insatt.

Du, den där smileyn, var inte den lite väl ironisk? Halvvägs mellan frontalangreppet <ingen smiley> och .

Men som sagt: jag bjuder.

/DQ-20

Tack! Jag var på väg att köra utan, men kände mig lite glad.

[IngOehman]

Man kan därför jämföra 5 lyssningar enkelsidigt med trevalsmetoden med 8 lyssningar dubbelsidigt med tvåvalsmetoden, båda ger <1% felrisk.

Och eftersom varje lyssning i trevalsmetoden egentligen är (minst) tre, och varje lyssning i tvåvalsmetoden är (minst) två, så har man att ställa 5*3 emot 8*2, d.v.s. 15 jämfört med 16.

Ja, och att jämföra tre med varandra känns dessutom klurigare än att jämföra två med varandra. Mentalt blir det tre jämförelser, svårare att hålla reda på i huvudet vilken man lyssnar på, det borde ta minst dubbelt så lång tid att komma fram till ett vettigt svar.

Besläktat med trevalsidén är annars ABX-test. Jag gillar inte den heller.

Håller med om allt det där.

In i minsta detalj faktiskt.

- - -

Men - vad som är passande metod beror ju även på vad det är man undersöker, och därmed vilken frågan som
ställs och söks svar på är.

Om frågan är "är dessa samma?", så får man en sorts svar. Om den som får frågan svarar ja varje gång så är
det en indikation på att de låter rimligt lika, med just det använda programmaterialet, och samma sak gäller
om man i en triangellyssning inte lyckas säga vilken som skiljer sig, men det betyder inte ens nästan att det
som testats är två bra mojänger eller dimensioneringar eller vad det nu är man testar.

Det kan vara två som är dåliga, rejält dåliga till och med, men rätt så lika dåliga.

- - -

Om en är en referens för hur den andra skall vara (av något skäl, t ex att man vet att man redan gillar den)
är det frestande att studera kvaliteten genom att ställa "vilken gillar du bäst?", och även om svaret faller på
den ena varje gång så betyder det inte att det är den bättre återgivningen, det kan ju vara den som:

1. Passar bäst ihop med de kombinerade felen som resten av anläggning + inspelningen har,

vilket om inspelningen är perfekt kan betyda;

1b. Passar bäst ihop med de fel som resten av anläggningen har,

eller om anläggningen är perfekt;

1c. Passar bäst ihop med de fel som inspelningen har,

eller det kan rent av handla om vilken som,

2. Passar bäst ihop med lyssnarens smak, vilket även kan skrivas; den som subjektivt föredras.

Hur det än faller ut om det faller ut enligt någon av de ovanstående, så kan man inte veta om kan får sam-
ma utfall med annan inspelning eller med annat programmaterial. Ej heller om någon av apparaterna eller
vad det nu är som har undersökts, kanske hur något har dimensionerats, presterar i mera objektiva termer.
Alltså om det som kommer ut är ursprungstroget.

- - -

Där kommer F/E-lyssningen in!

Om frågan däremot (som den kan vara i en F/E-lyssning) är "vilket av alternativen är E?" så VET lyssnaren
att man jämför före och efter, och målet är bara att bestämma vilket man tror har passerat testobjektet.

Är färgningen från testobjektet rimligt hörbar (och man får öva lite) så är det vanligt att man kan pricka
in när signalen passerat testobjektet, varje gång. Färgningen påverkar ju signalen på samma sätt i princip
oavsett programmaterial. Det är en av styrkorna med F/E-lyssning: Varken programmaterial eller kringut-
rustning behöver det ställas extrema krav på (dock rimliga) för att man skall kunna undersöka testobjektets
egenskaper. Både bör vara rimligt bredbandiga och välbetedda, men hur de samverkar eller motverkar de
eventuella felen hos testobjektet är av ringa betydelse - skillnaden mellan E och F består.

Även om man gissar fel varje gång (kanske för att man föredrar E-ljudet) så visar det ändå skiljbarhet, och
då F alltid är referens så har en serie av idel felgissningar samma värde som en med idel rättgissningar. Båda
visar (med samma emfas) att apparaten färgar hörbart.

Så även om jag inte är en fan av varken ABX-tester eller triangeltester så är huvudskälet att de sällan gör
det man vill göra - om man vill undersöka ett färgande objekts absoluta egenskaper. Alltså få svar på HUR
det påverkar musiksignalen, snarare än hur man gillar denna påverkan i det ena eller andra sammanhanget.

Att de utöver det på statistiska grunder kan beskyllas för att inte spara något egentlig testansträngning är ju
möjligen generande för dem, men det är alltså inte mitt huvudskäl till att föredra en vanlig tvåvalssituation.

De andra testmetoderna fokuserar inte på att beskriva själva egenskaperna hos testobjektet, och det är ju
ofta det man (i varje fall jag) vill göra när jag studerar ett testobjekt.


Gissar man slumpmässigt rätt/fel mellan F och E i en F/E-lyssning så betyder det endera att man:

1. Inte klara att höra någon skillnad mellan F och E, vilket betyder att det färgar så lite att det blivit svårt
att höra dess påverkan.

eller att man,

2. Har för dåligt minne för att minnas hur testobjektet påverkade Har man så dåligt minne så hjälper det
ju inte att man hör en skillnad för att veta vilken som troligen är E. Men då skall man kanske heller inte vara
lyssnare i en F/E-lyssning.

Dock är det faktiskt vanligare än man tror att själva blindheten påverkar lyssnarna så mycket att de, trots att
de lyssnat in sig öppet och vet hur testobjektet påverkar (och projicerar denna färgning som något negativt)
omvärderar färgningen för att de gillar den, och gissar konsekvent fel blindt!

Det gör som sagt inget, för det är ett konsekvent svarande som ger statistiskt växande skäl att tro att en skill-
nad (påverkan) finns.


Vh, iö

[DQ-20]

Tack för det inlägget IÖ. Det handlar ju om det som kallas metod, och det är så mycket mer än statistik. Man får inte bättre svar än data medger. Man kan dribbla hur mycket man vill med matematiken men om man inte har god validitet i metoden (mäter det man egentligen vill mäta) blir statistiken meningslös. Och det är här praktisk kunskap från det specifika området måste till - de räcker inte med generell kunskap om testmetoder, även om det ju inte är något hinder.

/DQ-20