ska göra bra kabeltest

[Svante]

För även om det är 50% sannolikhet att det skall blir en röd efter att
det blivit 9 röda i rad, så är det ju ytterst osannolikt att det skall bli
10 röda i rad, med start nu. Mindre än en på 1000...

Likafullt brukar folk förstå att det är 1/6 chans att få yatzy när de har slagit 4 sexor och har ett slag kvar.

Det är lustigt det där med intuition och statistik.

[Svante]

Hur kan ni vara så ovilliga till att försöka se ur varandras betraktningsvinkel?

Konfidensen kan vara under 0,5, men det är inte en vettig testuppställning.

Jag skulle säga att en design med konfidens under 95% är en dålig design. Det är inte alls det jag pratar om, om testet är bra eller inte, det är ju precis det som konfidensen talar om. Det är ju självklart att ett test med <50% konfidens är dåligt. Det jag försöker visa är det galna i Ingvars påstående att konfidensen inte kan bli lägre än 50 %.

Det är inte viktigt praktiskt eftersom tester med konfidens med under kanske 90% konfidens är helt ointressanta, men det visar på en märklig förståelselucka han har om vad konfidens egentligen är.

Och eftersom han har varit på mig upprepade gånger och sagt hur dum jag är som påstår att konfidensen kan bli under 50% och dessutom nu påstod att han inte har haft fel om något statistiskt så gjorde jag exemplet för att visa motsatsen.

[zartok]

Nu har det rasslat till här. Så... Hur ska vi mäta för att få rätt svar? 9/9, 12/13 och 14/16 lät rätt att räkna på tyckte jag. Stämmer det inte nu?

[Svante]

Nu har det rasslat till här. Så... Hur ska vi mäta för att få rätt svar? 9/9, 12/13 och 14/16 lät rätt att räkna på tyckte jag. Stämmer det inte nu?

Det stämmer fortfarande, det tycker nog Ingvar också. Vi bara gnabbas om definitionen på konfidens.

[aisopos]

Jag skulle bestämma mig för försöksdesignen 9-13-16 dvs lyssna tills man har fått
-9 rätt (eller fel) av 9,
-12 av 13,
-14 av 16 eller
-minst tre fel och minst tre rätt.

Lyckas ni med någon av de tre första har ni med 99% konfidens lyckats visa att ni kan detektera en skillnad. Med sista alternativet har ni misslyckats med att visa det.

Finns det någon tråd där tänket bakom detta är beskrivet.

Eller går det att på ett väldigt kortfattat sätt beskriva lite ramverket runt tänket.
Jag kan i alla fall lite statistik, och har i alla fall 4 poäng matematisk statistik på
högskolenivå i bagaget, så det behöver förhoppningsvis inte bli detaljbeskrivet.

[Svante]

Jag skulle bestämma mig för försöksdesignen 9-13-16 dvs lyssna tills man har fått
-9 rätt (eller fel) av 9,
-12 av 13,
-14 av 16 eller
-minst tre fel och minst tre rätt.

Lyckas ni med någon av de tre första har ni med 99% konfidens lyckats visa att ni kan detektera en skillnad. Med sista alternativet har ni misslyckats med att visa det.

Finns det någon tråd där tänket bakom detta är beskrivet.

Eller går det att på ett väldigt kortfattat sätt beskriva lite ramverket runt tänket.
Jag kan i alla fall lite statistik, och har i alla fall 4 poäng matematisk statistik på
högskolenivå i bagaget, så det behöver förhoppningsvis inte bli detaljbeskrivet.

Det finns beskrivet i em molt. Jag sitter med mobil nu så jag kan inte skriva så långt. Återkommer

[zartok]

Jag har 22.5 hp statestik i ryggen
dock så tänkte jag som sagt använda mig av den här lättare saken istället för att räkna på t-värden och såna saker

[phon]

Jag skulle bestämma mig för försöksdesignen 9-13-16 dvs lyssna tills man har fått
-9 rätt (eller fel) av 9,
-12 av 13,
-14 av 16 eller
-minst tre fel och minst tre rätt.

Lyckas ni med någon av de tre första har ni med 99% konfidens lyckats visa att ni kan detektera en skillnad. Med sista alternativet har ni misslyckats med att visa det.

... tills man fått ... ?


Hur skall mannen som sitter bakom förstärkaren och byter kablar veta om någon av fem-tio lyssnare har fått 9 rätt av 9 nånstans?
Eller vem som nu är testledare.

Med föreslagen design är det väl bara att köra på upp till 16 svar oavsett rätt eller fel, och utvärdera efteråt?
Samla in alla papperslappar med svar när det är färdiglyssnat och titta efter hur resultat och facit ser ut?

[aisopos]

...
... tills man fått ... ?


Hur skall mannen som sitter bakom förstärkaren och byter kablar veta om någon av fem-tio lyssnare har fått 9 rätt av 9 nånstans?
Eller vem som nu är testledare.

Sant. Ett hot mot blindheten i testet, iaf dubbelblindheten.

[sebatlh]

Jag skulle bestämma mig för försöksdesignen 9-13-16 dvs lyssna tills man har fått
-9 rätt (eller fel) av 9,
-12 av 13,
-14 av 16 eller
-minst tre fel och minst tre rätt.

Lyckas ni med någon av de tre första har ni med 99% konfidens lyckats visa att ni kan detektera en skillnad. Med sista alternativet har ni misslyckats med att visa det.

Finns det någon tråd där tänket bakom detta är beskrivet.

Eller går det att på ett väldigt kortfattat sätt beskriva lite ramverket runt tänket.
Jag kan i alla fall lite statistik, och har i alla fall 4 poäng matematisk statistik på
högskolenivå i bagaget, så det behöver förhoppningsvis inte bli detaljbeskrivet.

Är det inte bara en fråga om "simpel" kombinatorik?

Man ansätter att 20 lyssningar kommer att göras.
Hur många av dessa startar med 9 rätt jämfört med totala antalet utfall på 20 lyssningar.
Motsvarande för 12 rätt på de 13 första, etc.
Men, man måste ta in att 9/9 inte hade gett fler lysningar. Så en 12/13 rad har ett fel inom de 8 första lysningarna.

Sen i slutändan får man addera alla utfall man hade godkänt och det är den summan som avgör "konfidensen".

Typ. (Eller? )

[aisopos]

2^-9 = 0,001953125

= 99,8% konfidens?

Jag känner mig faktiskt lite rostig ...
Dags att fundera lite på sånt här nu, så man inte glömmer det såpass att det aldrig
kan hittas igen ...


TS, du får styra upp trådens utveckling, om du tycker att vi driver iväg!
Vi kan ju att starta en egen tråd om detta ifall du inte tycker det hör hemma här.

[WhereNextColumbus]

Kan inte mycket om statistik, men tycker intuitivt att det är märkligt att det bråkas så mycket om småsaker i konfidens när testunderlaget är så pass litet att det iaf knappast kan vara ett vettigt underlag?

[tvett]

True true.
Men somliga kan hävda att skillnad kunde detekteras om en blind höna hittar en kabel, en gång.

edit: jag var blind och stavade fel.

[Almen]

Kan inte mycket om statistik, men tycker intuitivt att det är märkligt att det bråkas så mycket om småsaker i konfidens när testunderlaget är så pass litet att det iaf knappast kan vara ett vettigt underlag?

Statistik är inte intuitivt. Men alltså, vad menar du med "knappast ett vettigt underlag"?

[Harryup]

True true.
Men somliga kan hävda att skillnad kunde detekteras om en bild höna hittar en kabel, en gång.

bild?

Du menar bildad?

mvh/Harryup

[Svante]

Jag skulle bestämma mig för försöksdesignen 9-13-16 dvs lyssna tills man har fått
-9 rätt (eller fel) av 9,
-12 av 13,
-14 av 16 eller
-minst tre fel och minst tre rätt.

Lyckas ni med någon av de tre första har ni med 99% konfidens lyckats visa att ni kan detektera en skillnad. Med sista alternativet har ni misslyckats med att visa det.

... tills man fått ... ?


Hur skall mannen som sitter bakom förstärkaren och byter kablar veta om någon av fem-tio lyssnare har fått 9 rätt av 9 nånstans?
Eller vem som nu är testledare.

Med föreslagen design är det väl bara att köra på upp till 16 svar oavsett rätt eller fel, och utvärdera efteråt?
Samla in alla papperslappar med svar när det är färdiglyssnat och titta efter hur resultat och facit ser ut?

Mja, man får se till att bytaren också håller koll på om svaren är riktiga eller felaktiga och bryter testet när något av kriteriena har uppnåtts.

Fördelen med detta sätt är att man inte tröttar ut lyssnaren så mycket, nackdelen är att det är mycket svårare att räkna ut konfidensen (jag blev tvungen att simulera), men å andra sidan är det redan gjort, så det blir ändå plättlätt.

[tvett]

bild?

Du menar bildad?

Tack, såg inte felet, jag var blind. Eller inte bildad nog.
Bildad var nästan roligare i kontexten, men motsatsen till det jag menade.

[tvett]

Om det inte finns så mycket prestige måste det väl räcka om testpersonerna skriver ner sitt svar och sedan får läsa upp det direkt?

[Almen]

True true.
Men somliga kan hävda att skillnad kunde detekteras om en bild höna hittar en kabel, en gång.

bild?

Du menar bildad?

mvh/Harryup

Nej, "blid" skulle det nog vara.

[Svante]

Jag skulle bestämma mig för försöksdesignen 9-13-16 dvs lyssna tills man har fått
-9 rätt (eller fel) av 9,
-12 av 13,
-14 av 16 eller
-minst tre fel och minst tre rätt.

Lyckas ni med någon av de tre första har ni med 99% konfidens lyckats visa att ni kan detektera en skillnad. Med sista alternativet har ni misslyckats med att visa det.

Finns det någon tråd där tänket bakom detta är beskrivet.

Eller går det att på ett väldigt kortfattat sätt beskriva lite ramverket runt tänket.
Jag kan i alla fall lite statistik, och har i alla fall 4 poäng matematisk statistik på
högskolenivå i bagaget, så det behöver förhoppningsvis inte bli detaljbeskrivet.

Är det inte bara en fråga om "simpel" kombinatorik?

Man ansätter att 20 lyssningar kommer att göras.
Hur många av dessa startar med 9 rätt jämfört med totala antalet utfall på 20 lyssningar.
Motsvarande för 12 rätt på de 13 första, etc.
Men, man måste ta in att 9/9 inte hade gett fler lysningar. Så en 12/13 rad har ett fel inom de 8 första lysningarna.

Sen i slutändan får man addera alla utfall man hade godkänt och det är den summan som avgör "konfidensen".

Typ. (Eller? )

Mja, simpel, jo, i princip kanske. Jag har funderat mycket på det där och bästa sättet att se på det är ungefär så här. Konfidensen ges av antalet svarssekvenser man förkastar delat med totala antalet svarssekvenser. Med försöksdesignen 9-13-16 kan man se det som ett 16-lyssningsförsök med totalt 2^16 möjliga svarssekvenser. Av dessa godtar man:

-alla kombinationer som BÖRJAR med 9 rätt eller 9 fel.
-alla kombinationer som har exakt ett fel eller exakt ett rätt på de 13 första.
-alla kombinationer som har exakt två fel eller exakt två rätt bland de 16 svaren.

Det blir ett ganska svårhanterat överlapp mellan de tre grupperna, det går att lösa, men jag gjorde i stället ett program som simulerar slumpsekvenser och som räknar andel av dem som uppfyller kriterierna. Med en miljon "lyssningar" så kommer man rätt nära rätt svar, och så går man säker för tankefel i kombinatoriken.

Det är MYCKET lätt att tänka fel, har jag märkt på de diskussioner jag har haft om detta, och simuleringarna har blivit min stabila grund att stå på, som talar om för mig när andra eller jag själv tänker fel.

[Svante]

2^-9 = 0,001953125

= 99,8% konfidens?

Jag känner mig faktiskt lite rostig ...
Dags att fundera lite på sånt här nu, så man inte glömmer det såpass att det aldrig
kan hittas igen ...


TS, du får styra upp trådens utveckling, om du tycker att vi driver iväg!
Vi kan ju att starta en egen tråd om detta ifall du inte tycker det hör hemma här.

Ja, det du har räknat ut är konfidensen för ett test där du från början har bestämt dig för att lyssna exakt 9 gånger och bara godta alla rätt som bevis för att det finns en hörbar skillnad.

Det är när man vill tillåta vidare lyssning, och även tillåta 9 felsvar som tecken på hörbar skillnad etc som det blir mer komplicerat.

[Svante]

Kan inte mycket om statistik, men tycker intuitivt att det är märkligt att det bråkas så mycket om småsaker i konfidens när testunderlaget är så pass litet att det iaf knappast kan vara ett vettigt underlag?

Ett bra test är ju ett sådant som med minsta möjliga ansträngning ger största möjliga konfidens. Då får man nämligen så skärpta lyssnare som möjligt, och därför är det värt att slipa på statistiken en del.

Sen har Ingvar och jag märkligt svårt att bli överens, men det är ju en annan sak.

[WhereNextColumbus]

Kan inte mycket om statistik, men tycker intuitivt att det är märkligt att det bråkas så mycket om småsaker i konfidens när testunderlaget är så pass litet att det iaf knappast kan vara ett vettigt underlag?

Statistik är inte intuitivt. Men alltså, vad menar du med "knappast ett vettigt underlag"?

Nej, jag vet att statistik inte är intuitivt, jag läser just nu Tänka snabbt och långsamt:)
Det jag tänker på är att testet utförs på en för liten grupp.

[Svante]

Nej, jag vet att statistik inte är intuitivt, jag läser just nu Tänka snabbt och långsamt:)
Det jag tänker på är att testet utförs på en för liten grupp.

Det beror på vad frågan är. Är den "Kan någon höra skillnad" och man lyckas besvara den med "ja" så räcker det ju att ha haft en enda person. Ett "icke-ja" blir dock mer värt om man har haft 100 personer i testet.

[aisopos]

Nej, jag vet att statistik inte är intuitivt, jag läser just nu Tänka snabbt och långsamt:)
Det jag tänker på är att testet utförs på en för liten grupp.

Det beror på vad frågan är. Är den "Kan någon höra skillnad" och man lyckas besvara den med "ja" så räcker det ju att ha haft en enda person. Ett "icke-ja" blir dock mer värt om man har haft 100 personer i testet.

Och ställer man frågan "Finns det någon på jorden som kan höra skillnad" så behöver man
inte testa all jordens befolkning om man använder sig av statistik samt ansätter
en viss önskad konfidens.
Men väldigt väldigt många blir man ju tvungen att testa, och helt säker är man ju inte heller
efteråt, utan bara så säker som den konfidens man valt.

[Svante]

Men väldigt väldigt många blir man ju tvungen att testa, och helt säker är man ju inte heller efteråt, utan bara så säker som den konfidens man valt.

Om man lyckas hitta en person som med 99% konfidens lyckas med testet så räcker det ju med denna enda person.

Det är först om man INTE lyckas hitta någon person som man måste ha testat väldigt många för att testet ska vara värt något. Och hur många är det svårt att säga.

[aisopos]

Ja just så.
Nu hade jag alltså lite otur igen, när jag tänkte ...

[sebatlh]

Jag skulle bestämma mig för försöksdesignen 9-13-16 dvs lyssna tills man har fått
-9 rätt (eller fel) av 9,
-12 av 13,
-14 av 16 eller
-minst tre fel och minst tre rätt.

Lyckas ni med någon av de tre första har ni med 99% konfidens lyckats visa att ni kan detektera en skillnad. Med sista alternativet har ni misslyckats med att visa det.

Finns det någon tråd där tänket bakom detta är beskrivet.

Eller går det att på ett väldigt kortfattat sätt beskriva lite ramverket runt tänket.
Jag kan i alla fall lite statistik, och har i alla fall 4 poäng matematisk statistik på
högskolenivå i bagaget, så det behöver förhoppningsvis inte bli detaljbeskrivet.

Är det inte bara en fråga om "simpel" kombinatorik?

Man ansätter att 20 lyssningar kommer att göras.
Hur många av dessa startar med 9 rätt jämfört med totala antalet utfall på 20 lyssningar.
Motsvarande för 12 rätt på de 13 första, etc.
Men, man måste ta in att 9/9 inte hade gett fler lysningar. Så en 12/13 rad har ett fel inom de 8 första lysningarna.

Sen i slutändan får man addera alla utfall man hade godkänt och det är den summan som avgör "konfidensen".

Typ. (Eller? )

Mja, simpel, jo, i princip kanske. Jag har funderat mycket på det där och bästa sättet att se på det är ungefär så här. Konfidensen ges av antalet svarssekvenser man förkastar delat med totala antalet svarssekvenser. Med försöksdesignen 9-13-16 kan man se det som ett 16-lyssningsförsök med totalt 2^16 möjliga svarssekvenser. Av dessa godtar man:

-alla kombinationer som BÖRJAR med 9 rätt eller 9 fel.
-alla kombinationer som har exakt ett fel eller exakt ett rätt på de 13 första.
-alla kombinationer som har exakt två fel eller exakt två rätt bland de 16 svaren.

Det blir ett ganska svårhanterat överlapp mellan de tre grupperna, det går att lösa, men jag gjorde i stället ett program som simulerar slumpsekvenser och som räknar andel av dem som uppfyller kriterierna. Med en miljon "lyssningar" så kommer man rätt nära rätt svar, och så går man säker för tankefel i kombinatoriken.

Det är MYCKET lätt att tänka fel, har jag märkt på de diskussioner jag har haft om detta, och simuleringarna har blivit min stabila grund att stå på, som talar om för mig när andra eller jag själv tänker fel.

Ja precis. Simpel inom citationstecken
Bra uppspaltat. Precis det som jag _försökte_ säga.
Siffran 20 vettifan vart jag fick ifrån…

[WhereNextColumbus]

Nej, jag vet att statistik inte är intuitivt, jag läser just nu Tänka snabbt och långsamt:)
Det jag tänker på är att testet utförs på en för liten grupp.

Det beror på vad frågan är. Är den "Kan någon höra skillnad" och man lyckas besvara den med "ja" så räcker det ju att ha haft en enda person. Ett "icke-ja" blir dock mer värt om man har haft 100 personer i testet.

Om någon enda kan känns hyfsat oväsentligt, jag jobbar med en kille som kan identifiera nyckelknippors skrammel. Imponerande, men säger mycket lite om hur det ser ut i allmänhet. Men visst, om syftet bara är att luska fram om någon i vänkretsen kan höra kabel så...

Oavsett så är det en kul grej, hoppas att ni har roligt när ni gör det ni som ska.

[Svante]

Nej, jag vet att statistik inte är intuitivt, jag läser just nu Tänka snabbt och långsamt:)
Det jag tänker på är att testet utförs på en för liten grupp.

Det beror på vad frågan är. Är den "Kan någon höra skillnad" och man lyckas besvara den med "ja" så räcker det ju att ha haft en enda person. Ett "icke-ja" blir dock mer värt om man har haft 100 personer i testet.

Om någon enda kan känns hyfsat oväsentligt, jag jobbar med en kille som kan identifiera nyckelknippors skrammel. Imponerande, men säger mycket lite om hur det ser ut i allmänhet. Men visst, om syftet bara är att luska fram om någon i vänkretsen kan höra kabel så...

Oavsett så är det en kul grej, hoppas att ni har roligt när ni gör det ni som ska.

Nej, allt beror ju på vad man ställer för fråga, men OM frågan är "kan någon enda" så räcker det med en.

Det är fö väldigt intressant hur vanligt det är i diskussioner och faktiskt i undersökningar att man inte riktigt har koll på vilken fråga man ställer. Det brukar leda till röriga diskussioner och knasiga efterkonstruktioner.