Endast för statistikkunniga (F/E-statistik)

Hur funkar tekniken bakom bra hifi?

Moderator: Redaktörer

Användarvisningsbild
Thomas_A
Mätdoktorn
 
Inlägg: 7496
Blev medlem: 2003-06-14
Ort: Uppsala

Inläggav Thomas_A » 2007-01-07 14:24

Well,

man måste ju bestämma sig vad man vill uppnå. Har man 4 preselekterade lyssnare och n=10 vardera så har man n=40.

Har man 1 preselekterad lyssnare får man välja 12 + nästföljande 12 i serie, eller 8 + 8 + 8 med vila mellan.

Notera alltså att detta n är för att få större power, i en modell där man vill kunna skilja på ett ratio mellan testutfallen 0.5 och 0.9.

Kaffekoppen
Inaktiverad
 
Inlägg: 20003
Blev medlem: 2006-01-19

Inläggav Kaffekoppen » 2007-01-07 14:32

Så en genomlyssning med 4 lyssnare och n=10 ger n=40 vilket torde vara mer än vad som behövs?

Hur tolkar man 4 lyssnare och N=7 ... ---> N= 28?

Användarvisningsbild
Thomas_A
Mätdoktorn
 
Inlägg: 7496
Blev medlem: 2003-06-14
Ort: Uppsala

Inläggav Thomas_A » 2007-01-07 14:39

Ja, med de premisser om oberoende som gjorts tidigare.

dimitri
 
Inlägg: 4604
Blev medlem: 2003-09-20
Ort: Götelaborg

Inläggav dimitri » 2007-01-07 14:58

Kaffekoppen skrev:Så en genomlyssning med 4 lyssnare och n=10 ger n=40 vilket torde vara mer än vad som behövs?

Hur tolkar man 4 lyssnare och N=7 ... ---> N= 28?


Då är p=0.11 dubbelsvansat
Alltså 11 % chans att det uppnådda resultatet beror på slump.
I'm not a complete idiot... Some parts are missing

Kaffekoppen
Inaktiverad
 
Inlägg: 20003
Blev medlem: 2006-01-19

Inläggav Kaffekoppen » 2007-01-07 15:00

Utökar man till n=8, n=9, n=10 .. hur blir siffrorna då?

Användarvisningsbild
Thomas_A
Mätdoktorn
 
Inlägg: 7496
Blev medlem: 2003-06-14
Ort: Uppsala

Inläggav Thomas_A » 2007-01-07 15:11

Hum, med n avser jag total serie. Lägger man samman samtligas resultat får man ju bra power. Vill man dock använda dem för att skilja ut de bästa lyssnarna gör man ju ett test mellan personer. Ju fler jämförelser ju mer n behövs.

dimitri
 
Inlägg: 4604
Blev medlem: 2003-09-20
Ort: Götelaborg

Inläggav dimitri » 2007-01-07 15:13

Kaffekoppen skrev:Utökar man till n=8, n=9, n=10 .. hur blir siffrorna då?


vid 4 x 8/10 blir p=0.009
vid 4x 9/10 blir p=0.0002
vid 4 x 10/10 blip p=0.0000009


Observera att p aldrig blir 0 helt och hållet.
Återigen så tycker jag att (jag tror att det är i överensstämmelse med Ingvars tankegångar) det är resultat från de allra duktigaste lyssnarna som bör ingå i statistiken. Jag håller helt med honom att valet av "guldöron" förenklar proceduren avsevärt.

Anta att
2 pers uppnår 4/10
2 pers uppnår 10/10

p för alla dvs 28/40 blir 0.11
medan p för bara de 2 med 10 rätt blir 0.001

Som Ingvar påpekar det är inte testdeltagarna som testas utan apparat(er). Känner man dessa 2 (de som hör 10/10) personer sedan tidigare som duktiga lyssnare så behöver man inte fundera särskilt länge för att inse att det är dessas resultat som är gällande och inte alla fyras.
I'm not a complete idiot... Some parts are missing

Användarvisningsbild
IngOehman
 
Inlägg: 48470
Blev medlem: 2003-09-28
Ort: K-PAX via Tellus

Inläggav IngOehman » 2007-01-07 16:05

Svante skrev:När jag skrev detta:

Svante skrev:
IngOehman skrev:1. Du Svante, som varit med på några av LTS lyssningstester, har du NÅGON ENDA GÅNG stött på ett resultat som du vet inte ger en statistisk signifikans om >99%, men som ändå kommit i MoLt och påståtts ha en statistisk signifikans högre än 99%?

Nej. Detta måste dock ses i ljuset av att frånvaro av fynd inte betyder att fyndet inte finns att göra. Tre saker försvårar undersökning av frågan. Det första är att jag endast har närvarat vid tre testkvällar, det andra att eftersom metoden inte finns beskriven så är den svår att validera, den tredje är att rådata inte är sparade så det finns inget att kontrollräkna på.

IngOehman skrev:2. Det vill säga: Finns det någon grund, i form av ett faktiskt fall (där det blivit fel) för dig att ifrågasätta om jag tagit mitt ansvar att upprätthålla en adekvat vetenskaplig hantering av mätdata?

Ja, samtliga fall jag har sett. Det är praxis i vetenskapliga sammanhang att spara rådata, i många fall i tiotals år, och definitivt till dess att slutsatserna är publicerade. Det har mig veterligen inte skett. Vid samtidigt avgivna svar har mig veterligen ingen notering om detta förts till protokollet, vare sig om att de har avgivits samtidigt, eller i vilken ordning. Vidare är det vetenskaplig praxis att behandla statistiska data med tidigare väl beskrivna metoder och tala om vilken man har använt, alternativt att använda en icke dokumenterad metod som man själv beskriver. Den referensen eller beskrivningen har jag heller inte sett. Det är förstås möjligt att det står en pärm med rådata och/eller metodbeskrivning någonstans som motbevisar det jag säger, men jag tror inte det.

IngOehman skrev:3. Eller handlar det bara om att just du inte tycker dig kunna bedöma signifikansen på plats, som jag har gjort? (Utöver att jag förstås kontrollräknat i de fall det finnits minsta tveksamhet.)
(Denna sista kräver följdfrågor, som jag ställer strax...)

Ja. Eller nej. Alltså jag kan inte svara för alla andra, men det beror på att jag inte kan bedömma signifikansen, vare sig på plats eller långt senare. Metoden Ingvar använder är extremt svår att beräkna en exakt konfidens med, den innehåller många faktorer vars storlek måste bedömmas eller gissas fram. Pga detta och att han inte kan dokumentera hur han gör förstår jag inte hur han räknar. Frågan är dock retorisk i den meningen att den flyttar fokus från att Ingvar inte har lyckats beskriva sin metod till att det kanske är jag som är så dum att jag inte förstår hur han räknar.

IngOehman skrev:4. Är det sant att du vid ett antal tillfällen kommit med (enligt dig "svårbedömda") exempel på fall till mig, där jag ombetts att uttala mig om den statistiska signifikansen - och att jag svarat dig ögonblickligen, med antingen ett exakt svar, eller med worst case-svar (">X%")?

Nja. Jo, det är det. Betyder det att ditt svar har varit rätt? :wink: Jag har annars för vana att börja mina förklaringar med enkla exempel (dvs alla har inte varit svåra) för att förtydliga en ståndpunkt, men du verkar inte tänka som vanligt folk gör, så det har funkat ganska dåligt.






...så blev det detta som citat:

IngOehman skrev:
Svante skrev:Jahaja, det är tydligt att man måste ha bandbredd för att delta på faktiskt... Fasen vad mycket svårare det är att hänga med i svängarna via WAP och långsamt modem. :D Speciellt när man vill vara lite noga med sina svar. Att svara på nedanstående, retoriska frågor med enbart ja eller nej är liksom inte möjligt.

IngOehman skrev:1. Du Svante, som varit med på några av LTS lyssningstester, har du NÅGON ENDA GÅNG stött på ett resultat som du vet inte ger en statistisk signifikans om >99%, men som ändå kommit i MoLt och påståtts ha en statistisk signifikans högre än 99%?

Nej. VAD SAKNAS HÄR?

Tack för rakt svar! :P

Svante skrev:
IngOehman skrev:2. Det vill säga: Finns det någon grund, i form av ett faktiskt fall (där det blivit fel) för dig att ifrågasätta om jag tagit mitt ansvar att upprätthålla en adekvat vetenskaplig hantering av mätdata?

Ja, samtliga fall jag har sett. VAD SAKNAS HÄR?

Hupp!

Det där var ju liksom en checkkodsfråga till fråga 1 - en koll att du förstått implikationen... Ditt svar renderar felaktig checkkod. :o

Jag måste förmoda att du läst frågan slarvigt. Missade du månne:"...i form av ett faktiskt fall (där det blivit fel)..."? Jag tror nästan det, så läs igen och återkom med rätt svar, eller rättar jag det bara här, så checkkoden blir rätt: Det vill säga ändrar ditt svar till ett rungande: NEJ. :P :wink:

Svante skrev:
IngOehman skrev:3. Eller handlar det bara om att just du inte tycker dig kunna bedöma signifikansen på plats, som jag har gjort? (Utöver att jag förstås kontrollräknat i de fall det finnits minsta tveksamhet.)
(Denna sista kräver följdfrågor, som jag ställer strax...)

Ja. Eller nej.

Vet du inte vad du själv kan bedöma? :o

Svante skrev:Alltså jag kan inte svara för alla andra, men det beror på att jag inte kan bedömma signifikansen, vare sig på plats eller långt senare. VAD SAKNAS HÄR?

Det var ju det jag frågade om!

Nåja... där kom svaret i varje fall, och dessutom ett någotsånär rakt svar (även om JA varit rakare. Du inte tycktes vilja skriva just bokstäverna JA...).

Du svarar alltså JA! Tack. :P

Svante skrev:
IngOehman skrev:4. Är det sant att du vid ett antal tillfällen kommit med (enligt dig "svårbedömda") exempel på fall till mig, där jag ombetts att uttala mig om den statistiska signifikansen - och att jag svarat dig ögonblickligen, med antingen ett exakt svar, eller med worst case-svar (">X%")?

Nja. Jo, det är det. VAD SAKNAS HÄR?

Ett intressant och slingrigt sätt att skriva ett rakt: JA

Trots slinger: Tack för svaret! :P

<snip>


Trots att jag inledde med:

Svante skrev:Att svara på nedanstående, retoriska frågor med enbart ja eller nej är liksom inte möjligt.


så valde du att klippa bort förtydligandena. Att tvinga fram förenklade svar på ledande frågor är verkligen inte din stil. Ändå gör du det här.

Frågorna är både ledande och retoriska, de fyller ett retoriskt syfte eftersom de för fokus bort från det som egentligen är min kritik och skenbart gör att det ser ut som att du har rätt, trots att de var en avledande manöver för att undvika sakfrågan. Ren retorik.

Ge dig Svante!

Dels svarade jag på allting du skrev som hade med mina frågor att göra, och dessutom är det faktiskt du som klagat på exponentiell tillväxt.


När det gäller fråga två förklarade att ditt svar visade att du inte läst frågan rätt. Jag bad dig ju att svara igen. Vad är då det toss-svar du kom med av för intresse? :?


I de övriga fallen handlar det ju (med ett undantag) bara om dina upprepade (som jag också redovisat!) påpekanden om att "frånvaron av bevis inte är ett bevis för frånvaron av företeelse".

Eftersom du sa det på flera stället tyckte jag det räcke att svara på det en av gångerna, men bara för att visa välvilja gjorde jag det ändå två gånger (de två sista har jag för mig).


Kort sagt: Jag tog bort ditt:
Detta måste dock ses i ljuset av att frånvaro av fynd inte betyder att fyndet inte finns att göra....

Men jag svarade på både:
Men återigen, frånvaro av exempel kan bero på många saker...

Och jag svarade på:
Men frånvaro av bevis betyder inte att din metod är bra...


Jag tyckte jag var rätt generös när jag svarade två gånger på samma i princip sak. Mer än så kan du inte begära, hur många gånger du än ältar samma sak.


För din skull tog jag även bort stycket med texten:
Svante skrev:...Pga detta och att han inte kan dokumentera hur han gör förstår jag inte hur han räknar...

Den visar ju bara att du:

1. Begär att jag skall dokumentera något åt dig, som du själv varit med om! 8O

2. Att du inte förstått frågan. Den handlade inte om huruvida du förstår hur jag räknar - bara om huruvida dina invändningar beror på att du (trots att du varit närvarande) inte kan beräkna signifikansen.

Eftersom din text var helt irrelevant och jag inte hade någon kommentar till den tog jag bort den. Men nu har du fått kommentarer till den ändå. Hoppas du är nöjd med det.


Ditt "vad fattas här" under punkt 4 visar att du behöver läsa bättre. Ingenting fattas. Jag tag med allt det du skrev. Det är du själv som klippt bort det. :wink:


Vh, iö
Fd psykoakustikforskare & ordf LTS. Nu akustiker m specialiteten
studiokontrollrum, hemmabiosar & musiklyssnrum. Även Ch. R&D
åt Carlsson och Guru, konsult åt andra + hobbyhögtalartillv (Ino).

Kaffekoppen
Inaktiverad
 
Inlägg: 20003
Blev medlem: 2006-01-19

Inläggav Kaffekoppen » 2007-01-07 16:24

Det är såhär mina tankegångar gått med under tråden. Bra formulerat. Det är lite av de här tankegångarna och tankemönstret som man kanske borde formulera in i en metodbeskrivning ?

Det bör inte alls vara svårt heller att notera och beskriva testets genomförande så det framgår vem/vilka som varit utslagsgivande i respektive test. Det i sig är dokumentation nog som jag ser det.

Det innebär iof kanske att testet i sig inte kan återupprepas under andra förutsättningar än att samma deltagare utför det (och kanske inte ens då), men det är väl som sagt apparater vi testar och inte deltagare...?

dimitri skrev:
Kaffekoppen skrev:Utökar man till n=8, n=9, n=10 .. hur blir siffrorna då?


vid 4 x 8/10 blir p=0.009
vid 4x 9/10 blir p=0.0002
vid 4 x 10/10 blip p=0.0000009


Observera att p aldrig blir 0 helt och hållet.
Återigen så tycker jag att (jag tror att det är i överensstämmelse med Ingvars tankegångar) det är resultat från de allra duktigaste lyssnarna som bör ingå i statistiken. Jag håller helt med honom att valet av "guldöron" förenklar proceduren avsevärt.

Anta att
2 pers uppnår 4/10
2 pers uppnår 10/10

p för alla dvs 28/40 blir 0.11
medan p för bara de 2 med 10 rätt blir 0.001

Som Ingvar påpekar det är inte testdeltagarna som testas utan apparat(er). Känner man dessa 2 (de som hör 10/10) personer sedan tidigare som duktiga lyssnare så behöver man inte fundera särskilt länge för att inse att det är dessas resultat som är gällande och inte alla fyras.

Användarvisningsbild
Morello
 
Inlägg: 36570
Blev medlem: 2003-05-19
Ort: Stockholm/Täby

Inläggav Morello » 2007-01-07 16:32

Pojkar, tråden hamnade på rätt köl - låt det få vara så ett tag till. :)
Driver: www.sybariteaudio.se
-Innehar F-skattsedel-

”Messen ist Wissen, aber messen ohne Wissen ist kein Wissen”

"Es ist noch kein Meister vom Himmel gefallen"

Användarvisningsbild
Svante
Audiot!
 
Inlägg: 37552
Blev medlem: 2004-03-03
Ort: oakustisk

Inläggav Svante » 2007-01-07 16:44

Morello skrev:Pojkar, tråden hamnade på rätt köl - låt det få vara så ett tag till. :)


Fdjmklnrk... Ok då. :D
Så länge har jag längat efter att loudness war skulle vara över. Nu börjar jag tro att vi faktiskt är där. Kruxet är att vi förlorade.

Kaffekoppen
Inaktiverad
 
Inlägg: 20003
Blev medlem: 2006-01-19

Inläggav Kaffekoppen » 2007-01-07 18:52

Så bidra nu då... ni som kan... är jag helt åt h-e med mina funderingar och isåfall varför?

Användarvisningsbild
PerStromgren
 
Inlägg: 28521
Blev medlem: 2005-03-25
Ort: Karlstad

Inläggav PerStromgren » 2007-01-07 20:11

Finns det verkligen ingen som läst något i ämnet och kan citera en text som inte författats av en faktiskt-medlem? Ni må tycka att det är naivt, men inte fasiken är detta första gången någon analyserar ett försök av denna typ, och denne någon inte är en faktiskt-medlem?

Jag vägrar att tro att detta inte är väl studerat och dokumenterat. Ni som forskar, har ni verkligen ingen stat-bok i hyllan som diskuterar detta? Snart stegar jag själv iväg till bibblan och letar, om ni som sitter i soppan vägrar. Att slå varann i huvet med argument ger inget när respekten för den andres kunskap saknas. Därför vore det trevligt med några opartiska, för en gångs skull.
... tycker jag!

Per

Användarvisningsbild
Svante
Audiot!
 
Inlägg: 37552
Blev medlem: 2004-03-03
Ort: oakustisk

Inläggav Svante » 2007-01-07 20:20

perstromgren skrev:Finns det verkligen ingen som läst något i ämnet och kan citera en text som inte författats av en faktiskt-medlem? Ni må tycka att det är naivt, men inte fasiken är detta första gången någon analyserar ett försök av denna typ, och denne någon inte är en faktiskt-medlem?

Jag vägrar att tro att detta inte är väl studerat och dokumenterat. Ni som forskar, har ni verkligen ingen stat-bok i hyllan som diskuterar detta? Snart stegar jag själv iväg till bibblan och letar, om ni som sitter i soppan vägrar. Att slå varann i huvet med argument ger inget när respekten för den andres kunskap saknas. Därför vore det trevligt med några opartiska, för en gångs skull.


Jag tror faktiskt att det är ovanligt att man avbryter test i förtid på det sätt som jag föreslår. Men jag minns en gammal MoLT-artikel av Karl-Erik Ståhl, där han hade gjort en A/B-låda som han använde väldigt likt LTS F/E-lyssningar. Där skrev han att han använde designen 7-13-16 (enkelsidigt och enligt min terminologi) och att den gav 99% konfidens. Länge trodde jag att han hade räknat fel, men jag insåg för ett tag sen att han hade rätt och jag hade fel.

Annars kan man hitta metoder för i förväg längdbestämda tester, men de vet Thomas_A mer än jag om så jag kniper nog ihop där för att inte verka alltför dum. :lol:
Så länge har jag längat efter att loudness war skulle vara över. Nu börjar jag tro att vi faktiskt är där. Kruxet är att vi förlorade.

Användarvisningsbild
Thomas_A
Mätdoktorn
 
Inlägg: 7496
Blev medlem: 2003-06-14
Ort: Uppsala

Inläggav Thomas_A » 2007-01-07 20:38

perstromgren skrev:Finns det verkligen ingen som läst något i ämnet och kan citera en text som inte författats av en faktiskt-medlem? Ni må tycka att det är naivt, men inte fasiken är detta första gången någon analyserar ett försök av denna typ, och denne någon inte är en faktiskt-medlem?

Jag vägrar att tro att detta inte är väl studerat och dokumenterat. Ni som forskar, har ni verkligen ingen stat-bok i hyllan som diskuterar detta? Snart stegar jag själv iväg till bibblan och letar, om ni som sitter i soppan vägrar. Att slå varann i huvet med argument ger inget när respekten för den andres kunskap saknas. Därför vore det trevligt med några opartiska, för en gångs skull.


Jag tycker iofs jag angett min syn på det, och jag håller på lite med stat på jobbet. Det är inget alls fel på Svante's metod heller, jag tycker dock inte om konditionella val.

Ang proceduren som sådan så tycker jag att det redan är förklarat hur man kan förbättra den, allt från själva testproceduren till dokumentationen av densamma. Det hänger på hur mycket testpersonalen mäktar med.

dimitri
 
Inlägg: 4604
Blev medlem: 2003-09-20
Ort: Götelaborg

Inläggav dimitri » 2007-01-07 20:57

Per,
Det är en mycket bra idé av dig. Gå till biblioteket, ut på nätet och se vad som är skrivet.

Mitt intryck är att flertalet inlägg i statistiska spörsmål i tråden har hållit god klass (givetvis mina egna exkluderade från denna bedömning). De skillnader i uppfattningar som finns (funnits?) är inte primärt av statistisk art. Eller ja, kanske, ty val av testprocedur återspeglar sig i valet av statistisk metod. Emellertid är det mitt intryck att inläggen från de mest signifikanta debattörerna i tråden tenderar att alltmer konvergera i de viktiga aspekterna.
I'm not a complete idiot... Some parts are missing

Användarvisningsbild
n3mmr
 
Inlägg: 7541
Blev medlem: 2005-01-05
Ort: Varande: semester efter semester efter semester

Statistik osv

Inläggav n3mmr » 2007-01-07 22:06

Fråga om flerstegstester:

Om man testar N olika, okorrelerade, egenskaper i N olika testserier (fast vid samma tillfälle, eller åtminstone fölr samma objekt med samma testomständigheter i övrigt), måste testserierna läggas samman då?

Tänk att man testar lågbasegenskaper (där man då klart hör skillnad) resp diskantegenskaper.

Antag att man då hittar att objektet färgar i lågbastestet, med 99% konfidens, men att man i diskanttestet inte lyckas säkerställa nån färgning alls, alltså identrifikationen vid diskanttestet är obefintlig eller helt slumpmässig.

Har man då identifierat en färgning med 99% konfidens eller är konfidensen lägre p g a att man måste räkna in båda serierna i en enda?

Om svaret är "Ja, konfidensen blir lägre än om man bara testar för basegenskaper", kontemplera då att "diskanttest" byts ut mot "identifiera luftens lukt" (växla, men spela ingenting, bara lukta....)

P.S. Sniff sniff. Litre nötaktig..... :-)
Om du inte förstår vad författaren skriver kan det vara så att du behöver bli bättre på att läsa.
Självbevarelsedriften säger mig att jag bör uttrycka mig försiktigare på ett sånt här forum.

Användarvisningsbild
Svante
Audiot!
 
Inlägg: 37552
Blev medlem: 2004-03-03
Ort: oakustisk

Re: Statistik osv

Inläggav Svante » 2007-01-07 22:17

n3mmr skrev:Fråga om flerstegstester:

Om man testar N olika, okorrelerade, egenskaper i N olika testserier (fast vid samma tillfälle, eller åtminstone fölr samma objekt med samma testomständigheter i övrigt), måste testserierna läggas samman då?

Tänk att man testar lågbasegenskaper (där man då klart hör skillnad) resp diskantegenskaper.

Antag att man då hittar att objektet färgar i lågbastestet, med 99% konfidens, men att man i diskanttestet inte lyckas säkerställa nån färgning alls, alltså identrifikationen vid diskanttestet är obefintlig eller helt slumpmässig.

Har man då identifierat en färgning med 99% konfidens eller är konfidensen lägre p g a att man måste räkna in båda serierna i en enda?



Om frågan är om det överhuvudtaget är någon skillnad på apparaterna så måste man slå ihop testerna.

Konfidensen talar om hur stor tillförlitlighet testet har. Inte hur stor skillnaden är. Konfidens är alltså en testegenskap, inte en apparategenskap.

I slutänden blir det en definitionsfråga "vad som är testet", och definitionsfrågor kan man ha långa debatter om. :lol:

I akademiskt vetenskapliga sammanhang, där man ibland testar hundratals aspekter av samma sak i en och samma studie tar man hand om detta genom att kräva att varje skriven artikel ska uppfylla ett konfidenskrav, fast det blir förstås fråga om gränsdragningar även där. Jag menar, om man publicerar en studie i två olika papper i stället för ett, är det då vettigt att sänka kraven?

Jag kan iofs tycka att det kan vara ok att göra testerna separat om de är få och egenskaperna man testar är väl åtskilda, men då måste man vara noga med att tala om hur man har gjort, vilket inkluderar att redovisa även serier som inte gav 99% konfidens.
Så länge har jag längat efter att loudness war skulle vara över. Nu börjar jag tro att vi faktiskt är där. Kruxet är att vi förlorade.

Användarvisningsbild
n3mmr
 
Inlägg: 7541
Blev medlem: 2005-01-05
Ort: Varande: semester efter semester efter semester

Re: Statistik osv

Inläggav n3mmr » 2007-01-07 23:12

Svante skrev:
n3mmr skrev:Fråga om flerstegstester:

Om man testar N olika, okorrelerade, egenskaper i N olika testserier (

Jag kan iofs tycka att det kan vara ok att göra testerna separat om de är få och egenskaperna man testar är väl åtskilda, men då måste man vara noga med att tala om hur man har gjort, vilket inkluderar att redovisa även serier som inte gav 99% konfidens.


Jag tänkte mig att en meningsfull redovisning skulle vara att säga.

I basen hörde vi skillnad, och vi har stor tilltro till det resultatet.

I diskanten hörde vi ingen skillnad.

men om man sa att

Vi hörde skillnad, men det var inte så väldigt säkert, konfidensen var låg

så ljög man

Men jag kanske helt missuppfattar vad konfidens är: Jag tänker mig att konfidensen kommer in, bl a, i prediktion, dvs det är den tilltro man har till att man skulel få samma resultat nästa gång med samma test.

Nu visste jag redan vad Svante ansåg om detta, så jag vill nog gärna ha nån annans syn, också.
Om du inte förstår vad författaren skriver kan det vara så att du behöver bli bättre på att läsa.
Självbevarelsedriften säger mig att jag bör uttrycka mig försiktigare på ett sånt här forum.

Användarvisningsbild
Thomas_A
Mätdoktorn
 
Inlägg: 7496
Blev medlem: 2003-06-14
Ort: Uppsala

Re: Statistik osv

Inläggav Thomas_A » 2007-01-07 23:42

n3mmr skrev:
Svante skrev:
n3mmr skrev:Fråga om flerstegstester:

Om man testar N olika, okorrelerade, egenskaper i N olika testserier (

Jag kan iofs tycka att det kan vara ok att göra testerna separat om de är få och egenskaperna man testar är väl åtskilda, men då måste man vara noga med att tala om hur man har gjort, vilket inkluderar att redovisa även serier som inte gav 99% konfidens.


Jag tänkte mig att en meningsfull redovisning skulle vara att säga.

I basen hörde vi skillnad, och vi har stor tilltro till det resultatet.

I diskanten hörde vi ingen skillnad.

men om man sa att

Vi hörde skillnad, men det var inte så väldigt säkert, konfidensen var låg

så ljög man

Men jag kanske helt missuppfattar vad konfidens är: Jag tänker mig att konfidensen kommer in, bl a, i prediktion, dvs det är den tilltro man har till att man skulel få samma resultat nästa gång med samma test.

Nu visste jag redan vad Svante ansåg om detta, så jag vill nog gärna ha nån annans syn, också.


- Vid en test mot ett fixerat värde, används binomial/normal (sign-test)
- Vid test av observationer mot varandra. Chi-square eller Fishers.
- För en modell med ratio 0.5 (slump) och skillnad (>0.9) krävs olika n i de två ovanstående fallen för samma power. Större n krävs när observationer testas mot varandra (man får två konfidensintervall).

Jag har tidigare skrivit lite exempel runt detta.

Användarvisningsbild
d_anders
 
Inlägg: 333
Blev medlem: 2004-05-27

Inläggav d_anders » 2007-01-07 23:57

Kanske att det går att sy ihop detta till ett modifierat sekvenstest.

Användarvisningsbild
Thomas_A
Mätdoktorn
 
Inlägg: 7496
Blev medlem: 2003-06-14
Ort: Uppsala

Inläggav Thomas_A » 2007-01-08 00:31

Antag att vi testar en apparat och gör olika öppna lyssningsessioner. Det görs också några träningsomgångar på blinda tester för vissa av dem, och man beslutar att göra 10-serier för diskant och bas, med två olika musikstycken.

Basregionen ger 9/10
Diskantregionen ger 5/10

Det förefaller finnas en skillnad i basregionen men inte i diskanten, utifrån en binomialmodell. Men är det sant? Nja. Om man nu jämför dessa två observationer mot varandra istället fås p=0.13 (tvåsvansat).

Slutsatsen är att vi inte skall särskilja dessa serier vid en beräkning av p. Jo vi kan göra det men inte helt utan invändningar.

Varför gick det fel? Ja vi valde alldeles för låg n.

Vi beslutar att omedelbart efter detta göra n=10 till. Konsekutiva serier.

Vi får
8/10
6/10

Summa 17/20 + 11/20. Är dessa nu skilda åt? p=0.08, nja. Bättre men fortfarande över 0.05. Har vi fortfarande för få n?

Vi lägger till 4 till och får

4/4
2/4

Summa:

21/24 samt 13/24. Hur är det nu då? p=0.024. Bra. Nu är vi mer säkra på att apparaten faktiskt skiljer sig i basen men inte i diskanten. Vi kan separarera de två testerna från varandra. Vi kan dock ha andra data tillhands som stöder ovanstående, ex mätningar.

Resultatet skulle också kunnat konvergera åt det andra hållet. Poängen med vad jag vill säga är att välja n tillräckligt stort för att kunna göra meningsfulla beräkningar om saker kompliceras. Istället för n=10 borde vi valt n=24 för frågan om bas och diskant skiljer sig åt.

Användarvisningsbild
Thomas_A
Mätdoktorn
 
Inlägg: 7496
Blev medlem: 2003-06-14
Ort: Uppsala

Inläggav Thomas_A » 2007-01-08 00:45

En par länkar för sample size calculation:

För test av propotion mot fixed värde:

http://stat.ubc.ca/~rollin/stats/ssize/b1.html

För test av två proportioner:

http://stat.ubc.ca/~rollin/stats/ssize/b2.html

Användarvisningsbild
IngOehman
 
Inlägg: 48470
Blev medlem: 2003-09-28
Ort: K-PAX via Tellus

Inläggav IngOehman » 2007-01-08 01:24

Morello skrev:Pojkar, tråden hamnade på rätt köl - låt det få vara så ett tag till. :)

Håller med om detta. Jag kvitterade Svantes tes att ämnet var utagerat. Därefter har jag bara svarat på hans inlägg.


Ditt (Morellos) exempel...

(Sv=Svante, Mo= Morello)

. Sv Mo
1 F R
2 F R
3 F R
4 R R
5 F R
6 F R
7 R R
8 F R
9 R R

R=rätt, F=fel, fetstil=svarade först


...är för övrigt mycket inressant. Det fattas lite info om vad som föregick serien, för att det skall gå att ange en exakt statistisk signifikans på appratens hörbarhet, inlusive information om VAD det är man man skall ange siginfikansen för i redovisningen.

Oavsett vilket kan man dock säga att Morello kan höra skillnad mellan F och E med en statistisk signifikans >98,4%. I praktiken hade jag inte stoppat serien vid nio dock, men vid 10 eller 11, om du hade fortsatt svara rätt (även om du svarat efter Svante! Tro't eller ej...).

Med viss info känd före testen (exempelvis att det redan finns tecken på att Morello är en god lyssnare, och att det därför är hans svar som räknas) är SS >99,6% för att vi i testen lyckats påvisa att apparaten har en hörbar färgning.


Vh, iö
Fd psykoakustikforskare & ordf LTS. Nu akustiker m specialiteten
studiokontrollrum, hemmabiosar & musiklyssnrum. Även Ch. R&D
åt Carlsson och Guru, konsult åt andra + hobbyhögtalartillv (Ino).

Användarvisningsbild
Morello
 
Inlägg: 36570
Blev medlem: 2003-05-19
Ort: Stockholm/Täby

Inläggav Morello » 2007-01-08 10:00

Mja, jag skrev ju faktiskt:

Mozarello skrev:Med vilken konfidensnivå kan man göra gällande att jag de facto hörde skillnad på signalerna?
Driver: www.sybariteaudio.se
-Innehar F-skattsedel-

”Messen ist Wissen, aber messen ohne Wissen ist kein Wissen”

"Es ist noch kein Meister vom Himmel gefallen"

Användarvisningsbild
DQ-20
Skum fogare
 
Inlägg: 8579
Blev medlem: 2003-12-03
Ort: ografi

Inläggav DQ-20 » 2007-01-08 12:37

Kaffekoppen skrev:Svante,

Även om du må tycka att resultaten som redovisats på tre testtillfällen som du deltagit i Svante har framkommit på ett mindre exemplariskt vis, TROR du att resultatet hade blivit annorlunda med en annan metod/tillvägagångssätt?


Varför vill du veta detta?

Undrar,

D

Kaffekoppen
Inaktiverad
 
Inlägg: 20003
Blev medlem: 2006-01-19

Inläggav Kaffekoppen » 2007-01-08 14:00

Det fanns de som inte hade uppfattat det så

Användarvisningsbild
DQ-20
Skum fogare
 
Inlägg: 8579
Blev medlem: 2003-12-03
Ort: ografi

Inläggav DQ-20 » 2007-01-08 14:06

Kaffekoppen skrev:Det fanns de som inte hade uppfattat det så


Nej, jag menade varför vill du veta?

Anledningen till att jag frågar är att jag undrar vad man (t.ex. du eller jag) skall ha denna kunskap till.

/D

Kaffekoppen
Inaktiverad
 
Inlägg: 20003
Blev medlem: 2006-01-19

Inläggav Kaffekoppen » 2007-01-08 14:17

Varför är det intressant för dig att veta det?

Om du vill veta är du välkommen att kontakta mig direkt. Det har inget med tråden att göra.

Användarvisningsbild
DQ-20
Skum fogare
 
Inlägg: 8579
Blev medlem: 2003-12-03
Ort: ografi

Inläggav DQ-20 » 2007-01-08 14:35

Kaffekoppen skrev:Varför är det intressant för dig att veta det?

Därför att du upprepade gånger ställt den frågan till Svante vilket antyder att det är viktigt för dig och/eller att du anser det vara viktigt för andra. Varför den är viktig är dock oklart för mig. Därför frågar jag.

Kaffekoppen skrev:Om du vill veta är du välkommen att kontakta mig direkt. Det har inget med tråden att göra.


Men vad är det där för fasoner? Först insisterar du på att få svar av Svante i tråden sedan kan du inte offentligt svara på varför det var viktigt att få svar. Detta rundar du av med lite snytigt hobbymodereraden.

Men du behöver givetvis inte svara. För att travestera Lundell: ett inställt svar är och också ett svar.

/D

FöregåendeNästa

Återgå till Teknikforum


Vilka är online

Användare som besöker denna kategori: Inga registrerade användare och 17 gäster