Svante skrev:Ja, i den här tråden vill jag endast ha svar av de som förstår sig på statistik.
Jag vill veta vad nedanstående tester ger för konfidens. Om det inte går eller är för svårt att räkna ut, tala gärna om vad som krävs för att beräkningen ska gå att utföra om ni vet det. Antag en F/E-lyssning. En person som inte deltar i lyssningen sitter och växlar mellan F och E och antecknar resultaten.
Exempel 1:
Antag att en person lyssnar och får 7 rätt i rad. Med hur stor konfidens har man visat att objektet har en hörbar ljudpåverkan?
Först och främst är det viktigt att notera att "ljudpåverkan" är inte synonymt med "kunna höra vilket alternativ som är E (eller F)" - bara "kunna
skilja E från F.
Frågan om skillnad kan påvisas genom att gissa
konsekvent, vilket kan ske på två sätt; alla rätt eller alla fel!
7 av 7 ger då 98,4375%
[SS = 1-0,5^(7-1), eller om man föredrar den rakare formeln: 1-(2/2^7)]Svante skrev:Exempel 2:
Antag att en person lyssnar och får 8 fel i rad. Med hur stor konfidens har man visat att objektet har en hörbar ljudpåverkan?
Med samma motivation som föregående svar: 99,21875%
Svante skrev:Exempel 3:
Antag att fyra personer lyssnar samtidigt och ropar när de tror sig veta om F eller E är inkopplat. När en person har ropat avbryts växlingen och även de andra får avge ett svar om de vill (med kunskap om vad den först personen sagt). En person får 9 rätt i rad. Vid det laget har de tre andra avgivit 1, 3 respektive 5 svar med spridda skurar av rätt och fel. Med hur stor konfidens har man visat att objektet har en hörbar ljudpåverkan?
Nu börjar det bli mera komplicerat att utvecka svaret på frågorna, och det enklaste svarer på frågan är, att beskrivningen ovan inte innehåller tillräckligt mycket information för att man skall kunna svara. Vad betyder exempelvis "spridda skurar"? Är det 1/9 rätt svar, 2/9?, 3/9?... Vem var det som fick 9 rätta svar? Var de en person som svarade först varje gång?
Frågan kan därtill tolkas på olika sätt.
Är frågan om just personen med 9 rätta svar hört skillnad eller bara haft tur?
Är frågan om det är påvisat att någon kan höra skillnaden?
Och så vidare.
Beroende på allt detta kan signifikansen vara allt från hygglig till dålig.
Utan att veta den utelämnade informationen är det orimligt att se utfallet som något annat än en indikation på att man bör fortsätta testen med bara den lyssnare som gissat 9 rätt rad, eller fortsätta för att få mera statistik att räkna på.
Svante skrev:Exempel 4:
Samma som 3, men den första personen får i stället 9 fel i rad.
Med hur stor konfidens har man visat att objektet har en hörbar ljudpåverkan?
Samma svar som 3.
Svante skrev:Exempel 5:
Samma förutsättningar som i 3, men nu avger endast två av personerna svar, de två andra avstår. De båda första får 7 rätt i rad, vardera. Med hur stor konfidens har man visat att objektet har en hörbar ljudpåverkan?
Även här saknas en massa information, men konfidensen blir mellan 98,4375% och 99,9878%, beroende på hur det hela utspelade sig i detalj.
Svante skrev:Exempel 6:
Antag att en person lyssnar. Han gör flera test, en med basrik musik och två med diskantrik musik. I bastestet och får han 9 rätt i rad, de andra två ger spridda skurar. Med hur stor konfidens har man visat att objektet har en hörbar ljudpåverkan?
Information saknas igen. Vad betyder spridda skurar?
Att redovisa resultatet bör ske med utgångspunkt från programmaterialen. Det är nästan nödvändigt att också göra en intelligent bedöming av hur mycket studierna har med varandra att göra. Om exempelvis det använda programmaterialet är båda bas- och diskantrikt, och är samma i alla tre fallen (eller extremt snarlikt) och man bara bett lyssnaren att lyssna efter skillnader i olika register i de två första mot det sista, är testet så klantigt genomfört att det blir praktiskt taget omöjligt att bedöma signifikansen på testen.
Är det helt isolerade företeelser däremot, är det rimligt att ange att skillnad specifikt i basområdet detekterades med en signifikans om 99,609375.
Det är alltid viktigt att minnas att sigifikans är signifikans, och inget annat. Inte ens en signifikans om 99,9999% betyder att det man registrerat behöver vara sant, bara att det är ett sällsynt (en på en miljon) tillfälle, om det inte är det.
Det är också viktigt att minnas varför man gör en studie. Gör man den för att etablera en kunskap kan man ofta ställa helt andra krav på studien, än om man gör den för att kunna publicera sig, kanske för att visa att man behövstar statistiken. I det förstnämnda fallet är det exempelvis rimligt att inkludera inte bara den statistiska signifikansen i bedömningen, utan också felets storlek och korrelation med vad som kan förväntas från överiga iakttagelser.
Om man exempelvis skall undersöka om det går att skilja två lampors färg från varandra, och testen läggs upp således att det bakom en dyker upp en av två glödlampor, och de båda två har brunaktiga nyanser, varav en är aningen mera grönaktig, och den andra aningen mera rödaktig, är det av yttersta vikt att hålla på testen tills tillfyllest (beroden på vilket krav man ställt) signifikant erhållits. Visar det sig att test-tittaren tittar förvånat på testledaren och säger att den ena ju är klargrön, medan den andra är klarröd, kanske det - om endast kunskap är målet - är rimligt att bedöma det meningslöst att fortsätta studien.
Som alltid gäller det att göra intelliganta bedömningar, och så länge studierna görs blint (vilket lamp-exemplet, tro det eller ej, var!*) kan man faktiskt göra oerhört bra bedömnngar innan en statistisker blir nöjd. Blindtestförfarnadet är dock rimligt att inte överge, eftersom man utan detta är potentiellt utsatt för svårbedömbart stark suggestion.
Vh, iö
- - - - -
*Detta sagt till de utan vetenskaplig skolning. Blint betyder ju bara "utan tillgång till facit", inte att man inte ser, i synnerhet inte när studien handlar om vad man ser.
Överkurs: Det finns massor av saker som man kan addera till sådan här studier för att öka detektionschansen utan att förstöra signifikansen.
En av dem är att avbryta tester halvvägs och berätta hur väl folk har gissat hittills.
Ett annat sätt är att starta studien med att lyssna helt öppet, och gärna uppmana alla lyssnare att berätta för varandra vad det upplever sig höra. Inte sällan kan de hjälpa varandra att höra saker som de hade missat om de int fått det påpekat för sig av de som noterade det först.
Som testledare är det naturligtvis viktigt att hålla koll på förloppet under testet, så att signifikansen kan bedömas på ett säkert sätt. Minst lika viktigt är det förstås att inte göra några irrelevant beräkningar i efterhand, såsom att exempelvis beräkna statistiken horisontellt.
En väl upptränad intuition för vilken signifikans olika utfall ger, tillsammans med ett testförfarande som är så "trevligt" för lyssnarna att man kan förlänga testerna ordentligt och således ta höjd med jättemarginaler, för tänkbara testförlopp - är av godo.
Viktligast av allt är att aldrig glömma att det är kunskap man söker. Glömmer man det är det oerghört lätt att åstadkomma fantastisk signifikanta studier, helt utan värde.
Vetenskapens "första tes" (som jag väl nämnt till leda genom åren, och som egentligen inte är en tes, utan en definition/ett axiom) som lyder:
Man kan i bästa fall i ett experiment påvisa kända eller okända egenskaper - men man kan aldrig bevisa frånvaron av okända egenskaper.
Denna tes är oerhört viktig att minnas, men den har många bottnar. Den inte bara berättar om vikten av att inte dra slutsatser från nollresultat (jag har nu bevisat att man inte kan...), den säger också hur viktigt det är att anstränga sig för att undvika nollresultat, genom för oskarpa metoder.
Det är alltför lätt att formulera testsituationer som är publicistiskt och statistiskt godtagbara, men som är bortkastad tid om det är kunskap man är ute efter att framskaffa.
Fd psykoakustikforskare & ordf LTS. Nu akustiker m specialiteten
studiokontrollrum, hemmabiosar & musiklyssnrum. Även Ch. R&D
åt Carlsson och Guru, konsult åt andra + hobbyhögtalartillv (Ino).
och det är liksom omöjligt att bedöma om testerna görs vettigt eller ovettigt!
