Äh jag kan inte hålla mig, jag skriver ner ett exempel på förfarande som jag tycker skulle vara bra. Egentligen är det nog flera eftersom jag lämnar valmöjligheter på några ställen.
1. Ska flera personer lyssna samtidigt?
Ja och nej. Flerlyssning kan vara praktiskt, för då kan man diskutera vad man hör. Det behövs dock en del fiffighet för att man ska kunna undvika kontaminering mellan varandras svar och det kan upplevas som stressande att inte få sköta växlingen mellan stimuli själv.
2. Får de avge svar med kunskap om varandras svar?
Absolut inte. Detta gör att man måste behandla statistiken på ett sätt som tar ner signifikansen rejält.
3. Vem ska växla mellan omkopplarlägena? Hur (AB/ABX)?
Själv föredrar jag att få växla själv, som lyssnare. Vilket omkopplarläge som motsvarar vad måste då slumpas. AB är mitt val, men jag har inget emot att andra använder ABX.
4. Hur ska slumpmomentet genereras (=det som gör att testet blir blint)?
Helst med en apparat som avslöjar i efterhand vilket som var rätt svar.
5. Hur ska resultatet antecknas? Skriver lyssnaren eller försöksledaren?
Spelar inte så stor roll.
6. Bör man få reda på under testets gång, hur det har gått hittills?
Absolut. Det minskar prestationskraven och känslan av osäkerhet. Det kan kännas mycket frustrerande att försöksledaren sitter och tjyvhåller på kunskap om hur dåligt(bra det har gått.
7. Hur bestämmer man när testet ska avbrytas?
Själv förordar jag en serie möjliga avbrottspunkter som bestäms i förväg, tex 11 15 19 22 25 28 32 dvs man får avbryta efter 11 om man har alla rätt, efter 15 med högst ett fel, efter 19 med högst två fel etc. Konfidensen för just denna serie är 99,67% om man även accepterar svarssekvenser av typen "alla fel". Det fina med denna approach är att man inte behöver trötta ut sig med långa sekvenser om det är lätt att höra skillnad och att konfidensen blir välbestämd. Väljer man så hög konfidens som 99,67% så finns det dessutom utrymme för att göra tre serier, alt ha tre lyssnare och ändå få 99% konfidens även om bara en serie ger positivt resultat.
8. När ska avbrottsvillkoren bestämmas. Före eller efter testet? Får man ändra dem under gång?
Före. Nej.
9. Hur stor konfidens behövs? Är konfidensen viktig?
99% är väl rimligt, sammantaget. I vetenskapliga sammanhang brukar konfidenser under 95% inte anses signifikanta. Konfidensen är viktig.
10. Hur ska data behandlas för den valda metoden, dvs hur vet man hur stor konfidens man har fått?
Med metoden att förutbestämma avbrottsvillkoren är databehandlingen lätt.
11. Är det ok att exkludera misslyckade tester?
Nej. De måste rapporteras eftersom de drar ner den totala konfidensen.
12. Vilka konfidenskrav ska man ställa på varje serie om man gör flera; bör de vara högre om man gör flera tester?
Ja. Den sammantagna konfidensen blir (konfidensen för ett försök)^(antal försök).
13. Hur behandlar man data från flera lyssnare? Tex: om en person svarar rätt hela tiden, men de andra ger spridda skurar, kan man titta på bara den som lyckas? Måste statistiken modifieras i sådana fall?
Ja, den måste modifieras. Om tre personer lyssnar samtidigt med min testdesign, så kan svaren ses som tre separata försök. Om en av dem visar positivt utfall så blir total konfidens 0.9967^3=99,0%
Hur man gör tror jag måste bestämmas innan testet. En annan möjlighet är ju att man ser testet som ett enda med ganska många felsvar. En intressant fråga är om man med tidig kunskap om vem som svarar "bäst" får gå in och tysta de "sämsta" så att bara den "bästa fortsätter. Alla svar måste förstås räknas in, dock. Här är jag ute på hal is dock, det blir lätt så med flera lyssnare.
14. Bör man göra pilotlyssningar, dvs öppna lyssningar före det egentliga testet, som inte räknas? När bestämmer man att de inte räknas?
Absolut. Jag skulle säga att de är nödvändiga och det kan tom vara en fördel att göra dem blint. Man måste dock vara väldigt tydlig redan före testet att det är pilotlyssningar och att de inte ska ingå i den statistiska bedömningen.
15. Bör man diskutera upplevda skillnader före testet? Under testet? Efter testet?
Ja, det kan man väl. Risken med diskussioner under testet är att de kan störa.
16. Vem bestämmer vilken kringutrustning (högtalare, programmaterial, CD-spelare etc) som ska användas?
Det är en fråga om sunt förnuft och i viss mån i vilken grad frågeställningen är kontroversiell. En utrustning som är bekant för lyssnaren är nog ofta att föredra.
17. Bör/behöver man söka en förklaring till påvisade hörbara skillnader?
Ja, det tycker jag. Speciellt via mätningar. Man kan lära sig mycket på det, men man behöver förstås ha den kunskap som behövs. Det är bättre att avstå än att spekulera vilt.
18. Hur noga behöver man matcha triviala skillnader såsom nivå/tonkurva?
0,1-0,05 dB är lämpligt. Det är dumt att inte göra detta så noga man förmår.
19. Är det en fördel om metod och rådata redovisas? Detaljerat?
Metod: Absolut! Detta är en av grundbultarna i den vetenskapliga världen. Studier som genomförs ska kunna reproduceras av andra forskare. Det ska finnas information om hur testet utfördes så att vem som helst med tillräcklig kunskap kan reproducera experimentet.
Rådata: Nja, rådata ska bevaras så att man kan leta fram dem vid tvivel. Det är sällan rådata redovisas i forskningsrapporter, däremot redovisas förstås sammanfattningar tex i form av medelvärden eller något annat som är relevant för forskningsfrågan.
20. Finns det någon metod att avgöra hur stor skillnaden är, om den är hörbar?
Nja. Man kan fråga folk om vad de tycker. Med kvalificerat folk blir bedömningen bra, men allt står och faller med lyssnarnas förmåga. Men frågan är viktig och bör absolut behandlas parallellt med den mer strikta statstiska utvärderingen. Man kan också mäta vissa skillnader och genom att läsaren har en uppfattning om hur mycket hörbar skillnad det brukar bli för en viss mätt skillnad kan man kommunicera hur stor skillnaden är på ett ungefär, perceptuellt.
21. Finns det några vetenskapliga krav som saknar betydelse för vanligt folk?
Egentligen inte, om de är relevanta för forskarna. Ett test utan konfidens (tex en öppen lyssning) har ett lika (lågt) värde för vanligt folk som för forskarna.
22. Hur mycket tid kan läggas på varje testning för att det skall vara möjligt att a) få intresserade att genomföra X antal tester per år, b) få tillräckliga data för att kunna dra godtagbara slutsatser och c) Kunna hävda vetenskaplighet
En kväll åt gången. a) Intresserade finns det nog många i hifisverige. b) och c) är samma för mig, och självklart bör lyssnandet minimeras för att undvika uttröttning. Det är väl ett känt faktum (och problem) i alla lyssningstestarsituationer att långa tester drar ner skärpan. Men man måste samtidigt ställa detta mot statistisk signifikans. Denna motsättning gör att man bör optimera mot att få just den signifikans som är den minimala som man accepterar. Därför är det viktigt att veta hur stor signifikans man har.
Ja, det var mina tankar och de vill jag gärna ha debatt omkring. Tomas_A hade en del andra idéer som jag tyckte var intressanta, passar de in i mina frågor ovan?
Nåns moster får ställa in en serie omkopplare m h a slantsingling. Och sen ge sig ut på stan, på rea eller nåt, med pengarna hon fick för besväret.
Jag försökte gruppera dem, men de flätar i varandra så att det blir bara rörigt. De får stå som de är.
