Ja, låt mig då deklarera från början att jag inte avser denna tråd som en fortsättning på den andra "F/E-lyssnings-mätningstråden", jag vill helst att man har accepterat ATT det kan vara bra att se F/E-lyssning som en mätmetod innan man skriver här.
Skeptiker uppmanas titta på för att kanske se om det ändå finns något positivt att lära ur resonemangen när de får pågå ostört.
Har man inte accepterat synsättet fortsätter man lämpligen debatten i den andra tråden, eller startar en alternativtråd till denna.
If you please.
Jag skulle vilja reda ut vad som egentligen händer om man tolkar en svarsserie enligt nedan.
Förutsättningar:
Säg att man från början bestämde sig för en 9-13-16-20-design. Det innebär att man bryter lyssningen efter 9 rätt av 9, 12 rätt av 13, 14 rätt av 16, 17 rätt av 20.
Det spelar ingen roll för resonemanget, men antag också att endast riktiga svar räknas, bortse från möjligheten "många fel" som detektion.
Säg vidare att man bestämmer sig för att låta andelen riktiga svar vara ett mått på hur svårt det var att höra påverkan. Rimligen var det svårare om man måste lyssna många gånger och om man gjorde fel ibland.
Antag också att lyssnarna är tidsinvarianta.
Med en simulering kan man visa att försöksdesignen ger mer än 99 %-ig konfidens ATT man kan detektera objektet om man får en serie med färre än fyra fel (dvs högst tre fel, 17 av 20).
Mätresultaten man kan få då är:
1. Man svarar 9 av 9 rätt. Andelen riktiga svar är 100%.
2. Man svarar 12 av 13 rätt. Andelen är 92 %.
3. Man svarar 14 av 16 rätt. Andelen är 88 %.
4. Man svarar 17 av 20 rätt. Andelen är 85 %.
5. Man svarar fler än fyra fel. Andelen riktiga svar är mindre än 85 %
Min tolkning är då, i samtliga fall utom 5 att man med 99 % konfidens har visat att skillnad föreligger. Vi har också ett estimat av hur stor andel av svaren som lyssnaren skulle svara rätt om han gjorde oändligt många lyssningar under de givna förutsättningarna. De estimaten kan ha värdena 100, 92, 88 eller 85 %.
Fall 5 är svårare att värdera, men gör det troligt att FP inte kan detektera objektet med 85 % riktiga svar. Man skulle kunna uppnå 99 % konfidens med en annan försöksdesign som fortsätter även efter 4 fel, men en sådan skulle inte ge fler än 85 % riktiga svar (vilket inte är riktigt sant, det går att välja designer som motsäger det, men det vore dumt).
Det jag nu undrar är, kan vi säga något om felen i estimatet av andel riktiga svar? Alltså, hur säkert är det att lyssnaren skulle svara just 88 % rätt om han gjorde oändligt många serier om resultatet var 14 rätt av 16? Är det rätta värdet egentligen 89 %?
-----------
Jag tycker mig känna igen resonemanget från andra undersökningar, vad ska vi hitta på, tex om man undersöker effekten av en medicin på antal leverfläckar. Steg 1 är att visa ATT det finns en effekt, och OM man gör det så har man också ett estimat på hur mycket antalet leverfläckar minskade. Det bästa estimatet är rimligen medelantal före minus medelantal efter. Men hur noggrant är det estimatet?
Tappert, ni som orkade läsa hit. Orkar ni skriva något också?
Dessutom har han rätt i detta.
