Har precis upptäckt detta inlägg från Kronken...
Kronkan skrev:IngOehman skrev:Kaha:
Du har rätt, och tycks också ha förstått hur det hela fungerar i praktiken.
Just detta är en av de stora svagheterna med ett upplägg i stil med det
som Svante förordar - att man spär resultaten när alla även alla de fram-
tvingade gissningarna ju måste hanteras statistiskt, och därför så förlorar
man detektionskraft.
Det är dock inte det största problemet, kanske inte ens det näst största.
Vi (LTS) har för övrigt aldrig användt Svantes metod till någonting som har
resulterat i en publicerad artikel, eftersom problemen med den är välkända
sedan tidigare (LTS hade för protokollet gjort F/E-lyssningar i rätt många
år, innan Svante kom in i föreningen, och jag har gjort det många år före
det dessutom). Det är ju just därför som vi INTE har testat så. För vi vill ju
hitta felen på apparaterna men struntar i att undersöka lyssnaras förmågor,
i varje fall under själva apparattesterna.
Dock har vi testat Svantes testmetod (nämligen på en apparat som dess-
förinnan hade testats på vanligt vis och hade detekterats utan några större
svårigheter. Med den metod som Svante förespråkade (som av nämnda
skäl ger lyssnarna dåliga grundförutsättningar, hög stressnivå och onödigt
hög statistisk utspädning) så lyckades vi inte detektera någonting.
Som väntat.
- - -
Men det betyder inte att metoden är felaktig eller dålig. Det betyder bara
att den kanske ger svar på andra frågor än de som just jag nog tycker är
de mest intressanta att ställa. Därmed inte sagt att jag har rätt.
För min del för LTS testa med vilka metoder som helst, och jag ser inget
som hindrar att olika testlag kan testa på helt olika sätt, inklusive helt
öppna lyssningar! Jag tycker nämligen att bara två saker är riktigt viktiga:
1. Att de som håller i testen utformar metoden, och beskriver den för
läsarna, så att man förstår hur det gått till. Då kan läsarna dra sina egna
slutsatser, oavsett testmetod.
2. Att de som läser tester som är gjorda med olika metoder, förstår att
det kan finnas MYCKET stora skillnader i detektionsstyrka. Det vill säga att
en test som renderat nollresultat och som gjorts med en svag metod, kan
vara på en sämre apparat än en som var lätt att detektera med en käns-
ligare metod. Det är förstås även bra om läsarna har förnuft och en grund-
läggande insikt i hur suggestionseffekter kan påverka vid öppna (=icke blin-
da) tester. Alltså lyssningar där lyssnarna INTE objektiviserar iakttagelserna
med blind lyssning, utan går direkt på att beskriva de skillnader som de upp-
fattar finns.
Allt som allt kan man hoppas på sunt förnuft från alla håll, även om det att
döma av den här tråden, nog inte är en rimlig förhoppning.
Vh, iö
Ser inget fel i det du skriver. Det finns väl inget som hindrar att man skapar och använder olika sätt.
Men det är inte bara läsaren som har ett ansvar för att förstå. Utan det handlar också att när någon uttalar sig förstå i vilken grad man kan uttala sig om det test man gjort. Samtidigt förstår jag att det är mycket svårt att åstadkomma i en förening där medlemmarna hålls samman av upptäckarglädje och viljan att utveckla ett ämne. Det ligger också något gott i det.

Men om det är ditt sätt att se på F/E-metoden så kommer det omedelbart leda till stora svårigheter för er som använder metoden. Alltså att jämförbarheten minskar. Alltså reliabiliten/tillförlittligheten minskar.
Tar ett konkret exempel för att se om vi är överens. Kaha gör ett test under vissa förutsättningar och räknar fram att han kan uttala sig sin förstärkare. Han ligger över signifikansnivå 95. Sålägger han till att han detekterat en mycket liten,liten färgning. Så använder du själv en metod som du anser ökar känsligheten kraftigt. Eftersom båda sättet anses vara F/E-lyssning så blir det kraftiga problem i att tolka och förstå era testresulat.
...och vill börja med att säga att det är mycket bra!
Har inga sakinvändningar alls, men vill med emfas påminna om att jag
MÅNGA gånger har pekat på just det du kommer fram till i slutklämmen:
Att resultaten INTE blir jämförbara mellan olika grupper, annat än mjukt
(att läsaren får göra en bedömning).
- - -
Det är priset man får betala för att maximera detektionen - att olika grup-
per kan lyckas olika bra med det och därför producera icke jämförbara
resultat.
Dock har jag visst hopp av följande skäl:
1. DU förstår detta (tydligen utan att du sett att jag upprepade gånger har
klargjort vikten av att inse att resultat från olika grupper inte blir jämför-
bara, liksom risken med att försöka skapa flera olika lyssningsgrupper på
olika orter som testar lika objekt, som lätt ger läsarna intrycket att resul-
taten blir jämförbara) och om du förstår det så tror jag att andra kan göra
det också.
2. Det finns bara en testgrupp, och därför finns inga resultat som man kan
blanda ihop med.
3. Jag har som antytts i 1, varit tydlig med detta och rekommenderat att
varje grupp utformar sin egen testmetodik, som kan se ut hur som helst,
bara det redovisas så att läsaren kan förstå ungefär hur det går till. På så
vis minskar risken för att läsare skall tro att det skall gå att använda ord
som "ganska bra" respektive "inte så bra" från två olika grupper, som en
gradering där ganska bra måste vara bättre.
Men hur man än vänder och vrider på dessa saker så är den en balansgång
mellan att använda bra och enkla/begripliga metoder.
Det är väldigt lätt att utforma enkla/dåliga metoder som är lätta för alla
(även dem som har lite svårare att förstå sådana här saker) att begripa.
Men som jag ser det finns det bara en sak man kan göra - välja den som
man bedömer vara bäst för att få fram den information man tycker är den
viktigaste om apparaten - och sedan är det faktiskt läsarens sak att dra
slutsatser.
Vissa förstår, och kan dra egna slutsatser,
Vissa förstår inte, men litar på de bedömningar som görs av LTS,
Vissa förstår inte, och saknar insikt i sina kunskapsbrister, det vill säga de
anser att de förstår allt, och drar en massa felaktiga slutsatser.
Detta är oundvikligt. Det är inte LTS' ansvar att utbilda folk i fundamenta.
Vh, iö
Fd psykoakustikforskare & ordf LTS. Nu akustiker m specialiteten
studiokontrollrum, hemmabiosar & musiklyssnrum. Även Ch. R&D
åt Carlsson och Guru, konsult åt andra + hobbyhögtalartillv (Ino).