Fråga om F/E-lyssning

[petersteindl]

Tidigare har jag skrivit så här,

Skulle man kunna tänka sig att man definierar upp testförloppet så att ett stringent testförfarande kunde upprepas även om testförfarandet görs av andra och vid olika tillfällen. Jag bara undrar.

Väl Mött
PS

Det borde vara ett grundkrav att man redogör i detalj för hur ett försök läggs upp och hur det utformas i praktiken. F/E-lyssning verkar vara en komplicerad testmetodik. Jag förmodar att mycket av det som skrivs i denna tråd är av déjà vu karaktär, och definitivt inte av godartad karaktär.

Att redogöra för testmetodik är absolut essentiellt om man vill hävda någon som helst vetenskaplighet eller för att uppnå vetenskaplig status. Metodiken bör alltså vara så noggrant dokumenterad och formulerad att helt främmande personer som långt fram i tiden som vill kunna göra om försöket bör med den beskrivna metodiken dels kunna utföra testen identiskt som tidigare, dels komma till samma resultat som tidigare, annars duger metodiken helt enkelt inte. OBS, det är inte själva manualen som inte duger utan det är själva testmetodiken som genom manualens uselhet har gjorts om intet. Testmetodiken är alltså förlegad utan en perfekt manual.

Om det är för komplicerat att dokumentera en metodik så överlämnar man arbetet åt någon som kan och vill dokumentera , eller så avslutar man att utföra testet enligt testmetodiken eller så fråntar man metodiken dess vetenskapliga status d v s man ger metodiken en lekstugestatus. Det är inget fel på lekstuga, det finns många ungar som har kul i lekskolan

Eftersom, vad jag nu förstår, det aldrig har funnits någon exakt och absolut redogörelse för metodiken så har enligt mitt förmenande samtliga tester som gjort utan denna dokumentation av själva testmetodiken ingen långsiktig eller vetenskaplig relevans och bör därför ej heller relateras till om man är seriös. Resultaten saknar helt enkelt vetenskapligt värde och kan ej ligga som grund vid jämförelse med kommande tester även om det är andra apparater som testas.

Tråkig historia, men så är det i livet ibland

Mitt förslag är följande:
Utarbeta en testmetodik. Skriv noggrant ner och redogör för denna metodik i detalj.
Därefter kan man i lugn och ro förfina metodiken och dess dokumentation. Resultaten bör ochså dokumenteras på ett stringent sätt vars stringens är redogjort för i testmetodens dokumentation.
Eftersom det rör sig om subjektivt lyssnande av människor bör det finnas en urvalsmetod av lyssnare vars urvalsmetod det också redogöres för i testmetodens dokumentation.

Skulle en sådan manual jämte resultatredovisning ha funnits så skulle en massa ofrånkomligt tjafs ha undvikits

Väl mött
Peter Steindl

[Harryup]

Och då skulle LTS kunna ha 5-6 testriggar där man förutom kunna upprepa tester hinna testa betydligt flera produkter och därigenom avmystifiera både metoden och Sällskapet som förening.

mvh/Harry

[Svante]

Tidigare har jag skrivit så här,

Skulle man kunna tänka sig att man definierar upp testförloppet så att ett stringent testförfarande kunde upprepas även om testförfarandet görs av andra och vid olika tillfällen. Jag bara undrar.

Väl Mött
PS

<snip>

Instämmer, och vill komplettera med att det bara är de statistiska spörsmålen detta handlar om. De övriga delarna av metoden har beskrivits ganska utförligt och är dessutom svåra att göra mycket bättre.

Principen att lyssna före och efter och jämföra det för att få reda på om/hur en apparat färgar anser jag är precis rätt sätt.

Jag anser också att kringutrustningen inklusive konstlasten som LTS använder är fullt tillräcklig för ändamålet.

Det är liksom "rätt" alltihop.

Det är just det där statistiska som jag inte kan bedömma eftersom det inte finns någon riktig redogörelse för hur det har gått till.

Det är nog därför jag engagerar mig såpass som jag gör i frågan, jag tycker det är surt att en så bra implementering av metoden ska snubbla på den statistiska redovisningen.

Jag jobbar för en förändring av det.

[KarlXII]

Ord och inga visor!

En annan sak som är märkligt med testet - som jag ser det - är att det är öppet deltagarna emellan. Att man ropar ut offentligt vad man hör.
Det torde vara helt omöjligt att inte sitta i samma rum och bli påverkad av det.

Att det inte körs blint, dubbelblint och/eller privat är fullständigt ofattbart.

[Kaffekoppen]

Tack för ditt inlägg Peter.

Utgår från att du läst Svantes beskrivningar av metoden väl innan inlägget.

Din beskrivning av lyssnarna och urvalsmetoden för lyssnare finns beskrivet och där finns inget övrigt att önska.

Självklart vill man alltid göra så bra resultat som möjligt, men att hävda att tidigare tester saknar relevans är inget jag kan ställa upp på, även om jag önskade att just beräkningsförfarandet och metodbeskrivningarna varit mer beskrivna.

I alla undersökningar finns kompletterande mätningar och kommentarer därvid. Skulle vilja påstå att testerna har stor förtroendevärde när man granskar dem, särskillt eftersom de genomförts på liknande sätt, i samma lokationer över en lång tid med en relativt homogen grupp testare. De är alltså definitivt jämförbara mot varandra även om en exakt signifikans inte kan fastställas.


Harry-Up,

Vi gör just nu en 100% ökning av antalet testriggar. Mer mäktar vi inte med.

[shifts]

Men ger testet sken av att vara vetenskapligt undrar jag? Förutom att det är ett noggrant utfört test alltså.

[Kaffekoppen]

Att det inte körs blint, dubbelblint och/eller privat är fullständigt ofattbart.

Det körs definitivt blint. du pratar om korrelation mellan deltagare. Det är en annan sak.

Dubbelblint blir det i nästa release. Men det enda det kommer åt är testledarens eventuella påverkan.

[Svante]

Ord och inga visor!

En annan sak som är märkligt med testet - som jag ser det - är att det är öppet deltagarna emellan. Att man ropar ut offentligt vad man hör.
Det torde vara helt omöjligt att inte sitta i samma rum och bli påverkad av det.

Att det inte körs blint, dubbelblint och/eller privat är fullständigt ofattbart.

Mja...

Det är visserligen sant att det skulle vara bättre med mindre påverkan mellan lyssnarna. Men man kan faktiskt ta hand om det i beräkningarna, och skillnaden blir bara att de ställen där man skulle ha fått tokhög konfidens nu bara blir lite högre. Man hamnar alltså i en sits där testets konfidens hamnar i området 99,0-99,7% i stället för 99,0-99,99%. Det tycker jag man kan leva med.

Det finns stora fördelar med att träffas ett gäng och först diskutera skillnaderna man hör, och senare, mer formellt avge svar. Att skicka ut folk och göra testerna en och en är knappast görbart, då skulle man aldrig bli klar.

Man kan göra åsiktsläckaget mindre, och fördelen med det skulle framförallt vara att lyssnarna störs mindre av varandra. Den skulle inte innebära särskilt mycket rent statistiskt, eftersom man ändå måste räkna på att en okänd mängd korrelation finns.

Edit: efter KKs inlägg inser jag att man kunde tolka dig som att testerna inte är blinda idag. Det är de. De är inte dubbelblinda, men väl enkelblinda. Enkelblindheten TROR jag inte har spelat någon roll precis som jag TROR att Ingvar har räknat tillräckligt bra. Det hindrar inte att båda bör åtgärdas.

[KarlXII]

Att det inte körs blint, dubbelblint och/eller privat är fullständigt ofattbart.

Det körs definitivt blint. du pratar om korrelation mellan deltagare. Det är en annan sak.

Dubbelblint blir det i nästa release. Men det enda det kommer åt är testledarens eventuella påverkan.

Exakt. Blint mellan deltagare. Kallas det korrelation? Okej.

Hursomhelst, det låter tokfel.
Som upplagt för påverkan. Inte bra.

[KarlXII]

Det är visserligen sant att det skulle vara bättre med mindre påverkan mellan lyssnarna. Men man kan faktiskt ta hand om det i beräkningarna, och skillnaden blir bara att de ställen där man skulle ha fått tokhög konfidens nu bara blir lite högre. Man hamnar alltså i en sits där testets konfidens hamnar i området 99,0-99,7% i stället för 99,0-99,99%. Det tycker jag man kan leva med.

Det finns stora fördelar med att träffas ett gäng och först diskutera skillnaderna man hör, och senare, mer formellt avge svar. Att skicka ut folk och göra testerna en och en är knappast görbart, då skulle man aldrig bli klar.

Man kan göra åsiktsläckaget mindre, och fördelen med det skulle framförallt vara att lyssnarna störs mindre av varandra. Den skulle inte innebära särskilt mycket rent statistiskt, eftersom man ändå måste räkna på att en okänd mängd korrelation finns.

Men det är väl inga problem att låta flera lyssna på en gång, bara de inte låter kungöra sina findings live? Man kan ju notera på protokollet i tysthet - tentamenstyle?

[Svante]

Det är visserligen sant att det skulle vara bättre med mindre påverkan mellan lyssnarna. Men man kan faktiskt ta hand om det i beräkningarna, och skillnaden blir bara att de ställen där man skulle ha fått tokhög konfidens nu bara blir lite högre. Man hamnar alltså i en sits där testets konfidens hamnar i området 99,0-99,7% i stället för 99,0-99,99%. Det tycker jag man kan leva med.

Det finns stora fördelar med att träffas ett gäng och först diskutera skillnaderna man hör, och senare, mer formellt avge svar. Att skicka ut folk och göra testerna en och en är knappast görbart, då skulle man aldrig bli klar.

Man kan göra åsiktsläckaget mindre, och fördelen med det skulle framförallt vara att lyssnarna störs mindre av varandra. Den skulle inte innebära särskilt mycket rent statistiskt, eftersom man ändå måste räkna på att en okänd mängd korrelation finns.

Men det är väl inga problem att låta flera lyssna på en gång, bara de inte låter kungöra sina findings live? Man kan ju notera på protokollet i tysthet - tentamenstyle?

Nej, visst, men det är inte så det har brukat göras. Svårigheten med tentastilen är att man ålägger lyssnaren att föra protokoll. Lyssnaren ska helst bara ha uppgiften att lyssna och att avge svaret ska vara en så minimal och intuitiv uppgift som möjligt. Men det finns lösningar på det med .

[Svante]

Men ger testet sken av att vara vetenskapligt undrar jag? Förutom att det är ett noggrant utfört test alltså.

Hmm, ge sken av? Du menar om det ÄR vetenskapligt utfört? Ja, med reservation för öppenheten om de statistiska metoderna. Det vill jag mena. Det är också vansinnigt mycket närmare det vetenskapliga än många andra tester man kan läsa.

[Kaffekoppen]

Men ger testet sken av att vara vetenskapligt undrar jag? Förutom att det är ett noggrant utfört test alltså.

Hmm, ge sken av? Du menar om det ÄR vetenskapligt utfört? Ja, med reservation för öppenheten om de statistiska metoderna. Det vill jag mena. Det är också vansinnigt mycket närmare det vetenskapliga än många andra tester man kan läsa.

Vetenskapligt utfört, men inte vetenskapligt dokumenterat.

[shifts]

Men ger testet sken av att vara vetenskapligt undrar jag? Förutom att det är ett noggrant utfört test alltså.

Hmm, ge sken av? Du menar om det ÄR vetenskapligt utfört? Ja, med reservation för öppenheten om de statistiska metoderna. Det vill jag mena. Det är också vansinnigt mycket närmare det vetenskapliga än många andra tester man kan läsa.

Vetenskapligt utfört, men inte vetenskapligt dokumenterat.

Alright. Jag tänker mest på att den kritik som riktas mot testet är just att det "ger sken av" att vara vetenskapligt utfört, men att kritikerna inte det lever upp till den nivån. Själv har jag dock aldrig sett någon i LTS göra direkt anspråk på att testet är vetenskapligt utfört och har själv heller aldrig tolkat det som ett sådant. Det är "bara" ett mycket väl utfört test. Tänkte på om det alltså var grundlös kritik att använda sig av de orden, om det nu inte gjorts några sådana anspråk.

Man kan väl ta till vetenskapliga metoder utan att kalla resultatet för vetenskapligt menar jag... (edit: och då inte heller behöva stå för svars för det heller, även om sådana här diskussioner kan förfina testningen så klart)

[sebatlh]

Det är visserligen sant att det skulle vara bättre med mindre påverkan mellan lyssnarna. Men man kan faktiskt ta hand om det i beräkningarna, och skillnaden blir bara att de ställen där man skulle ha fått tokhög konfidens nu bara blir lite högre. Man hamnar alltså i en sits där testets konfidens hamnar i området 99,0-99,7% i stället för 99,0-99,99%. Det tycker jag man kan leva med.

Det finns stora fördelar med att träffas ett gäng och först diskutera skillnaderna man hör, och senare, mer formellt avge svar. Att skicka ut folk och göra testerna en och en är knappast görbart, då skulle man aldrig bli klar.

Man kan göra åsiktsläckaget mindre, och fördelen med det skulle framförallt vara att lyssnarna störs mindre av varandra. Den skulle inte innebära särskilt mycket rent statistiskt, eftersom man ändå måste räkna på att en okänd mängd korrelation finns.

Men det är väl inga problem att låta flera lyssna på en gång, bara de inte låter kungöra sina findings live? Man kan ju notera på protokollet i tysthet - tentamenstyle?

Nja, men du kan ju aldrig vara säker på att man inte påverkar varandra, även om det är osannolikt. Så man bör ta med det i beräkningarna. Tycker jag iaf.
Vidare så kan man tänka sig fördelar med att hela gruppen sammarbetar. Om en person är säker på att han hör skillnad medans de andra inte är så säkra så kan han ju säga det åsså kör man en snabb serie med bara honom tex. (Sen om det faktiskt är en fördel i praktiken att göra som jag skrev nyss vet jag ingenting om då jag aldrig gjort en F/E lyssning)
Bara man vet vad man håller på med så är det lungt med andra ord

[Laila]

Vi gör just nu en 100% ökning av antalet testriggar. Mer mäktar vi inte med.

Har du jobbat på reklambyrå ?

[IngOehman]

Det borde vara ett grundkrav att man redogör i detalj för hur ett försök läggs upp och hur det utformas i praktiken.l

Det finns inga märkligheter såsom antyds. Det har noga redovisats hur försöken läggs upp, och när det gäller den statistiska beräkningen följer den statistikens lagar. Eftersom inparametrarna kan variera mycket är förenklade tabell-förfaranden olyckliga att basera testerna på (Hur många människor har svarat? Hur många svar har de angivit? Har de svarat samtidigt eller oberoenden av varandra? Och så vidare. Allt detta måste man ta hänsyn till.) eftersom det betyder att man måste begränsa möjligheterna att söka svar på (vilket i sin tur leder till att man inte kommer att detektera ens i närheten av de saker som är detekterbara under gynnsammas möjliga förutsättningar).

F/E-lyssning verkar vara en komplicerad testmetodik. Jag förmodar att mycket av det som skrivs i denna tråd är av déjà vu karaktär, och definitivt inte av godartad karaktär.

Ok? Synd att saker som inte är av godartad karaktär skrivits.

Är det de saker som du har skrivit du tänker på som "av icke godartad karaktär", eller vad är det som du förmodar går in under din beskrivning?

Att redogöra för testmetodik är absolut essentiellt om man vill hävda någon som helst vetenskaplighet eller för att uppnå vetenskaplig status. Metodiken bör alltså vara så noggrant dokumenterad och formulerad att helt främmande personer som långt fram i tiden som vill kunna göra om försöket bör med den beskrivna metodiken dels kunna utföra testen identiskt som tidigare, dels komma till samma resultat som tidigare, annars duger metodiken helt enkelt inte.

Den som tror att försök av dessa slag går att repetera med identiskt samma resultat som tidigare (och att det har med något dokument eller med metodiken att göra) har inte förstått komplexiteten av variablerna, där även lyssnarna ingår.

Förvisso går det att utforma studier som blir extremt repeterbara - men de blir så svaga att det är bortkastat arbete att ägna sig åt dem. De kommer inte ens i närheten av att nå fram till de verkliga detektionströsklarna. Vad skall man då göra dem för?

OBS, det är inte själva manualen som inte duger utan det är själva testmetodiken som genom manualens uselhet har gjorts om intet. Testmetodiken är alltså förlegad utan en perfekt manual.

Förlegad? (Vad menar du med det ordet?)

Beskrivningen av hur testerna går till har funnits dokumenterade till fullo.

Om det är för komplicerat att dokumentera en metodik så överlämnar man arbetet åt någon som kan och vill dokumentera , eller så avslutar man att utföra testet enligt testmetodiken eller så fråntar man metodiken dess vetenskapliga status d v s man ger metodiken en lekstugestatus. Det är inget fel på lekstuga, det finns många ungar som har kul i lekskolan

Testerna som gjort i LTS namn har alltid varit vetenskapliga, men redovisningarna har alltid varit i form av vanliga artiklar.

Den största poängen med att göra på det viset är att man ju vill fokusera på de delar som är av verklig relevans - de subjektiva bedömningarna av storlekar, och beskrivningarna av karaktärerna! Verifikationen är bara en liten (men nödvändig) detalj av det hela, den finns bara till av en enda orsak - att validisera de beskrivna upplevelserna.

Därför har så skett med löjligt stora marginaler vid varje testtillfälle. I förekommande fall har även serierna redovisats för den som velat räkna själv. Om du inte känner till detta så måste jag förmoda att det beror på att du inte läst MoLt. Är det så? Isåfall kan man uppfatta att det är lite märkligt att du lägger dig i debatten.

Eftersom, vad jag nu förstår, det aldrig har funnits någon exakt och absolut redogörelse för metodiken så har enligt mitt förmenande samtliga tester som gjort utan denna dokumentation av själva testmetodiken ingen långsiktig eller vetenskaplig relevans och bör därför ej heller relateras till om man är seriös.

Varifrån har du fått att det är så?

Resultaten saknar helt enkelt vetenskapligt värde och kan ej ligga som grund vid jämförelse med kommande tester även om det är andra apparater som testas.

Tråkig historia, men så är det i livet ibland

Det kan man ALDRIG göra. Den som tror det har inte förstått de grundläggande problemen i vad avser vetenskapliga studier av hörbarheter - det vill säga subjektiva storheter.

De är ALDRIG jämförbara över tiden, men mindre än att man koncentrerar sig på "medeldetektioner" och därtill fastslår testuppställningsparametrar som i sig potentiellt korrumperar detektionströsklarna.

Hur gärna man än vill är man som läsare av en testredovisning därför tvungen att luta sig mot det förtroende man känner för testarnas förmåga att skapa validitet. För något annat än validiteten av "ATT" en detektion har skett kan ändå inte åstadkommas.

Och om denna skall bli repeterbar över de ofrivilliga parametervariationerna över tid och rum, så måste man dramatiskt begränsa testens felfinningspotential (genom att hindra flexibla uppställningar och genom att använda så jättelika lyssningsgrupper att enstaka elitlyssnare försvinner helt i statistikens dunkla (med för små ting ändå bländande) brus.

Kort sagt - det är bara att glömma sådant om man är ute efter att göra meningafulla studier. Det vill säga att nå så långt ut man kan mot de mänskliga hör gränserna.

Mitt förslag är följande:
Utarbeta en testmetodik. Skriv noggrant ner och redogör för denna metodik i detalj.
Därefter kan man i lugn och ro förfina metodiken och dess dokumentation. Resultaten bör ochså dokumenteras på ett stringent sätt vars stringens är redogjort för i testmetodens dokumentation.

Man skall först utarbeta och nedteckna, sedan förfina metod och dokumentation, men ändå vara stringent...

Eftersom det rör sig om subjektivt lyssnande av människor bör det finnas en urvalsmetod av lyssnare vars urvalsmetod det också redogöres för i testmetodens dokumentation.

Skulle en sådan manual jämte resultatredovisning ha funnits så skulle en massa ofrånkomligt tjafs ha undvikits

Väl mött
Peter Steindl

Det har undvikits i många år redan som det varit, och nyckeln till att undvika tjafs är att ha turen att slippa tjafsare.

Den som vill tjafsa gör det - oavsett relevansen i det hela, och utan ände. Så har det alltid varit, och så kommer det nog alltid att vara. Den som inte tror det bör sätta sig in bättre i det elände som drabbar vetenskapsvärlden, när "akademisk" blir en licens för att komma med irrelevanta invändningar.


Vh, iö

[IngOehman]

Tidigare har jag skrivit så här,

Skulle man kunna tänka sig att man definierar upp testförloppet så att ett stringent testförfarande kunde upprepas även om testförfarandet görs av andra och vid olika tillfällen. Jag bara undrar.

Väl Mött
PS

<snip>

Instämmer, och vill komplettera med att det bara är de statistiska spörsmålen detta handlar om. De övriga delarna av metoden har beskrivits ganska utförligt och är dessutom svåra att göra mycket bättre.

Principen att lyssna före och efter och jämföra det för att få reda på om/hur en apparat färgar anser jag är precis rätt sätt.

Jag anser också att kringutrustningen inklusive konstlasten som LTS använder är fullt tillräcklig för ändamålet.

Det är liksom "rätt" alltihop.

Det är just det där statistiska som jag inte kan bedömma eftersom det inte finns någon riktig redogörelse för hur det har gått till.

Det är nog därför jag engagerar mig såpass som jag gör i frågan, jag tycker det är surt att en så bra implementering av metoden ska snubbla på den statistiska redovisningen.

Jag jobbar för en förändring av det.

Du har ju till och med varit med på F/E-lyssningar! Har du inte kunnat bedöma vilken statistisk signifikans utfallen fått då heller?

Mycket märkligt. Ofattbart. Och vad säger det om diskussionen?

Att det finns ett problem med de faktiska testerna, eller att problemet är att någon kritiserar dem som inte kan bedöma dem ens på plats, med alla fakta tillgängliga...


Vh, iö

[Birger]

Tjafs? tjafsare?
Tack IÖ. Du har fullkomligt klargjort din inställning till oss som undrar och är intresserade. Själv tycker jag att metoden är bra och jag kan inte komma på någon bättre metod att utvärdera hifi-elektronik men denna tråd bla har visat att metoden inte är perfekt om nu någon trodde det.

Skärpning med attidyden IÖ. Du har påfallande ofta visat denna tråkiga "von oben" attityd. Visa istället hur du kan upplysa oss mindre vetande på ett sakligt och informativt sätt. Du har ju gjort det förrut.

[Kaffekoppen]

Mycket bra, men kan bli ännu bättre

[subjektivisten]

Tycker vi alla lugnar ner oss och fortsätter tråden på ett bra sätt. Tycker det är väldigt viktigt och något som bör belysas OFTA det Ingvar tar upp om metoden. Det är ju inte så att resultatet kan repeteras av vem som helst, eftersom variablarna är så otroligt många att det är stort sett omöjligt.
T ex så påverkar ju vilka som lyssnar, vilket matrial man lyssnar på och vad man lyssnar med. Så om pelle med nersatt hörsel inte man få samma resultat med sin microstereo säger ju inte att själva metoden är felaktig, utan att man måste tänka på alla olika felkällor som olika lyssnare, matrial och vad man använder.

Har jag fel så får ni gärna påpeka det.

[Harryup]

Fast å andra sidan har ju metoden försvarats av vissa till en början med att den var så fiffig så att man kunde höra skillnad i vilken anläggning som helst. Sen efter lite ifrågasättande så har ju det styrts upp mer och mer. Och nu är det alltså inte ens möjligt att försöka repetera den för att det är så krångligt.
Ursäkta men om resultaten är så ynke pynke små skillnader som detekteras så att det inte är någon vits att andra ens försöker för att det förmodligen inte går.

Vem kan då höra dessa skillnader i sin stereo på vanlig musik? Absolut ingen? Betyder det då att det man detekterar saknar betydelse för 99,9% av lyssnarna?
Om det är så så vore det ju kanske bra om man kunde sprida testen så att man bara kan skingra bort eländet och så fick man nöja sig med att det mesta låter likadant.

mvh/harry

[IngOehman]

Att utfärda varning för att dra för långtgående slutsatser är inte samma sak som att något inte har någon funktion. F/E-lyssning fungerar extremt bra om det är bra utfört och förutsättningarna att detektera verkliga fel ges. Där ingår val av programmaterial och flexibilitet i försöksuppställningen så att den kan anpassas till de fel som är troligast att de finns där (vilket man kan få ansatser til genon att t ex känna till mätdata). Dessutom är det av stor vikt att man använder goda lyssnare, och helst så samma som möjligt varje gång. Lyssningsanläggningen är i sammanhanget mindre viktig.

Att ändra testförfarandet så att man ur informationen som man får från studien, inte kan dra några andra slutstser än att "nästan alla förstärkare saknar hörbara färgningar är inte svårt". Men varför fördärva en testmtod på det viset?

Att en testmetod går att fördärva betyder inte att det är metoden det är fel på - bara att man t ex låtit fokus hamna på statistiken så illa att detektionen tagit skada. Men lika varje gång blir det kanske... men till vilken nytta? Repeterbara meningslösa resultat har man inte mycket nytta av.

Så frågan är vad som är vitsen med att göra sådana tester?

Ord och inga visor!

En annan sak som är märkligt med testet - som jag ser det - är att det är öppet deltagarna emellan. Att man ropar ut offentligt vad man hör.
Det torde vara helt omöjligt att inte sitta i samma rum och bli påverkad av det.

Att det inte körs blint, dubbelblint och/eller privat är fullständigt ofattbart.

Då har du inte förstått varken:

1 Hur testerna är upplagda,

2. Hur slutsatser dragits från utfallet,

3. Hur de faktiska utfallen varit eller,

4. Hur de olika begreppen definieras.


Så här är det:

1. Möjligheten till dialog förbättrar AVSEVÄRT detektionen. Inte för att människor kan härma varandra, utan för att folk kan öva och lära sig.

2. Själklart förutsätts att alla svar som angivits på samma stimuli kan vara korrelerade!

3. Det är mycket sällsynt att avgivna svar uppvisat någon faktisk korrelation (vilket förstås bara är en reflexion). Men eftersom korrelation förutsätts kan det oavsett vilket inte påverka statistiken bedrägligt.

4. Blint förfarande = att inte ha tillgång till facit! Det är inte att "inte veta vad andra gissar", eller "att inte veta resultatet frå ens egna tidigare gissningar".


Vh, iö

[Laila]

T ex så påverkar ju vilka som lyssnar, vilket matrial man lyssnar på och vad man lyssnar med. Så om pelle med nersatt hörsel inte man få samma resultat med sin microstereo säger ju inte att själva metoden är felaktig, utan att man måste tänka på alla olika felkällor som olika lyssnare, matrial och vad man använder.

Har jag fel så får ni gärna påpeka det.

Så du menar på fullt allvar att jag inte skulle kunna detektera tex.
mina Sentec M30 i en "microstereo-rigg" ? Självklart kan jag det
eftersom de(Sentec:arna) är så förbaskat bra. Även en "halvdöv
person" skulle höra skillnad. Det är jag övertygad om !

[IngOehman]

Att det inte körs blint, dubbelblint och/eller privat är fullständigt ofattbart.

Det körs definitivt blint. du pratar om korrelation mellan deltagare. Det är en annan sak.

Dubbelblint blir det i nästa release. Men det enda det kommer åt är testledarens eventuella påverkan.

Exakt. Blint mellan deltagare. Kallas det korrelation? Okej.

Hursomhelst, det låter tokfel.
Som upplagt för påverkan. Inte bra.

Påverkan mellan lyssnarna är ju själva poängen med att lägga upp testen på det viset.


Vh, iö

[subjektivisten]

Fast å andra sidan har ju metoden försvarats av vissa till en början med att den var så fiffig så att man kunde höra skillnad i vilken anläggning som helst. Sen efter lite ifrågasättande så har ju det styrts upp mer och mer. Och nu är det alltså inte ens möjligt att försöka repetera den för att det är så krångligt.
Ursäkta men om resultaten är så ynke pynke små skillnader som detekteras så att det inte är någon vits att andra ens försöker för att det förmodligen inte går.

Vem kan då höra dessa skillnader i sin stereo på vanlig musik? Absolut ingen? Betyder det då att det man detekterar saknar betydelse för 99,9% av lyssnarna?
Om det är så så vore det ju kanske bra om man kunde sprida testen så att man bara kan skingra bort eländet och så fick man nöja sig med att det mesta låter likadant.

mvh/harry

Hur läser du nu?
Poängen med det kommer ju in när du sätter ihop en KEDJA med apparater, där fel som du kanske inte hör enskilt kan adderas ihop och tillsammans med andra fel skapa ett hörbart fel.

[dimitri]

Ett litet inlägg, ser att flera andra har hunnit skriva emellan.

Tidigare har jag skrivit så här,
Skulle man kunna tänka sig att man definierar upp testförloppet så att ett stringent testförfarande kunde upprepas även om testförfarandet görs av andra och vid olika tillfällen. Jag bara undrar.
Väl Mött
PS

F/E test har upprepats av andra efter LTS beskrivning.

Det borde vara ett grundkrav att man redogör i detalj för hur ett försök läggs upp och hur det utformas i praktiken. F/E-lyssning verkar vara en komplicerad testmetodik. Jag förmodar att mycket av det som skrivs i denna tråd är av déjà vu karaktär, och definitivt inte av godartad karaktär.

Som sagt, metoden har beskrivits i detalj så att det kunde utformas praktiken av andra.

Att redogöra för testmetodik är absolut essentiellt om man vill hävda någon som helst vetenskaplighet eller för att uppnå vetenskaplig status. Metodiken bör alltså vara så noggrant dokumenterad och formulerad att helt främmande personer som långt fram i tiden som vill kunna göra om försöket bör med den beskrivna metodiken dels kunna utföra testen identiskt som tidigare, dels komma till samma resultat som tidigare, annars duger metodiken helt enkelt inte.

Ovanst är skrivet utan någon som helst basal kunskap om vetenskaplig metodik. Det är frestande för mig här att skriva ”läs på om vetenskaplig metodik så förstår du varför”, jag ska dock inte vara sån, jag skall vara snäll och försöka använda ”vanligt” språk. Att F/E lyssning besitter förmågan att skilja F från E även när skillnader är små är klarlagt. Eller hur? Det håller även du med om? Förutsatt förstås att skillnad finns. Det är det ena vetenskapliga kravet som en bra metod skall uppfylla. Det andra kravet är att metoden inte producerar falskt positiva resultat, dvs. att metoden inte påvisar skillnad när skillnad inte finns. Detta krav brukar vara det som är svårast för ALLA metoder att tillgodose. Är allt klart så långt?
Nåväl, vad är F/E lyssning för något? Det är en metod. I sin basala funktion skiljer den sig inte från lackmustest (Dvs. att man doppar lackmuspapper och en färgförändring observeras eller observeras inte). På basis om färgförändring uppträder kan man sluta sig till att lösning är sur. Men det uppstår en fråga här som t.ex. Svante kunde ställa: Men hur kan JAG veta att färgen har förändrats eller inte förändrats? Vet du Peter vad svaret på denna fråga är? Tänk lite. Jo, svaret är: Tyvärr Svante, det kan du inte!!! I alla fall inte med säkerhet. OCH det spelar ingen roll hur noga lackmustestet har beskrivits inklusive uppgift att man ”förkalibrerar” genom att doppa pappret i destillerat vatten och meddela att inget färgomslag skett. Svante kan lik förbaskat alltid ställa samma fråga och svaret kommer alltid att vara detsamma. Ändå kan lackmustest kan utföras såväl på Wallenbergslaboratoriet som av 10-åriga lisa som har tar sina första steg inom kemin.
Med detta klarlagt är det dags att påpeka din verkliga tabbe. Testet kommer aldrig garanterat kunna reproduceras oaktat detaljnivån i metodbeskrivningen. Som sagt, jag är snäll och nämner för dig några anledningar: lokal, kringutrustning, den testade apparaten som är ett annat exemplar eller om samma exemplar så inte längre i garanterat samma tillstånd som då, temperatur, luftfuktighet osv. Men en annan faktor är av ojämförligt störst betydelse, nämligen individer som deltar. Är det samma individer? Är deras sinnesstämning samma? Är deras stressnivå samma? Har de skaffat sig vaxproppar respektive blivit av med vaxproppar? Osv. Variablerna äro oändliga.
Alltså: det är metoden som kallas F/E lyssning som är under lupen. Eller rättare sagt: Det är metoden som kallas F/E lyssning som inte längre är under lupen eftersom dess förmåga att hitta skillnader när dessa finns och misslyckas att påvisa skillnader när dessa understiger det detekterbara, är etablerad.
Det är dock inte bara strunt du skriver, det menar jag inte. Det är sant att det är viktigt att redogöra för testmetodiken. I vetenskapliga artiklar. Dock med alla förbehåll som anförts ovan. Och F/E metoden är faktiskt beskriven.

Om det är för komplicerat att dokumentera en metodik så överlämnar man arbetet åt någon som kan och vill dokumentera , eller så avslutar man att utföra testet enligt testmetodiken eller så fråntar man metodiken dess vetenskapliga status d v s man ger metodiken en lekstugestatus. Det är inget fel på lekstuga, det finns många ungar som har kul i lekskolan

Peter, vetenskap är inte en lekstuga. Det duger inte att häva ur sig citat från en gymnasielärobok om vetenskap. Jag kan inte se att något vetenskapligt arbete om f/e metoden har skrivits i en peer reviewed tidskrift. Men det kanske kommer att göras, hoppas jag.

Resultaten saknar helt enkelt vetenskapligt värde och kan ej ligga som grund vid jämförelse med kommande tester även om det är andra apparater som testas.

"Även"? Ja du, du är rolig du.

Väl mött
Peter Steindl

]
Ska göra mitt bästa
Vh
Dimitri

[dimitri]

Och då skulle LTS kunna ha 5-6 testriggar där man förutom kunna upprepa tester hinna testa betydligt flera produkter och därigenom avmystifiera både metoden och Sällskapet som förening.

mvh/Harry

Varför LTS? LTS är nöjd med den rigg det har. Varför inte du t.ex.?

[IngOehman]

Kan nämna att just det där men att glömma vitsen med att alls testa saker (nämligen att få veta något om dem) på grund av bländning av idén att göra den statistiska beräkningen enkel att göra och lätt att förstå, nog är testandets värsta fiende.


Går MP3 128 kb/s att höra?

Testmetod 1:

Bestäm en låt som är populär (ettan på topplistan?), bestäm ett par hörlurar, bestäm en lyssningsvolym och testa sedan 10 000 slumpvist valda människor med en förutbestämd serie 7/7 (ref vs A/B).

Utfall: Om inte ett under sker kommer programmaterialet att vara så lätt för systemet att de som eventuellt kommer att höra någon skillnad druknar i statistiken, eftersom i runda tal 100 personer kommer att träffa in 7/7 på ren tur.

Utfall 2: Repeteras studien någon annanstans med andra lyssnare och med en liknande 128 kb/s-kodare (men inte samma) så kommer resultatet att bli detsamma - 128 kb/s kan inte påvisas kunna detekteras.

Kort sagt: Test utan värde för den som vill veta något om kodarna som har att göra med eentuella hörbarheter från dem i knepiga situationer - det vill säga de som i den praktiska verkligheten är de som kommer att störa, förr eller senare.


Testmetod 2:

Välj i förväg ut en liten grupp erkänt goda lyssnare, välj en bra anläggning (vilket faktiskt är en av de minst kritiska komponenterna i receptet), konsultera kunskapen om vad som är "svårt/utslagsgivande" programmaterial, och skaffa dessutom före blindlyssningen gott om erfarenheter från öppna lyssningserfarenheter av svårigheterna. Avsluta med att verifiera hörbarheten med hjälp av hela eller en liten del av lyssningsgruppen.

Utfall: Färgningar kommer GARANTERAT att detekteras under de ovanstående förutsättningarna, för bättre än inte MP3 128 kb/s.

Utfall 2: Repeteras studien med samma grundmetod med på annan plats och med andra lyssnare kommer detektion även den gången att ske, men beskrivningarna av felen kommer sannolikt inte att bli identiska, och det finns ingen möjlighet att genom att läsa båda testerna, få veta om den ena eller andra kodaren var den bättre. Skillnaderna ligger ju på det subjektiva planet, så skall beskrivningar på dem kunna jämföras behöver förutsättningarna ha varit indentiska.

Kort sagt: Prov med stort värde eftersom testupplägget möjliggjort att man kunnat påvisa att båda kodarna förvränger musiksignalen under vissa förutsättningar (som förr eller senare kommer att föreligga, på något programmateial i framtiden).

Men: Det går inte att jämföra resultaten eftersom färgningarna i båda fallen ju är en subjektiv komponent som inte kommer att beskrivas identiskt lika. Ej heller kan man veta att detektionströsklarna varit identiska i de båda fallen. Men givet förnuftiga val av programmaterial och erfarna lyssnare med skarpa öron, kan man på erfarenhetsgrund anta att man i båda fallen kommit i varje fall förhållandevis nära sanningen när det gäller själva detektionsgränsen.


Slutsats från alltsammans:

1. Det är en utmärkt idé att det F/E-lyssnas i många grupper.

2. Det är av största vikt att de allihopa har all nödvändig kompetens för att kunna optimera resultaten - och det får man inte från utantill-lärda tabeller (snarare är statistikhanteringen den minsta svårigheten i sammanhanget) och förutbestämda förutsättningar, som i förekommande fall kan få resultat att bli repeterbara, men helt meningslösa.

3. Det är bra om så många som möjligt av dem som sedan ta del av resultaten förstår att man inte kommer att kunna jämföra resultat från olika grupper, även om just detektionströsklarna (givet att kompetensen finns där, på alla platser där testerna sker) troligen kommer att hamna förhållandevis nära varandra.


Vh, iö

- - - - -

PS. Här i Hong Kong har klockan hunnit bli halv två på natten, och jag skall upp vid 7-tiden i morgon bitti, så natti-natti!

[Laila]

KarlXII !

Påverkan mellan lyssnarna är ju själva poängen med att lägga upp testen på det viset.
Vh, iö

Eftersom det är skillnader/fel man försöker detektera så är det
välan alldeles utmärkt om lyssnarna kommunicerar med varandra.
Gissningsvis så kan det gå snabbare/enklare att höra en avvikelse
om man får tips om vad man kan koncentrera sin lyssning på. Varför
elda för kråkorna ?