Blindtesters tillförlitlighet...

[JM]

Dock är testet inte dubbelblint vilket gör att testledarens bias kan förmedlas omedvetet och kan ge feldetektion.

Sant.

Vem utförde lyssningstestet vid testningen av Ingvars högtalare?

JM

[single_malt]

jag kan inte uttrycka mig om blindtesters tillförlitlighet pga att jag aldrig gör några, ska jag testa 2 apparater eller högtalare så måste jag kunna switch mellan apparaterna sekundsnabbt/direkt, annars känner jag att det lika gärna kan kvitta. då läser jag testresultat istället. det ska vara extremt stora skillnader om jag ska kunna höra skillnad mellan 2 apparater om man ska koppla om och ha sig imellan. men om man vet vilka apparater det är så hör man säkert skillnad ändå för att man vill/tror att det är någon skillnad.

därför tycker jag att sekundsnabbt byte (gärna (0,1s max) är det bästa då hör man direkt om det är någon skillnad eller inte, det mesta folk tror sig höra är ren placebo och annat mumbojumbo som dom så gärna vill ska stämma.

min kompis köpte nya kablar för x antal tusen, han sa det var världens skillnad. för honom kanske det var det, för mig var det same shit.

Du kan skatta dig lycklig. Då kan du ju köpa väldigt billiga apparater utan att
det spelar någon roll. Eller i varje fall de billigaste du testat när du kommit
från till det resultat du beskriver.

Om du bara hör skillnad vid supersnabba byten så är det ju perfekt, för på så
vis kommer du ju inte att använda apparaten när du lyssnar på musik. Ergo;
du behöver inte köpa de apparater som du bara hör är bättre under dessa
rätt så speciella omständigheter som du beskriver.


Vh, iö

Jag tror att Hm2 har en poäng här. Det är endast vid snabba byten mellan tämligen okomplexa stimuli vår förmåga att HÖRA skillnader kan registreras. I andra fall registreras förmågan att MINNAS skillnader..
Det har varit väldigt svårt att få svar på hur själva stimulipresentationen går till i FE/testet. Jag har frågat om det många gånger.

[Naqref]

Dock är testet inte dubbelblint vilket gör att testledarens bias kan förmedlas omedvetet och kan ge feldetektion.

Sant.

Vem utförde lyssningstestet vid testningen av Ingvars högtalare?

JM

Ingvars högtalare har inte testats. De har däremot använts vid tester. Om jag inte är helt felunderrättad.

[Svante]

Dock är testet inte dubbelblint vilket gör att testledarens bias kan förmedlas omedvetet och kan ge feldetektion.

Sant.

Vem utförde lyssningstestet vid testningen av Ingvars högtalare?

JM

Vad jag vet har inte Ingvars högtalare testats i LTS regi. Om du inte menar LTS-högtalarna, och då var det väl inte tal om ett regelrätt lyssningstest utan snarare en del av byggprojektet.

[Svante]

Dock är testet inte dubbelblint vilket gör att testledarens bias kan förmedlas omedvetet och kan ge feldetektion.

Sant.

Vem utförde lyssningstestet vid testningen av Ingvars högtalare?

JM

Ingvars högtalare har inte testats. De har däremot använts vid tester. Om jag inte är helt felunderrättad.

Ah, ja just det, de användes som referens i ett högtalartest en gång ja.

[Svante]

Jag tror att Hm2 har en poäng här. Det är endast vid snabba byten mellan tämligen okomplexa stimuli vår förmåga att HÖRA skillnader kan registreras. I andra fall registreras förmågan att MINNAS skillnader..
Det har varit väldigt svårt att få svar på hur själva stimulipresentationen går till i FE/testet. Jag har frågat om det många gånger.

Jag antar att det är LTS FE du menar? Vad är det du vill veta?

Presentationen går typiskt till så att man ställer en CD-spelare att loopa ett stycke som man tror är särskilt avslöjande. Försöksledaren växlar mellan "före" och "efter" vid varje ny loop. Lyssnarna vet inte när före resp efter spelar. Loopen pågår tills någon ropar (tex "efter"), resultatet antecknas, flera lyssnare får om de vill avge svar efter att någon annan har ropat. (med kunskap om vad den förste ropade (detta tas om han i statistiken/försöksdesignen)).

[JM]

Dock är testet inte dubbelblint vilket gör att testledarens bias kan förmedlas omedvetet och kan ge feldetektion.

Ytterligare en felkälla är att testet inte är blint. Förväntanseffekter komme att påverka F/E-lyssningsresutatet.
Benägenheten att hitta reela fel hos den förstärkare som uppfattas som sämre kommer att öka.
Omvänt gäller för den förstärkare som uppfattas som bättre. Dvs benägenheten att hitta reela fel kommer att minska.
Så skillnaden mellan förstärkarna kommer att överdrivas när testet inte är blint.

Psykologiska forskningen är full av exempel där typ en förstärkare som uppfattas som sämre testas mot bättre.
Tydliga lyssningsskillnader blir resultatet trots att det var samma förstärkare vid bägge lyssningstillfällena.

JM

[paa]

Dock är testet inte dubbelblint vilket gör att testledarens bias kan förmedlas omedvetet och kan ge feldetektion.

Sant.

Vem utförde lyssningstestet vid testningen av Ingvars högtalare?

JM

Ingvars högtalare har inte testats. De har däremot använts vid tester. Om jag inte är helt felunderrättad.

Ah, ja just det, de användes som referens i ett högtalartest en gång ja.

Det är väl mer än en gång som man F/E-lyssnat vid Studio Blue?

[single_malt]

Jag antar att det är LTS FE du menar? Vad är det du vill veta?

Presentationen går typiskt till så att man ställer en CD-spelare att loopa ett stycke som man tror är särskilt avslöjande. Försöksledaren växlar mellan "före" och "efter" vid varje ny loop. Lyssnarna vet inte när före resp efter spelar. Loopen pågår tills någon ropar (tex "efter"), resultatet antecknas, flera lyssnare får om de vill avge svar efter att någon annan har ropat. (med kunskap om vad den förste ropade (detta tas om han i statistiken/försöksdesignen)).

Ja, det är LTS FE jag menar .
Hur långa är looparna, och hur långt avbrott är det mellan växlingarna?

[Svante]

Dock är testet inte dubbelblint vilket gör att testledarens bias kan förmedlas omedvetet och kan ge feldetektion.

Ytterligare en felkälla är att testet inte är blint. Förväntanseffekter komme att påverka F/E-lyssningsresutatet.
Benägenheten att hitta reela fel hos den förstärkare som uppfattas som sämre kommer att öka.
Omvänt gäller för den förstärkare som uppfattas som bättre. Dvs benägenheten att hitta reela fel kommer att minska.
Så skillnaden mellan förstärkarna kommer att överdrivas när testet inte är blint.

Psykologiska forskningen är full av exempel där typ en förstärkare som uppfattas som sämre testas mot bättre.
Tydliga lyssningsskillnader blir resultatet trots att det var samma förstärkare vid bägge lyssningstillfällena.

JM

Om man bara har klart för sig att det bara är detektion som är hårda vetenskapliga data så är det där oproblematiskt. En detektion är en detektion. Det du beskriver är dock ett problem vid värderingen av en icke-detektion och vid värderingen av subjektiva beskrivningar av felets art.

Om man ser misslyckad detektion som stående i strid med lyckad detektion så har man inte förstått hur testet ska tolkas.

Jag vill dock påpeka att det i LTS FE-lyssningar snarare verkar sporrande om en förstärkare är svår att höra. Lyssnarna brukar som regel bli frustrerade när de inte klarar att höra skillnad och nästan se det som en prestigeförlust.

[Naqref]

Dock är testet inte dubbelblint vilket gör att testledarens bias kan förmedlas omedvetet och kan ge feldetektion.

Ytterligare en felkälla är att testet inte är blint. Förväntanseffekter komme att påverka F/E-lyssningsresutatet.

Min kommentar gällde den blinda delen av testet.

[Svante]

Jag antar att det är LTS FE du menar? Vad är det du vill veta?

Presentationen går typiskt till så att man ställer en CD-spelare att loopa ett stycke som man tror är särskilt avslöjande. Försöksledaren växlar mellan "före" och "efter" vid varje ny loop. Lyssnarna vet inte när före resp efter spelar. Loopen pågår tills någon ropar (tex "efter"), resultatet antecknas, flera lyssnare får om de vill avge svar efter att någon annan har ropat. (med kunskap om vad den förste ropade (detta tas om han i statistiken/försöksdesignen)).

Ja, det är LTS FE jag menar .
Hur långa är looparna, och hur långt avbrott är det mellan växlingarna?

Typisk looplängd är kanske 3-10 s, växling utan avbrott (direkt omkoppling).

[Svante]

Dock är testet inte dubbelblint vilket gör att testledarens bias kan förmedlas omedvetet och kan ge feldetektion.

Sant.

Vem utförde lyssningstestet vid testningen av Ingvars högtalare?

JM

Ingvars högtalare har inte testats. De har däremot använts vid tester. Om jag inte är helt felunderrättad.

Ah, ja just det, de användes som referens i ett högtalartest en gång ja.

Det är väl mer än en gång som man F/E-lyssnat vid Studio Blue?

Ah, igen. Javisst, man använder typiskt INO-systemet i SB vid LTS FE-lyssningar, ja.

[Thomas_A]

Dock är testet inte dubbelblint vilket gör att testledarens bias kan förmedlas omedvetet och kan ge feldetektion.

Ytterligare en felkälla är att testet inte är blint. Förväntanseffekter komme att påverka F/E-lyssningsresutatet.
Benägenheten att hitta reela fel hos den förstärkare som uppfattas som sämre kommer att öka.
Omvänt gäller för den förstärkare som uppfattas som bättre. Dvs benägenheten att hitta reela fel kommer att minska.
Så skillnaden mellan förstärkarna kommer att överdrivas när testet inte är blint.

Psykologiska forskningen är full av exempel där typ en förstärkare som uppfattas som sämre testas mot bättre.
Tydliga lyssningsskillnader blir resultatet trots att det var samma förstärkare vid bägge lyssningstillfällena.

JM

Om lyssningen är blind så kommer man ju inte veta vilken det är som man letar "fel" i. Det var de när jag körde några provtester i LTS en gång i tiden - dvs jag visste inte vilken vilken spelare som spelades inför varje omgång även om jag visste vilka två spelare som testades mot varandra.

Hittar man konsekvent något fel så han man ju hittat en skillnad oavsett om det nu skulle vara den förstärkare/spelare som uppfattas som "sämre" eller den som är "bättre". Om det var samma förstärkare/spelare kommer resultaten van bli 50-50.

Jag, Mikael Sundman och John Stalberg gjorde då även då ett dubbelblint test som dokumenterades på webben.

*Och av det jag minns blev det lite svårare när det var dubbelblint. Det gick inte att gå tillbaka och "träna" under tiden vilket gjorde det svårare.

Thomas

[Svante]

Dock är testet inte dubbelblint vilket gör att testledarens bias kan förmedlas omedvetet och kan ge feldetektion.

Ytterligare en felkälla är att testet inte är blint. Förväntanseffekter komme att påverka F/E-lyssningsresutatet.
Benägenheten att hitta reela fel hos den förstärkare som uppfattas som sämre kommer att öka.
Omvänt gäller för den förstärkare som uppfattas som bättre. Dvs benägenheten att hitta reela fel kommer att minska.
Så skillnaden mellan förstärkarna kommer att överdrivas när testet inte är blint.

Psykologiska forskningen är full av exempel där typ en förstärkare som uppfattas som sämre testas mot bättre.
Tydliga lyssningsskillnader blir resultatet trots att det var samma förstärkare vid bägge lyssningstillfällena.

JM

Om lyssningen är blind så kommer man ju inte veta vilken det är som man letar "fel" i. Det var de när jag körde några provtester i LTS en gång i tiden - dvs jag visste inte vilken vilken spelare som spelades inför varje omgång även om jag visste vilka två spelare som testades mot varandra.

Hittar man konsekvent något fel så han man ju hittat en skillnad oavsett om det nu skulle vara den förstärkare/spelare som uppfattas som "sämre" eller den som är "bättre". Om det var samma förstärkare/spelare kommer resultaten van bli 50-50.

Jag, Mikael Sundman och John Stalberg gjorde då även då ett dubbelblint test som dokumenterades på webben.

Thomas

...fast nu beskriver du inte en FE-lyssning. Men det du skriver gäller även sådana, ja.

[single_malt]

Jag antar att det är LTS FE du menar? Vad är det du vill veta?

Presentationen går typiskt till så att man ställer en CD-spelare att loopa ett stycke som man tror är särskilt avslöjande. Försöksledaren växlar mellan "före" och "efter" vid varje ny loop. Lyssnarna vet inte när före resp efter spelar. Loopen pågår tills någon ropar (tex "efter"), resultatet antecknas, flera lyssnare får om de vill avge svar efter att någon annan har ropat. (med kunskap om vad den förste ropade (detta tas om han i statistiken/försöksdesignen)).

Ja, det är LTS FE jag menar .
Hur långa är looparna, och hur långt avbrott är det mellan växlingarna?

Typisk looplängd är kanske 3-10 s, växling utan avbrott (direkt omkoppling).

Aha, tack för svaret! Har LTS kommit fram till att detta är det bästa sättet att detektera en färgning? Förmås JND hittas? Eller har ni andra kriterier?

[Svante]

Jag antar att det är LTS FE du menar? Vad är det du vill veta?

Presentationen går typiskt till så att man ställer en CD-spelare att loopa ett stycke som man tror är särskilt avslöjande. Försöksledaren växlar mellan "före" och "efter" vid varje ny loop. Lyssnarna vet inte när före resp efter spelar. Loopen pågår tills någon ropar (tex "efter"), resultatet antecknas, flera lyssnare får om de vill avge svar efter att någon annan har ropat. (med kunskap om vad den förste ropade (detta tas om han i statistiken/försöksdesignen)).

Ja, det är LTS FE jag menar .
Hur långa är looparna, och hur långt avbrott är det mellan växlingarna?

Typisk looplängd är kanske 3-10 s, växling utan avbrott (direkt omkoppling).

Aha, tack för svaret! Har LTS kommit fram till att detta är det bästa sättet att detektera en färgning? Förmås JND hittas? Eller har ni andra kriterier?

Vad som är bäst vet man aldrig, men förfaringssättet ger en hög känslighet, ja.

Frågan om JND måste förtydligas, men i allmänhet undersöker vi inte någon viss parameter ("hur många dB måste diskanten sänkas för att det ska höras") utan bara om en viss förstärkare hörs. Genom åren har det nog visat sig en del informella "sanningar" som att en förstärkare bör ha en undre gränsfrekvens (-3 dB) som inte ligger högre än 3-5 Hz osv. Jag kan ha lite synpunkter på hur man bäst ska formulera det där, men har inte orkat ge mig in i det.

Så JND finns inte med som begrepp i testandet utan kriteriet är helt enkelt ett visst antal rätt/fel (finns detaljerat beskrivet i MoLT) som godtas som detektion.

[IngOehman]

Dock är testet inte dubbelblint vilket gör att testledarens bias kan förmedlas omedvetet och kan ge feldetektion.

Ytterligare en felkälla är att testet inte är blint. Förväntanseffekter komme att påverka F/E-lyssningsresutatet.
Benägenheten att hitta reela fel hos den förstärkare som uppfattas som sämre kommer att öka.
Omvänt gäller för den förstärkare som uppfattas som bättre. Dvs benägenheten att hitta reela fel kommer att minska.
Så skillnaden mellan förstärkarna kommer att överdrivas när testet inte är blint.

Psykologiska forskningen är full av exempel där typ en förstärkare som uppfattas som sämre testas mot bättre.
Tydliga lyssningsskillnader blir resultatet trots att det var samma förstärkare vid bägge lyssningstillfällena.

JM

Om lyssningen är blind så kommer man ju inte veta vilken det är som man letar "fel" i. Det var de när jag körde några provtester i LTS en gång i tiden - dvs jag visste inte vilken vilken spelare som spelades inför varje omgång även om jag visste vilka två spelare som testades mot varandra.

Hittar man konsekvent något fel så han man ju hittat en skillnad oavsett om det nu skulle vara den förstärkare/spelare som uppfattas som "sämre" eller den som är "bättre". Om det var samma förstärkare/spelare kommer resultaten van bli 50-50.

Jag, Mikael Sundman och John Stalberg gjorde då även då ett dubbelblint test som dokumenterades på webben.

*Och av det jag minns blev det lite svårare när det var dubbelblint. Det gick inte att gå tillbaka och "träna" under tiden vilket gjorde det svårare.

Thomas

Ja, det finns goda skäl till att F/E-lyssningarna är upplagda som de är.

Och nästan samma sak kan sägas på ett helt annat sätt:
De som kritiserar blindtester baserat på hur sådana brukar gå till (talar
alltså inte om LTS' F/E-lyssningar nu) och som argumenterar att skill-
nader som är uppenbara i verkligheten försvinner i sådana blindlyss-
ningar, absolut har en poäng.

Visst tester är värre än andra, och mera bortkastade tester än dubbel-
blinda jämförelser mellan apparater går knappt att göra. Det ger typiskt
precis noll, eller strax över noll.

Det man kan lära sig av dem är saker i stil med att "apparat C och F är
svårare att skilja från varandra än de andra"...


Vh, iö

[IngOehman]

Dock är testet inte dubbelblint vilket gör att testledarens bias kan förmedlas omedvetet och kan ge feldetektion.

Sant.

Vem utförde lyssningstestet vid testningen av Ingvars högtalare?

JM

Ingvars högtalare har inte testats. De har däremot använts vid tester. Om jag inte är helt felunderrättad.

Ah, ja just det, de användes som referens i ett högtalartest en gång ja.

Det är väl mer än en gång som man F/E-lyssnat vid Studio Blue?

Ja, men bara en gång mina högtalare har användts som referens.

Och jag kan lägga till att jag varken deltog eller ställer mig bakom
den sortens tester.


Vh, iö

[IngOehman]

Dock är testet inte dubbelblint vilket gör att testledarens bias kan förmedlas omedvetet och kan ge feldetektion.

Ytterligare en felkälla är att testet inte är blint. Förväntanseffekter komme att påverka F/E-lyssningsresutatet.

Min kommentar gällde den blinda delen av testet.

Det du skriver är i sak riktigt, men man kan diskutera om inte testerna
trots allt snarast måste betraktas som dubbelblinda.

Testledaren sitter dels med ryggen mot lyssnarna och har ju dessutom
normalt inte själv koll på vad som är F och E. Det kollar man ju först när
någon avger en gissning.

Det duger självklart inte för en akademisk avhandling där formalia är en
av grundstenarna, men det är inte en fråga om vetenskap/ovetenskap.


Vh, iö

[Naqref]

Dock är testet inte dubbelblint vilket gör att testledarens bias kan förmedlas omedvetet och kan ge feldetektion.

Ytterligare en felkälla är att testet inte är blint. Förväntanseffekter komme att påverka F/E-lyssningsresutatet.

Min kommentar gällde den blinda delen av testet.

Det du skriver är i sak riktigt, men man kan diskutera om inte testerna
trots allt snarast måste betraktas som dubbelblinda.

Testledaren sitter dels med ryggen mot lyssnarna och har ju dessutom
normalt inte själv koll på vad som är F och E. Det kollar man ju först när
någon avger en gissning.

Det duger självklart inte för en akademisk avhandling där formalia är en
av grundstenarna, men det är inte en fråga om vetenskap/ovetenskap.


Vh, iö

Aha, det håller jag med om. De är rent tekniskt inte dubbelblinda men praktiskt så bör de vara rimligt likställda. Det är ju bra.

[IngOehman]

Det är endast vid snabba byten mellan tämligen okomplexa stimuli vår förmåga att HÖRA skillnader kan registreras. I andra fall registreras förmågan att MINNAS skillnader..

Om man minns en skillnad och den hade fysikaliska orsaker så är det
ju samma sak som att ha hört den. Det handlar om att jämföra hörsel-
intryck i båda fallen, jämförelsen sker bara via olika delar av minnet.
Vid snabba jämförelser använder vi ljudminnet - där minnesbilden är
ett komplett ljud. Vi hör musiken klinga kvar i huvudet väldigt tydligt.

Men när pauserna blir längre så kan vi bara jämför vi antingen minnet
av känslan eller minnet av ljudet.

Minnen av ljud är sällan kompletta på alls samma sätt som det färska
ljudminnet var. T ex så kan man minnas hur en låt låter, bra nog för att
man skall kunna sjunga den.

Men då man inte hör låten klinga på samma sätt som när man hörde
den bara ögonblicket tidigare så är ofta den sortens minnen bristfälliga
på flera sätt. Man kan t ex ibland inte "lyssna på vilket instrument som
spelar en specifik stämma" (som man kan göra om man hört instrumen-
tet spela ögonblicket innan) om man inte reflekterat över det eller hört
låten väldigt många gånger, och man minns ofta inte vilken tonkurva
har hört låten via. Så oavsett vilken anläggning man lyssnade via sist
så minns man låten på samma sätt. Och den kanske största bristen
som de flesta lyssnar drabbas av när en längre paus kommer in så att
man tvingas använda en annan sorts minne än ljudminnet, är att man
inte minns pitchen rätt. Nästan alla normalt musikaliska människor kan
sjunga en låt som de hört många gånger, men bara om de hört den
nyss så kan de sjunga den i rätt pitch. Just detta fenomen har som
jag tror alla förstår en koppling till absolut gehör, och det kanske för-
vånar vissa att det inte är givet att en person med absolut gehör minns
en låt i rätt tonart. Men vet de vilken tonart låten går i så kan de sjunga
den i denna.

Ju mera yrkesskadad man är, desto luddigare blir övergången mellan
ljudminne och minne av ljud.

En annan intressant sak är att det faktiskt på vissa sätt är lättare att
störa ljudminnet än minnen av ljud.

Om man t ex får höra ett ackord som man blir ombedd att minnas, så
fungerar det via ljudminnet i flera minuter om man är ostörd. Men om
man stör den som skall minnas genom att spela några andra ackord
så kan de flesta tappa ljudminnet av det första ljudet på bara några
sekunder. Ett ljud som har överlevt till minnet av ljud (genom repetition
som regel, men det behövs inte alltid) går dock oftast utmärkt väl att
plocka fram oavsett om någon spelat något annat innan.

- - -

Men det var en liten utviktning.

Min erfarenhet är den att man får ökad förmåga att höra små skillnader
när man får använda hörselminnet. Men att skillnaden inte är så stor
som man kanske kan tro.

Man kan självklart diskutera varje parameter för sig, men för att detta
inte skall bli orimligt långt så tar jag bara en - klang.


Jag har gjort experiment där jag har haft lyssnare som fått ta 10 minuter
långa pauser mellan stimuli, och då detekterar de fortfarande skillnader
som är långt under 1 dB och samma sak gäller även för mycket längre
mellanrum (i en växling hör nästan alla mindre tonkurveändringar än 0,5
dB, vissa klara att urskilja nedåt 0,1 dB). Det gäller inte alla lyssnare, men
skapligt många detektera i varje fall i samma storleksordning trots att
pauser läggs in. Visst blir förvisso mycket sämre, men de flesta blir typ
2-5 gånger bättre när man får använda sig av ljudminnet. En viss skill-
nad men även vid långa pauser så spelar saker roll.

- - -

Men de stora skillnaderna är:

1. Hur säker man känner sig,
2. Hur säker man kan vara,
3. Hur svårt det är att åstadkomma blindförutsättningarna, och,
4. Hur lång tid testet tar.

Det sistnämnda kan vara en viktigare faktor än alla de andra tillsammans
om testen alls skall bliva gjord.


1. När det gäller hur säker man känner sig så verkar det (med rätta) vara
så att ett minne av ett ljud helt enkelt känns osäkrare än ljudminnet. Så
är det ju också. Men i de studier på saken som jag gjort på saken så ser
man att korrelationen inte är proportionell.

De lyssnare som klarar att beskriva små skillnader rätt trots långa vilo-
pauser, är de som ofta säger sig vara minst säkra på det de hör, medan
de som säger sig vara mest säkra på hur ljudet ändrat sig, är de som
statistiskt gissar mest fel.

Så korrelationen mellan säkerhet kort/lång överensstämmer inte så bra
mellan detektionsförmågan i kort/lång-sammanhang. Däremot verkar
den vara skapligt fix för en given person.


2. När det gäller hur defacto-säker man kan vara så är det så att stora
fel komma in om man talar om att göra ett lyssningstest med säg en
lyssning varje dag - helt enkelt på grund av att mycket kan hinna ändra
sig. Även om vi kanske har en grundläggande förmåga att höra fel om
mindre än 1 dB så betyder det ju inte att vi har den förmågan varje dag.
Hörseln är i sig en variabel som påverkas av temperatur, hur länge sedan
vi åt, om vi kanske har eller har haft någon infektion i kroppen, om vi har
exponerat oss för mycket kraftiga ljud nyligen...
Så även om själva "minnet av ljud" potentiellt bara är kanske fem gånger
sämre än ljudminnet, alltså vad vi klara att detektera i en snabb omkopp-
ling, så kan det i enskilda fall vara MYCKET sämre än så.
Så hur underligt det än låter så finns det en fara med att lita på just halv-
långa lyssningar. De kan ge intryck som inte är sanna och som inte hade
kommit in i en mycket lång lyssning (då många loopar av alla de där tänk-
bara störningarna avverkas) eller i en snabbväxling.


3. Om man vill testa blindt så är det onekligen en fördel (därmed inte sagt
att det inte kan finnas nackdelar också) att syssla med snabba växlingar.
Ju längre tid av båda inslag och paus mellan dem, desto svårare är det att
upprätthålla blinda förutsättningar.


4. En test av apparater där man både lyssnar på hela låtar och dessutom
tar paus emellan tar MYCKET lång tid att genomföra om man vill göra det
blindt och försöka få ett underlag tillräcklig stort för att en rimlig statistisk
signifikans skall uppnås.

- - - - -

Med allt detta sagt vill jag ånyo gratulera alla dem som inte hör skillnad
mellan olika anläggningar om de inte för jämföra dem sida vid sida. Då är
mycket pengar sparade.

Men de allra flesta hör faktiskt att vissa anläggningar (spelare, förstärkare,
högtalare och rum) låter bättre än andra. Även om vi inte hör skillnaderna
varken lite lätt som i en snabbväxling. Men problemet med snabbväxlingar
(se även mitt tidigare inlägg där jag nämnda jämförelselyssningar) är att
man kan få helt fel intryck av apparaterna i en sådan jämförelse, eftersom
man då hör varje apparat som skillnaden mot den andra.

Så bäst - om målet är att lära känna en apparat så bra som möjligt - är som
regel att inte jämföra apparater med varandra (apparat A är ju inte referens
för apparat B), utan att istället lyssna på varje sak för sig och använda den
inre referensen. Eller, om möjligheten finns, att använda F/E-lyssning (där F
ju är den riktiga referensen för E om frågan är vad apparaten gör med musik-
signalen).

- - -

Men frågan är om det inte trots allt finns en sak som är viktigare än alla test-
metoder som sådana när man skall sätta ihop en anläggning - att arbeta åt
rätt håll, alltså i rätt riktning = mot signalriktningen!

Alltså att börja med det man redan har - sig själv. Sen väljer man baserat på
sin egen smak och sina önskemål, ett rum att lyssna i, och med rummet på
plats så kan man ta ställning till vad man skall göra med rummet, och vilka
högtalare som kommer att passa rummet och en själv. När de är valda så är
det en förstärkare som passa högtalarna man behöver, och så vidare...


Vh, iö

[LeifB]

Jag tycker det är stora brister vid snabba kabelbyten t.ex.
Krävs oftast att elektroniken stängs av vid dessa tester. Elektroniken jobbar bäst i ett normalvarmt tillstånd, plus att kablar mår inte alls bra av att flyttas runt, spela in faktorn blir påmind.

Öhman, har du samma uppfattning?

[dimitri]

Alltså, jag får inte ihop det. Målet är att hitta de dåliga förstärkarna och tala om på vilket sätt de är dåliga? Inte att hitta de bra förstärkarna? Knasigt är det.

Det borde du få ihop. En icke-detektion har ju inget värde, testen har ju då falerat. En detektion däremot där beskrivningen är av sådan natur att den som kan tänkas vilja köpa apparaten kan själv inse att skillnaden för honom är irrelevant (eller eftersträvansvärd!) är mycket värdefull.

En icke-detektion kan ju betyda att alla testdeltagarna hade bomull i öronen den dagen.

nog har du lite fel här. En icke detektion är en bekräftelse, icke förkastande, av nollhypotesen, alltså en grundläggande hypotes á priori (innan) testet. Peter har i sitt långa inlägg berört betydelsen av nollhypotesen

Mycket möjligt att ngn har kommenterat det redan, sorry isf

Edit: lade till "icke förkastande"

[IngOehman]

Jag tror sammanhanget har kommit bort här, och något som inte är
sant alls har upphöjts till en sanning.

Målet när jag tog fram F/E-lyssningen som något för LTS att använda
för test av transmissionslänkarna i kedjan, har aldrig varit att förkasta
någon nollhypotes, utan bara att introducera en metod som gör att
man isolerar testobjektet och på så vis kan höra hur denna apparat
påverkar musiksignalen, om den påverkar så att det hörs.

Någon statistik för blindlyssningen publicerades inte ens, och inte var
det heller något som det talades om hela tiden heller. Det var ju inte
någon information om apparaten utan bara någon som vi säkerställde
under testen för att med rimlig säkerhet veta att vi hörde på riktigt.


Och det sammanhang som jag tror kommit bort är att jag misstänker
att nattlorden med sitt "En icke-detektion har ju inget värde, testen har
ju då falerat" talar om värdet av att beskriva påverkanseffekten. Utan
detektion kan man inte säga mer än man kunde innan man testade
apparaten, men ett undantag - man kan berätta att man inte lyckades
detektera apparaten.
Och han har helt rätt även i att man inte kan kvantifiera svårigheten
och därmed inte heller kvaliteten på testobjektet.

Och med det sagt vill jag erinra om vikten att definiera nollhypotesen
rätt om man vill kunna dra sådana slutsatser som de du tar upp. Alltså
hävda att man bekräftat nollhypotesen.

Det är (tror jag) för väldigt många lätt att tror att en nollhypotes kan
lyda "apparaten kan inte detekteras i F/E-lyssning". Och definierar man
nollhypotesen så, så är det nog lätt hänt att tro att man visat att den
nämnda apparaten inte kan detekteras i F/E-lyssning.

Men det är helt fel.

Själva nollhypotesen, formulerad således, är i sig mute. Den går inte att
använda till något eftersom nämnd slutsats i sig är i strid med första
vetenskapliga tesen. Den hävdar något som inte kan bevisas och där-
för heller inte undersökas.

Så formulerar man den så, så är nollresultat intetsägande. Att man inte
kan detektera apparaten går inte att bevisa och därför heller inte att
undersöka, och att man formulerade nollhypotesen så visar bara att
man är okunnig.

Formulerar man nollhypotesen bättre, t ex att "ingen kommer att kunna
detektera apparaten i F/E-lyssningen" så säger ett nollresultat i varje
fall något - nämligen att man inte kunde det. Men hur "hård data" som
någon än anser detta är, så har den ingen vikt utan att inkludera den
mjuka informationen, som gör att man kan bedöma vad en ickedetaktion
betyder med avseende på apparatens signaloförvanskningsförmåga.

- - -

Jag tror det var ungefär det som nattlorden menade.

Hoppas han förnekar eller bekräftar.

Dock är testet inte dubbelblint vilket gör att testledarens bias kan förmedlas omedvetet och kan ge feldetektion.

Ytterligare en felkälla är att testet inte är blint. Förväntanseffekter komme att påverka F/E-lyssningsresutatet.
Benägenheten att hitta reela fel hos den förstärkare som uppfattas som sämre kommer att öka.
Omvänt gäller för den förstärkare som uppfattas som bättre. Dvs benägenheten att hitta reela fel kommer att minska.
Så skillnaden mellan förstärkarna kommer att överdrivas när testet inte är blint.

Psykologiska forskningen är full av exempel där typ en förstärkare som uppfattas som sämre testas mot bättre.
Tydliga lyssningsskillnader blir resultatet trots att det var samma förstärkare vid bägge lyssningstillfällena.

JM

Om man bara har klart för sig att det bara är detektion som är hårda vetenskapliga data så är det där oproblematiskt. En detektion är en detektion. Det du beskriver är dock ett problem vid värderingen av en icke-detektion och vid värderingen av subjektiva beskrivningar av felets art.

Om man ser misslyckad detektion som stående i strid med lyckad detektion så har man inte förstått hur testet ska tolkas.

Jag vill dock påpeka att det i LTS FE-lyssningar snarare verkar sporrande om en förstärkare är svår att höra. Lyssnarna brukar som regel bli frustrerade när de inte klarar att höra skillnad och nästan se det som en prestigeförlust.

Bra att du skriver detta sista. Nu märks det att du deltagit i F/E-lyss-
ningarna!

- - -

Vill dock försiktigt klargöra att "hårda vetenskapliga data" inte är sam-
ma som "något är av värde". Man kan t ex inte fnysa åt allt det mjuka
och bara titta på detektion och ignorera allt annat (upplägg, program-
material, beskrivningar av upplevelser...).

Problemet är ju att man MÅSTE göra egna bedömningar om man skall
få ut någon information av värde av lyssningarna. Sätter man på sig
skygglapparna och bara ser "dessa har blivit detekterade, men inte
den där" och allt annat är okändheter, så betyder det du kallade för
"hårda vetenskapliga data" just ingenting.

En apparat som inte har blivit detekterad kan t ex färga mer och värre
än en som blev detekterad, och en som blivit detekterad kan ha blivit
det av, för en användare, helt irrelevanta skäl.

Vill man kunna bedöma sådana saker så måste man läsa all mjuk info i
artiklarna. Om t ex en KlassG/H-förstärkare har testats över sin trip-
punkt så vet man från en rapport om att den detakterats ingenting alls
om huruvida den skulle ha gått att detektera vid lite lägre (men fort-
farande mycket hög) effekt.

Om detektion beror på klippning är det ännu värre.

- - -

- - -

Jag försöker inte krångla och jäklas när jag skriver allt detta, och tvärt
emot vad Svante påstår så försöker jag inte få saker att verka mystiska
eller att få min person att vara viktig i sammanhanget, det är ju precis
tvärtom.

Och jag blev rätt ledsen när Svante skrev ovänligheterna ifråga.

Jag försöker få så många som möjligt att INTE lita på enkla svar. Jag vill
inte att någon skall tro på det jag skriver, jag vill att de skall förstå det.
Innehållet alltså, mig helt oinblandad. Auktoritetstro suger.

Men jag vet ju och ser ju att väldigt många hela tiden vill ha enkla svar,
lita på en tumregel, på någon auktoritet eller på något som ser ut att
vara majoritetens uppfattning eller som i det här fallet - man vill lita på
en metod... Och då tror man kanske att metoden behöver ändras, när
det snarare är så att nyckeln till att få ut användbar information är att
förstå metoden, så man kan dra slutsatser från utfallet.

Dessa människor kanske inte själv ser det så, men när jag ser vad som
frågas så ser det i varje fall ut som om många tror att det går att bygga
ett system som levererar kompletta sanningar om apparater, med hela
konkarongen - värdering och allt, inbyggt.

Och mitt budskap är att det inte finns några sådana enkla svar.

Vill man förstå så mycket som möjligt av vad för slutsatser man kan dra
från en F/E-lyssning så är det att sätta sig in man behöver göra, själv.
Och egentligen så menar jag heller inte att det främst handlar om att
sätta sig in i fysiken eller i matematiken, utan snarare bara om att läsa
artiklarna noga och försöka förstå hur testerna gått till.

Det är inte det Svante kallar för "hårda vetenskapliga data" som är kärn-
punkten. De är bara en parentes. Före hans tid så publicerade vi inte
ens statistiken - just för att det är så lätt för den som inte är insatt att
tro att det är en kvalitetsmätare på apparaten.

Att det testas noga och förs statistik är inte för att denna bär någon
viktig information om apparaterna. Det viktiga - hur apparaterna "låter"
(färgar/påverkar) har vi genom åren har försökt få fram genom det vi
berättar - i form av lyssningsintryck.

Statistiken behövs bara av ett skäl - för att man skall veta att det är
rimligt säkerställt att de som beskriver vad de upplevt, verkligen har
upplevt det.

Men det är upp till varje läsare att bilda sig en egen uppfattning, och
allra bäst kanske man gör detta, genom att bara använda alla tester
(inte bara i MoLt utan i alla tidskrifter) som tips om vad som kan vara
värt att titta på själv.


Vh, iö

[IngOehman]

Jag skulle vilja testa högtalare helblint, så att lyssnarpanelen inte vet vad det är för högtalare som spelar. Detta skulle göra att omdömena blev helt ofärgade av eventuella förväntanseffekter.

Ingalunda. Bara för att du inte vet vilka förväntanseffekter som finns
så försvinner de inte. De kan vara beroende på vad som har hänt
tidigare samma dag eller på grund av något annat.

Förväntanseffekter är inte synonymt med "den ser ljus ut, jag tror
den låter ljust" eller "den känns tung, jag tror den har mycket bas".

I själva verket blir man i F/E-lyssning (på känd apparat) ofta varse
att förväntanseffekterna märks av just genom att komma på skam.
Situationen att jämföra F med E blir så himla konkret att man inte
kan låta bli att höra hur apparaten faktiskt påverkar!

- - -

Och den sorts blindhet som du beskriver duger helt enkelt inte alls
för att göra sig av med förväntanseffekter. Tror du att man klarar sig
med att inte berätta vad för medicin man testar och därmed slipper
förväntanseffekter?

Då har du illa fel.

När man testar läkemedel så räcker det INTE att hålla preparatet
hemligt (det är inte ens nödvändigt att göra det) utan man måste
jämföra med ett placebo (det som saknar de påverkanseffekter som
man vill studera).

BÅDA drabbas nämligen av förväntanseffekter, men genom att tillse
att blindhet föreligger MELLAN dem, så slår det lika på båda.

(I en F/E-lyssning kan man likna F med placebot. Det är referensen
för "ickepåverkan".)

- - -

Så det du här påstår skulle bli "lyssningar som är helt ofärgade av
eventuella förväntanseffekter" är i verkligheten lyssningar som är
ungefär samma sak som vilka lyssna-och-tyck-tester som helst.

Fast värre (mer om det strax, i sista delen av mitt svar).

De blir referenslösa (i bästa fall) och de kan utfalla nästan hur som
helst (mer om detta strax) beroende på t ex val av programmaterial
och inte minst beroende på vad man jämför med (i värsta fall).

Naqref skrev några kloka ord om just hur det kan bli när man jämför
olika apparater med varandra.

- - -

Då det är omöjligt att fullödigt F/E-lyssna högtalare (de är inte trans-
missionslänkar med en entydig utsignal) så finns det ingen bättre
referens än den inre, den man har själv i form av tidigare upplevel-
ser. Så jag avråder från att tillgripa yttre referenser i form av "den
superbraiga högtalaren orvar".

Sådana jämförelser kommer ofrånkomligt att påverka hur man upp-
fattar testobjektet jämför med hur man uppfattar det om man har
det i sig ägo och använde det normalt (och jag utgår då ifrån att
man normalt spelar musik på högtalarna, inte har många par hög-
talare bara för att kunna växla mellan dem...).

Det skulle ge vetskap om just detta och även ett ökat förtroende i läsekretsen för att omdömena är just ofärgade.

Den övertygelsen om någon sorts säkerhet med avseende på omdöm-
enas kvalitet, skrämmer mig nästan mera än dina ideer om hur man
skall testa. Om du har rätt med avseende på att ett sådant upplägg
skulle skapa förtroende från läsekretsen så är det ju allvarligt.

Då har de vilseförts illa.

Jag säger inte att ett sådant test skulle vara lätt att göra och det är väl just alla praktikaliteter med ett sådant test som gör att vi inte har gjort några sådana.

Problemen med ett sådant upplägg är legio.

De flesta av dem har att göra med att du tycks se högtalare som trans-
missionslänkar. Det är de inte. De är dessutom i hög grad beroende av
både sin placering och sin omgivning och samverkan med denna.

Störta problemen är kanske att lyssnarna inte kan ha något inflytande
på hur högtalarna används, och vad är det för konsumentinformation
om en lyssnare tvingas stå för uttalande om en högtalare - som kommer
att bli uppfattat av läsaren som en ackurat beskrivning av högtalaren,
när den kanske inte varken har användts på ett vettigt sätt eller nämnd
lyssnare har haft chans att leka med möbleringen?

Ett annat problem av dignitet är att ett seriöst test av högtalare inklu-
derar ett omfattande experimenterande med möblering, det vill säga det
behövs tid.

- - -

Så min uppfattning är att högtalare helt enkelt inte bör testas på ett
sådant där av Svante beskrivet sätt, alls. Man behöver leva med dem
en tid och lära känna dem om man skall skriva om dem. Men inte ens
det är en garanti för att högtalarna kommer att bli rättvist bedömda
sett ur någon annans perspektiv.

Men det blir i varje fall bättre. Kanske.

Men bäst är nog om alla som läser hifi-tidningar förstår allt detta själv,
och bekantar sig med högtalare med sina egna öron.

Alltså inte betraktar någon artikel om högtalare (oavsett tidskrift) som
tillräcklig för att köpa högtalare. Det är helt enkelt den del i kedjan som
är mest personlig och beroende av både rum å uppackningspreferenser
(av musiksignalen).


Vh, iö

[BORIS]

Finns väl inget som hindrar att man innan "testlyssnaren" laborerar med högtalaren så att den kommer till sin rätt. Du avfärdar andras idéer lite väl fyrkantigt.

Du påstår också väldigt mycket i dina jämförelser med läkemedel. Dessa jämförelser sägs som sanningar vilket inte alltid stämmer utan är mer din uppfattning om saker och ting

[IngOehman]

Vem är "man".

Jag avfärdar ingenting. Jag beskriver problemen, och anförde för detta
ett stort antal sakliga argument. De verkar stå sig.

Ingen har anfört någon konkret invändning mot något av dem. Och det
jag skrev var så långt ifrån fyrkantigt man kan komma. Hade jag skrivit
någonting fyrkantigt så hade du ju med stor lätthet kunnat komma med
någon konkret invändning. Inte bara ett svepande misstroende.

Men grunden till mitt inlägg är ju att jag har arbetat med de här sakerna
under mycket lång tid och har personlig erfarenhet av problemen från en
väldig massa olika metoder att testa saker.

Kanske måste andra testa lite själva innan de märker att det jag skriver
är riktigt. Helt okej i så fall. Jag ser gärna att folk undersöker saker själv
eller fungerar själv och inte bara tror på det jag skriver.


Vh, iö

[CODY]

Det är inte något blindtest ni beskriver.

[IngOehman]

Vem?