Blindtesters tillförlitlighet...

[phloam]

Nej, det var inte det jag skrev. Jag skrev att placebo måste finnas med som en potentiell förklaring. Jag påstår inte att placeboeffekten alltid är viktig, utan bara att man inte kan veta om den är viktig.

Jo, men om den alltid är potentiellt viktig så vore det väl bra med ett test som kan visa hur viktig - eller oviktig - den är i det specifika fallet? Man vill ju inte leva med en potentiell placeboeffekt lika lite som man vill leva med en potentiell blindtestdetektion??

[Svante]

Nej, det var inte det jag skrev. Jag skrev att placebo måste finnas med som en potentiell förklaring. Jag påstår inte att placeboeffekten alltid är viktig, utan bara att man inte kan veta om den är viktig.

Jo, men om den alltid är potentiellt viktig så vore det väl bra med ett test som kan visa hur viktig - eller oviktig - den är i det specifika fallet? Man vill ju inte leva med en potentiell placeboeffekt lika lite som man vill leva med en potentiell blindtestdeketion??

Ja, och - tada - sättet att ta reda på hur viktig den är att lyssna blint OCH öppet. Skillnaden är placeboeffekten, åtminstone i snitt.

Jag tror att göra just detta reducerar placeboeffekten ganska mycket om man bara gör rätt tolkning av skillnaden. En del envisas med att skylla skillnaden på att blindtester är allmänt dåliga.

[phloam]

Men hur gör jag för att hitta maximal (positiv) placeboeffekt, inte bara få fram ett snitt?

Edit: Att försöka använda blindtest som metod att optimera placebo skulle ju inte funka, blindtest är ju i praktiken till för att ta död på placeboeffeken samtidigt som den "avslöjas".

[Svante]

Men hur gör jag för att hitta maximal (positiv) placeboeffekt, inte bara få fram ett snitt?

Man multiplicerar med 42.

[AndreasArvidsson]

Men hur gör jag för att hitta maximal (positiv) placeboeffekt, inte bara få fram ett snitt?

Man multiplicerar med 42.

Mycket användbart [s]siffra[/s] tal det där.

EDIT: rätt skall vara rätt.

[IngOehman]

Vad för sorts fel i en apparat kan göra att musiker helt sonika inte spelar i takt längre?

Svaj och kompression.

Om du i stället frågar "Vad för sorts fel i en apparat kan göra att musiker helt sonika inte upplevs spela i takt längre?" så kan nog vad som helst ge den upplevelsen. Speciellt om det blandas med lite placeboeffekt.

En lite spännande sak som man kan bli varse om man spelar in mycket
musik själv, är att det kan gå i andra riktningen också, och i själva verket
så vill jag hävda att det är mycket vanligare dessutom.

Vad jag talar om är alltså att man med olika fel i återgivningsanläggningen
avsevärt kan minska lättheten med vilken man hör att det spelats falskt.

Talar alltså om musik som live är lätt att höra falskheter i, men där samma
händelse, inspelad, är avsevärt svårare att höra falskspelen i, i vissa an-
läggningar.

Jag som spelat in så mycket, och inte alltid superelitmusiker, vågar påstå
att det är MYCKET vanligare att falskspel blir svårare att höra i på olika
sätt dåliga anläggningar, än att det uppstår falskheter som inte finns på
riktigt, alltså inte live och inte på inspelningen.

Svårigheten att förstå varför det är på det viset (det är inte så svårt att
förstå egentligen, om man vet lite om grunderna för hur vi hör intervall)
för många, i kombination med någon sorts övertro på musikers musika-
litet och tekniska spelförmåga, gör att det är lätt att man tolkar resul-
tatet bakåfram, alltså tror att falskspel inte finns på fonogram utan att
det varje gång något låter falskt (eller orytmiskt) måste bero på en dålig
anläggning, när det i verkligheten snarare är tvärtom:

Många inspelningar är tillräckligt BRA (tekniskt) för att det skall gå att
höra falskheter och orytmiskt spel, nästan lika bra som man gör det live,
och - med vissa anläggningar så blir det klart svårare att höra detta...

Dessa anläggningar är de dåliga anläggningarna, inte de bra.


Vh, iö

[IngOehman]

Nej, det var inte det jag skrev. Jag skrev att placebo måste finnas med som en potentiell förklaring. Jag påstår inte att placeboeffekten alltid är viktig, utan bara att man inte kan veta om den är viktig.

Jo, men om den alltid är potentiellt viktig så vore det väl bra med ett test som kan visa hur viktig - eller oviktig - den är i det specifika fallet? Man vill ju inte leva med en potentiell placeboeffekt lika lite som man vill leva med en potentiell blindtestdetektion??

Det där är något som jag skrivit om många gånger. Den sortens studier
man gör för att undersöka placeboeffekter brukar jag kalla suggestions-
studier.

Jag har gjort massor av sådana, men slutade med det för ett antal år
sedan, eftersom de har en bieffekt, mer om denna strax.

- - -

Så vad är då en suggestionsstudie? Jo, det kan vara lite av varje, men
ofta så är en öppen jämförelsen mellan två saker, t ex "apparat A och
apparat B".

För att isolera suggestionseffekterna från de fysikaliska och eventuellt
högbara påverkanseffekterns så gör man precis tvärtom mot en blind-
lyssning (i blindlyssningen har man tagit bort den potentiellt påverk-
ande vetskapen om vad som spelar) och man har kvar den potentiellt
påverkande vetskapen om vad som spelar, men man tar bort de fysikal-
iska skillnaderna - man luras helt enkelt.

I verkligheten är alltså detta en öppen jämförelse mellan apparat (eller
apparatkombination) A och A!

Men upplägget görs alltså således att man som lyssnare inte har något
skäl att tro något annat än att man jämför A med B, och de får ju även
veta när det är A respektive B som spelas. Testet är utåt sett helt och
hållet "oblindt".

- - -

Och vad är nackdelen med detta då, som gjort att jag har slutat göra
suggestionsstudier för en massa år sedan? Jo, att kunskapen om att
det var en suggestionsstudie (en luring) blir projicerad på testledaren,
och för att en suggestionsstudie skall fungera riktigt bra så är det en
viktig komponent att lyssnarna har förtroende för just testledaren.

Så jag gör inte suggestionsstudier längre, annat än i sällsynta undan-
tag där lyssnarna inte vet något om saken. De vet som regel inte ens
vad en suggestionsstudie är. Så även om jag slutade göra suggestions-
studier för många år sedan, så har jag börjat igen, ett antal gånger.

Men i normalfallet gör jag det inte idag. Det behövs ju inte heller, jag
har ju kartlagt vår suggererbarhet redan, så idag intresserar jag mig
mera för blindstudier där man får veta saker om vad vi kan höra, på
riktigt.


Vh, iö

[bensnake]

Jag tror ingen som svarat Nej på topicfrågan är av uppfattningen att blindtester generellt är odugliga. En dylik uppfattning vore såväl dum som förmäten. Däremot kan felkällorna vara så pass talrika, bland annat avhängigt testmetodikens upplägg och utförande, testpersonernas sinnesstämning etc. att det i många fall blir svårt att dra entydiga slutsatser utifrån utfallet.

Om en person deltar i ett blindtest som handlar om att ljudmässigt skilja en single end-röris från en biffig trisseförstärkare och personen ifråga i förväg sturskt hävdat att detta inte kommer att bli några problem men sedan misslyckas; vilka slutsatser utifrån detta utfall kan man dra? (Vi förutsätter att testet var utformat enligt alla konstens regler utifrån "slumpgeneratorsmodellen")

Eller ta motsvarande scenario men byt ut testobjekten mot högtalarkablar. Eller signalkablar. Eller DACar.

Jag kan tänka mig en uppsjö av möjliga förklaringar. En av dessa skulle ju kunna vara att inga ljudmässiga skillnader föreligger, eller att dessa är så små att de ligger under hörbarhetströskeln ehuru mätbara. En annan vore att testpersonen är lomhörd. En tredje att han helt enkelt saknar erforderlig lyssningserfarenhet av apparaterna eller att musiken är för honom okänd. Man skulle också kunna tänka sig att han känner viss stress och prestationsångest inför testet och därför misslyckas med att skilja de båda kombattanterna åt. Eller en kombo av nämnda faktorer.

Ovan beskrivna studie kan naturligtvis inte användas för att vare sig underkänna eller bekräfta blindtestförfarande som tillförlitlig metod för att utröna skillnader mellan två testobjekt. Ändå hänvisas det uppsluppet till dylika, enskilda tester där en eller ett fåtal personer misslyckats med detektion, av dem som svalt myten om att alla förstärkare låter likadant så länge de inte klipper.

---

For the record; jag underkänner inte blindtester som metod generellt. Det vore, som sagt, såväl dumt som förmätet. Jag förstår dock att det kan uppfattas som om jag gör det baserat på skepticismformuleringen i trådstarten.

[Bagaget]

Vad har vi sagt om misslyckad detektion? (tusen ggr?)

[Svante]

Jag tror ingen som svarat Nej på topicfrågan är av uppfattningen att blindtester generellt är odugliga. En dylik uppfattning vore såväl dum som förmäten. Däremot kan felkällorna vara så pass talrika, bland annat avhängigt testmetodikens upplägg och utförande, testpersonernas sinnesstämning etc. att det i många fall blir svårt att dra entydiga slutsatser utifrån utfallet.

Om en person deltar i ett blindtest som handlar om att ljudmässigt skilja en single end-röris från en biffig trisseförstärkare och personen ifråga i förväg sturskt hävdat att detta inte kommer att bli några problem men sedan misslyckas; vilka slutsatser utifrån detta utfall kan man dra? (Vi förutsätter att testet var utformat enligt alla konstens regler utifrån "slumpgeneratorsmodellen")

Eller ta motsvarande scenario men byt ut testobjekten mot högtalarkablar. Eller signalkablar. Eller DACar.

Jag kan tänka mig en uppsjö av möjliga förklaringar. En av dessa skulle ju kunna vara att inga ljudmässiga skillnader föreligger, eller att dessa är så små att de ligger under hörbarhetströskeln ehuru mätbara. En annan vore att testpersonen är lomhörd. En tredje att han helt enkelt saknar erforderlig lyssningserfarenhet av apparaterna eller att musiken är för honom okänd. Man skulle också kunna tänka sig att han känner viss stress och prestationsångest inför testet och därför misslyckas med att skilja de båda kombattanterna åt. Eller en kombo av nämnda faktorer.

Ovan beskrivna studie kan naturligtvis inte användas för att vare sig underkänna eller bekräfta blindtestförfarande som tillförlitlig metod för att utröna skillnader mellan två testobjekt. Ändå hänvisas det uppsluppet till dylika, enskilda tester där en eller ett fåtal personer misslyckats med detektion, av dem som svalt myten om att alla förstärkare låter likadant så länge de inte klipper.

---

For the record; jag underkänner inte blindtester som metod generellt. Det vore, som sagt, såväl dumt som förmätet. Jag förstår dock att det kan uppfattas som om jag gör det baserat på skepticismformuleringen i trådstarten.

Ja, ovanstående kan sammanfattas med att "blindtester" inte är EN sak och att ha en generell ståndpunkt om huruvida de är bra eller dåliga är ... dumt.

[Svante]

Vad har vi sagt om misslyckad detektion? (tusen ggr?)

Jag sade alldeles nyss att det är värt ... något.

[bensnake]

Vad har vi sagt om misslyckad detektion? (tusen ggr?)

Jag kan inte minnas att jag har sett dig skriva något om det. Känner inte igen ditt nick. Så berätta vad du skrivit!

[bensnake]

Men hur gör jag för att hitta maximal (positiv) placeboeffekt, inte bara få fram ett snitt?

Man multiplicerar med 42.

Mycket användbar siffra det där.

TAL!

[AndreasArvidsson]

TAL!

Hehe, när jag skrev det så visste jag att det såg helfel ut, men jag kom verkligen inte på ordet som jag letade efter. Den bjuder jag på

[bensnake]

Men hur gör jag för att hitta maximal (positiv) placeboeffekt, inte bara få fram ett snitt?

Man multiplicerar med 42.

Mycket användbar siffra det där.

TAL!

Haha precis när jag skrev det så visste jag att det såg helfel ut, men jag kom verkligen inte på ordet som jag letade efter. Den bjuder jag på

Faktor hade kanske passat ännu bättre med tanke på sammanhanget.

[AndreasArvidsson]

Faktor hade kanske passat ännu bättre med tanke på sammanhanget.

Nu tänkte jag på talet 42 i allmänhet. Som programmerare så ser jag denna användas väldigt friskt för att representera allt möjligt.

Och nu uppenbarligen även ihop med placebo

[bensnake]

Faktor hade kanske passat ännu bättre med tanke på sammanhanget.

Nu tänkte jag på talet 42 i allmänhet. Som programmerare så ser jag denna användas väldigt friskt för att representera allt möjligt.

Och nu uppenbarligen även ihop placebo

Svante kanske är något på spåren här...

[Strmbrg]

Dövtest kan var spännande som omväxling.

Det går ut på att man med proppar i öronen skall avgöra huruvida ett foto är taget i raw-format eller i jpeg.

Det är inte alldeles enkelt, vill jag påstå.

[bensnake]

Bump!

Man ska alltid underlätta för lyssnarna att höra skillnaderna (utan att fuska då, förstås).

En förstärkare som t.ex är starkt färgad och frångår en linjär förstärkning ska användas med EQ.

Hur går dessa båda statement ihop?

[Conan]

Jag kan tänka mig en uppsjö av möjliga förklaringar. En av dessa skulle ju kunna vara att inga ljudmässiga skillnader föreligger, eller att dessa är så små att de ligger under hörbarhetströskeln ehuru mätbara. En annan vore att testpersonen är lomhörd. En tredje att han helt enkelt saknar erforderlig lyssningserfarenhet av apparaterna eller att musiken är för honom okänd. Man skulle också kunna tänka sig att han känner viss stress och prestationsångest inför testet och därför misslyckas med att skilja de båda kombattanterna åt. Eller en kombo av nämnda faktorer.

Jo, men det kommer inte att vara placebo som har påverkat lyssnaren. I samma test med öppen lyssning, kan testresultatet också påverkas av allt du nämner, men dessutom av förväntanseffekter av okänd storlek.

[bensnake]

Jag kan tänka mig en uppsjö av möjliga förklaringar. En av dessa skulle ju kunna vara att inga ljudmässiga skillnader föreligger, eller att dessa är så små att de ligger under hörbarhetströskeln ehuru mätbara. En annan vore att testpersonen är lomhörd. En tredje att han helt enkelt saknar erforderlig lyssningserfarenhet av apparaterna eller att musiken är för honom okänd. Man skulle också kunna tänka sig att han känner viss stress och prestationsångest inför testet och därför misslyckas med att skilja de båda kombattanterna åt. Eller en kombo av nämnda faktorer.

Jo, men det kommer inte att vara placebo som har påverkat lyssnaren. I samma test med öppen lyssning, kan testresultatet också påverkas av allt du nämner, men dessutom av förväntanseffekter av okänd storlek.

Självklart.

[Svante]

Dövtest kan var spännande som omväxling.

Det går ut på att man med proppar i öronen skall avgöra huruvida ett foto är taget i raw-format eller i jpeg.

Det är inte alldeles enkelt, vill jag påstå.

Jodå. Gör fotot 3 bländarsteg ljusare så syns det nog. Eller det beror välpå bilden, men med rätt bild så ser man det nog.

[Svante]

Bump!

Man ska alltid underlätta för lyssnarna att höra skillnaderna (utan att fuska då, förstås).

En förstärkare som t.ex är starkt färgad och frångår en linjär förstärkning ska användas med EQ.

Hur går dessa båda statement ihop?

Jag förstår inte överhuvudtaget hur de skulle kunna höra ihop.

[Svante]

Vad har vi sagt om misslyckad detektion? (tusen ggr?)

Jag kan inte minnas att jag har sett dig skriva något om det. Känner inte igen ditt nick. Så berätta vad du skrivit!

Han skrev "vi" och syftar nog på att det är mycket svårt att bevisa frånvaron av något.

Här: En misslyckad detektion betyder inte att det inte finns någon skillnad alls.

[bensnake]

Bump!

Man ska alltid underlätta för lyssnarna att höra skillnaderna (utan att fuska då, förstås).

En förstärkare som t.ex är starkt färgad och frångår en linjär förstärkning ska användas med EQ.

Hur går dessa båda statement ihop?

Jag förstår inte överhuvudtaget hur de skulle kunna höra ihop.

Nej, de förefaller stå i ett sorts motsatsförhållande till varandra. Kanske Doofus vill utveckla?

[Harryup]

Jag har en spaning.
Ofta då det kommer till diskussioner så är inte blindtesten så kontroversiell jämfört med vad personer som inte var med vid testen drar för slutsatser.

"Typ jag vill ha ett neutralt ljud så därför väljer jag att köpa en förstärkare som man vet att den är neutral eftersom den inte detekterats."

"Jag föredrar ofärgat ljud så jag väljer de apparater som testats och inte gick att detektera"


Lite samma sak men budskapet om inte ordagrannt har varit så vid många tillfällen..

Jag hävdar att det är inte det man ens har testat. Finns ingen möjlighet att veta om en odekterbar apparat ger i kombination med resten av det man har inklusive rum ett neutralt ljud. Kan ju dessutom vara så att apparaten färgar men detektering missats. Så om det enda man hävdade utifrån resultatet vore att apparaten inte var detekterbar vid testtillfället i den rigg den testades i så tror jag att diskussionerna skulle mattas ganska mycket.
Och jag heller inte sett att de som verkligen har varit med i testerna har dragit slutsatsen att en apparat kan lyfta en kedja apparater till att bli neutrala.

mvh/Harryup

[Svante]

Jag hävdar att det är inte det man ens har testat. Finns ingen möjlighet att veta om en odekterbar apparat ger i kombination med resten av det man har inklusive rum ett neutralt ljud. Kan ju dessutom vara så att apparaten färgar men detektering missats. Så om det enda man hävdade utifrån resultatet vore att apparaten inte var detekterbar vid testtillfället i den rigg den testades i så tror jag att diskussionerna skulle mattas ganska mycket.
Och jag heller inte sett att de som verkligen har varit med i testerna har dragit slutsatsen att en apparat kan lyfta en kedja apparater till att bli neutrala.

Ok, så hur borde man komponera en anläggning då?

Säg att man har 5 olika CD-spelare, 5 förstärkare och 5 par högtalare. Hur får du fram den bästa anläggningen?

I verkligheten har man fler av varje, men vi kan ju stanna vid 5.

Ska man lyssna på varje kombination blir det 5*5*5=125 anläggningar att lyssna igenom. Med friska öron. Om man utvärderar apparaterna för sig blir det "bara" 5+5+5=15 tester. Man missar då eventuella kombinationseffekter, men med lite fiffighet i testerna kan man även hantera sådana ganska bra. Bättre än man kan hantera den lyssningströtthet som infinner sig efter 125 lyssningssessioner iaf.

Du säger ofta i de här diskussionerna "man kan inte veta", men jag påstår att du kan inte veta vilken av de 125 kombinationerna som är bäst heller.

Man kan däremot ana i båda fallen och jag menar att man anar bättre om man testar apparaterna var för sig.

Givetvis kan man testa den kombination man kommer fram till för att se om det uppstår några problem i ihopkopplingen. Och ofta kan man förstå i vilka fall som sådana problem kan uppstå.

[bensnake]

Jag tror att harryups inlägg har sin grund i en mer upplevelseorienterad filosofi gällande musiklyssning medan Svantes tar sin utgångspunkt i en mer transparenssträvande variant. Lite gungor och karuseller, typ. Det blir svårt att diskutera metoder om syftet med musiklyssningshobbyn utgår från olika premisser. Tror jag. Även om jag förstår båda synsätten. Alltså förstår innebörden av dem. Transparenssträvan som angreppsvinkel för att kombinera en anläggning kommer jag dock aldrig att begripa mig på. Därtill är jag alltför upplevelseorienterad i sinnet...

[IngOehman]

Bump!

Man ska alltid underlätta för lyssnarna att höra skillnaderna (utan att fuska då, förstås).

En förstärkare som t.ex är starkt färgad och frångår en linjär förstärkning ska användas med EQ.

Hur går dessa båda statement ihop?

Jag förstår inte överhuvudtaget hur de skulle kunna höra ihop.

Det enda som är uppenbart är att Doofus inte har riktigt bra grepp om alla
de begrepp han använder...

- - -

En förstärkare är inte färgad, den kan vara färgande.

En olinjär förstärkning ger distorsion och inte klangfel.

Och om man skall använda eq eller inte beror ju på vilka egenskaper man är
intresserad av att kartlägga med den F/E-lyssning man gör.

- - -

Sen beror det även på om tonkurveegenskaperna hos testobjektet är en
del av dess uppgift. Om man skall undersöka ett RIAA-steg med F/E-lyss-
ning är det t ex självklart att man måste ha en anti-RIAA med i kedjan.
Om man skall undersöka vilka påverkanseffekter ett slutsteg ger så är det
kanske lika själklart att man inte skall ha det.

Säg att en förstärkare har en bandbredd om 100 - 12 000 Hz t ex (vilket
man kanske känner till eller också inte känner till vid tiden för testen), nog
vill man få höra just konsekvenserna av detta när man F/E-lyssnar den?

Hela poängen med en F/E-lyssning är ju att man INTE utvärderar en sak i
taget utan skaffar sig en helhetsbild av ALLA de sätt som testobjektet på-
verkar musiken när man använder den. Att då ta bort delar av påverkan*
är ju ingen bra ide.


Vh, iö

- - - - -

*Därmed inte sagt att man inte kan göra det i ett senare skede, om man
t ex vill nörda in på tekniken och lära sig mera om apparaten och om själva
ORSAKERNA till att den färgade som den gjorde.

[Harryup]

Du säger ofta i de här diskussionerna "man kan inte veta", men jag påstår att du kan inte veta vilken av de 125 kombinationerna som är bäst heller.

Nej, precis så är det. Och beroende på musiksmak eller inspelningar så kanske det är olika apparater som skulle ge upplevelsen av neutralt ljud.
Jag ser faktiskt "inte att nån" egentligen strikt följer neutraliteten i den bemärkelsen att väldigt väldigt få har ens köpt en Bryston.

Mvh/Harryup