Blindtesters tillförlitlighet...

[Svante]

1. Inget lyssningstest, öppet eller blint, kan med säkerhet visa att en skillnad inte kan höras med något annat programmaterial/kringutrustning/lyssnare än de som används i testet.

2. Inget lyssningstest, öppet eller blint, kan med 0% felrisk visa att en skillnad kan höras.

3. Ett blint test kan med en känd felrisk (>0%) ibland visa att en skillnad kan höras, och att detta beror på skillnader i ljudet.

4. Ett öppet test kan aldrig säkert skilja på skillnader i ljudet och placeboeffekten.

...ovanstående gäller allmänt för lyssningstester.

Alltför ofta används punkt 1 och 2 för att ifrågasätta just blindtest, fast de gäller även (i högre grad) för öppna test. Man får det att framstå som att öppna tester vore ett alternativ till blindtest, fast det i själva verket bara ger sämre metodsäkerhet.

Så, kan man lita på blindtester? Nej, man kan inte lita på några tester, men man kan ändå använda dem som beslutsgrund. Lyssningstester och särskilt då blindtester ökar sannolikheten att man gör bra apparatval.

Så det så.

[bensnake]

Dagens understatement

Jag bjuder på den... Önskar herr'n ett glas rött eller vitt till den blodiga biffen?

[AndreasArvidsson]

Ok. Fick för mig att jag sett dig skriva det någonstans. Att verkliga skillnader alltid detekteras vid ett blindtest, alltså. Men jag kan ha fel.

Isf skrev jag fel eller så uppfattade du mig fel. Detekterbara(för de omständigheterna) skillnader detekteras vid blindtest(givet rätt omständigheter såklart), men självklart finns det massor med saker som finns där och går testdeltagarna omärkt förbi. Skillnader som är för små för att höras är ett exempel.

[AndreasArvidsson]

1. Inget lyssningstest, öppet eller blint, kan med säkerhet visa att en skillnad inte kan höras med något annat programmaterial/kringutrustning/lyssnare än de som används i testet.

2. Inget lyssningstest, öppet eller blint, kan med 0% felrisk visa att en skillnad kan höras.

3. Ett blint test kan med en känd felrisk (>0%) ibland visa att en skillnad kan höras, och att detta beror på skillnader i ljudet.

4. Ett öppet test kan aldrig säkert skilja på skillnader i ljudet och placeboeffekten.

...ovanstående gäller allmänt för lyssningstester.

Alltför ofta används punkt 1 och 2 för att ifrågasätta just blindtest, fast de gäller även (i högre grad) för öppna test. Man får det att framstå som att öppna tester vore ett alternativ till blindtest, fast det i själva verket bara ger sämre metodsäkerhet.

Så, kan man lita på blindtester? Nej, man kan inte lita på några tester, men man kan ändå använda dem som beslutsgrund. Lyssningstester och särskilt då blindtester ökar sannolikheten att man gör bra apparatval.

Så det så.

Håller med fill fullo.

Det viktiga är inte bara hur man testar utan framförallt att veta vilka slutsatser som man rimligen kan göra baserat på detta test.

Oavsett om man testar ljud, vin eller medicin så finns det ett vetenskapligt tillvägagångssätt/princip som måste följas, men detta ämne har vi pratar om i detalj många gånger vid detta lag.

[bensnake]

... man kan ändå använda dem som beslutsgrund.

Vi leker med tanken att du misslyckas med att skilja rött från vitt vin vid ett blindtest. Vilka konsekvenser kommer detta att få gällande val av framtida måltidsdryck? Kommer du att köra med vitt vin (som kanske dessutom är billigare) till oxfilén eftersom du vet att du inte känner någon skillnad smakmässigt vid blindtest eller kommer du att välja ett rött, som du egentligen tycker bäst om när ögonen är med?

[steveo1234]

Är inte kontrollerade blindtester den enda testmetoden som ger meningsfulla resultat ? Jag tänker medicinsk forskning med mera.

Anser du att ett utfall som ger vid handen att 50 % av testdeltagarna inte kan känna skillnad på ett glas rött och ett glas vitt vin ger ett meningsfullt resultat?

Om det är så, så ja.

[bensnake]

Är inte kontrollerade blindtester den enda testmetoden som ger meningsfulla resultat ? Jag tänker medicinsk forskning med mera.

Anser du att ett utfall som ger vid handen att 50 % av testdeltagarna inte kan känna skillnad på ett glas rött och ett glas vitt vin ger ett meningsfullt resultat?

Om det är så, så ja.

Hur skulle du förhålla dig till detta hypotetiska utfall? Skulle du fortsätta att dricka vitt till skaldjur och rött till kött (vi leker med tanken att det är så du dricker nu) eller skulle du singla slant om vilket vin du skulle välja?

[Svante]

Själv är jag skeptisk gällande blindtesters tillförlitlighet. Som motivering till min skepticism åberopar jag det faktum att inom området erfarna personer vid blindtester misslyckas med att detektera skillnader som bevisligen föreligger.

Här måste du tala om skillnader som detekteras i öppna tester men inte i blinda. Man kan tänka på åtminstone två sätt om sådana resultat:

1. Blindtester gör människor sämre på att höra saker. Så kan det vara om blindtestet görs dåligt. Man ska alltid underlätta för lyssnarna att höra skillnaderna (utan att fuska då, förstås).

2. Blindtester eliminerar icke-ljudande skillnader som kan påverka upplevelsen av ljudet. Tvekar man på att man själv är drabbad av andra sinnens intryck på ljudupplevelsen kan man googla på "McGurk effect".

Det går aldrig att bevisa om en skillnad i testresultat beror på det ena eller andra, men man vet att båda effekterna finns.

Själv har jag även upplevt motsatsen till punkt 1, dvs jag har inte kunnat detektera en skillnad i ett öppet test, men lyckats detektera den i blindtest med statistik och allt på plats. Jag har alltså suttit och växlat mellan två omkopplarlägen och tyckt att jag knappast har hört något skillnad, men ändå fått tillräckligt många rätt i rad.

[Rydberg]

Dagens understatement

Jag bjuder på den... Önskar herr'n ett glas rött eller vitt till den blodiga biffen?

Rött!

Jag har faktiskt varit hyggligt duktig på vin i blinda provningar

[steveo1234]

Är inte kontrollerade blindtester den enda testmetoden som ger meningsfulla resultat ? Jag tänker medicinsk forskning med mera.

Anser du att ett utfall som ger vid handen att 50 % av testdeltagarna inte kan känna skillnad på ett glas rött och ett glas vitt vin ger ett meningsfullt resultat?

Om det är så, så ja.

Hur skulle du förhålla dig till detta hypotetiska utfall? Skulle du fortsätta att dricka vitt till skaldjur och rött till kött (vi leker med tanken att det är så du dricker nu) eller skulle du singla slant om vilket vin du skulle välja?

Nej. Jag vill inte ha kylt vin till kött. För visst var det under den premissen som testet genomfördes?
Även om nej, så nej. Jag vill ändå ha rött vin till kött. Det finns fler saker som påverkar mitt val än smaken.

[Svante]

Är inte kontrollerade blindtester den enda testmetoden som ger meningsfulla resultat ? Jag tänker medicinsk forskning med mera.

Anser du att ett utfall som ger vid handen att 50 % av testdeltagarna inte kan känna skillnad på ett glas rött och ett glas vitt vin ger ett meningsfullt resultat?

Om det är så, så ja.

Hur skulle du förhålla dig till detta hypotetiska utfall? Skulle du fortsätta att dricka vitt till skaldjur och rött till kött (vi leker med tanken att det är så du dricker nu) eller skulle du singla slant om vilket vin du skulle välja?

Nu är jag ingen vindrickare, men det finns som sagt två möjliga tolkningar av ett sådant experiment.

Den ena är att tidigare allmänt vedertagna skillnader mellan rött och vitt beror på placeboeffekten.

Den andra att förutsättningarna i testen var olyckliga. Kanske var de alla förkylda? Kanske var samtliga viner sura? Kanske avsmakades vinerna på en offentlig toalett som inte städats senaste året?

...eller något däremellan.

Innan vi får veta något mer om experimentet kan vi inte avgöra vilket.

[bensnake]

Jag kan nästan svära på att jag vid ett otal tillfällen här i forat läst folk som skrivit något i stil med "om riktiga skillnader föreligger, kommer dessa att detekteras vid ett kontrollerat blindtestförfarande". Någon som känns vid denna formulering?

[petersteindl]

Bensnake, ta ett annat hypotetiskt fall.

Låt säga att det är så att i ett blindtest med 5000 personer ansåg samtliga 5000 att det vita vinet är rödvin och det röda vinet vara vitt vin.

Nu är frågan är det så att det röda vinet är vitt vin och det vita vinet är rödvin.

I ett öppet test ansåg alla 5000 försöksobjekt att det vita vinet är vitt och det röda vinet är rött . . . utom 1 som var helt färgblind

Så, vilket test skall man anse vetenskapligt bevisa vilket som är rödvin och vilket som är vitt vin?

Mvh
Peter

[Doofus]

Bensnake, ta ett annat hypotetiskt fall.

Låt säga att det är så att i ett blindtest med 5000 personer ansåg samtliga 5000 att det vita vinet är rödvin och det röda vinet vara vitt vin.

Nu är frågan är det så att det röda vinet är vitt vin och det vita vinet är rödvin.

I ett öppet test ansåg alla 5000 försöksobjekt att det vita vinet är vitt och det röda vinet är rött . . . utom 1 som var helt färgblind

Så, vilket test skall man anse vetenskapligt bevisa vilket som är rödvin och vilket som är vitt vin?

Mvh
Peter

Men nu blir det väl snurrigt, det blindtestet antydde var ju att i 5000 fall uppfattades en skillnad mellan vinen och när X skulle avgöras hade alla 5000 fel.

I det öppna testet så klargörs bara att testgruppen kan se tillräckligt bra för att avgöra vad som är vitt och rött, ja förutom den färgblinde.

Vad vi kallar rödvin alternativt vin bör/ska inte testas då dessa är beskrivande namn och inte egenskaper, ett vins egenskaper är dock det som skulle testas...

[bensnake]

Man ska alltid underlätta för lyssnarna att höra skillnaderna (utan att fuska då, förstås).

En förstärkare som t.ex är starkt färgad och frångår en linjär förstärkning ska användas med EQ.

Hur går dessa båda statement ihop?

[Svante]

... man kan ändå använda dem som beslutsgrund.

Vi leker med tanken att du misslyckas med att skilja rött från vitt vin vid ett blindtest. Vilka konsekvenser kommer detta att få gällande val av framtida måltidsdryck? Kommer du att köra med vitt vin (som kanske dessutom är billigare) till oxfilén eftersom du vet att du inte känner någon skillnad smakmässigt vid blindtest eller kommer du att välja ett rött, som du egentligen tycker bäst om när ögonen är med?

Jag skulle inte dricka något vin alls, men det beror på att jag inte dricker vin, alls. Och jag skulle absolut inte köra med vitt vin.

Men om jag ändå ska tolka andemeningen i det du skriver, vi kan låtsas att det gäller Pepsi mot coca cola i stället. Om jag upplever en stor skillnad i öppna tester, alltså så som man gör vanligtvis, man dricker det upprepade gånger sett över tid och märker att de middagar man drack coca cola så tyckte man att det smakade bättre. När jag sedan gör blindtestet och häller upp 7 muggar med pepsi och 7 muggar med coca cola och inte klarar att tala om vilken mugg som innehåller vad så tänker jag att det nog beror på att jag inte hann nollställa smaken mellan avsmakningarna. Jag inser att det är ruskigt svårt att objektivt avgöra om det finns någon faktiskt skillnad och börjar överväga att göra en serie över flera middagar den närmaste månaden, där någon ger mig antingen pepsi eller coca cola till de olika middagarna och låter mig tala om efter varje middag vilken som var vilken.

Skulle jag då fortfarande inte kunna svara rätt så skulle jag inte bry mig om vilken jag fick framöver. Nu har jag ju blindtestat under så realistiska förhållanden som möjligt.

(Jag upplever fö en mycket stor skillnad mellan cola på burk, PET och restaurang, både Pepsi cola och coca cola. Jag tror att jag tycker att burkcocacola är godast, men har inte blindtestat det)

[bensnake]

Bensnake, ta ett annat hypotetiskt fall.

Låt säga att det är så att i ett blindtest med 5000 personer ansåg samtliga 5000 att det vita vinet är rödvin och det röda vinet vara vitt vin.

Nu är frågan är det så att det röda vinet är vitt vin och det vita vinet är rödvin.

I ett öppet test ansåg alla 5000 försöksobjekt att det vita vinet är vitt och det röda vinet är rött . . . utom 1 som var helt färgblind

Så, vilket test skall man anse vetenskapligt bevisa vilket som är rödvin och vilket som är vitt vin?

Mvh
Peter

Satan, där tappade du mig...

[Svante]

Jag kan nästan svära på att jag vid ett otal tillfällen här i forat läst folk som skrivit något i stil med "om riktiga skillnader föreligger, kommer dessa att detekteras vid ett kontrollerat blindtestförfarande". Någon som känns vid denna formulering?

Absolut.

Men jag skulle formulera det som att "om hörbara skillnader föreligger, kan dessa detekteras ett lämpligt utfört blindtest".

Alltså, det duger inte med vilket blindtest som helst, men om man bara ger sig 17 på att hitta felet så gör man det om felet är verkligt. Man kan behöva leta efter lämpligt musikstycke, lämplig kringutrustning, se till att vara i högform, och kanske lyssna flera dagar för att få till tillräckligt många lyssningar utan att bli för trött, men det går.

Vid misslyckande att detektera i ett blindtest har man just misslyckats. Detta kan bero på att man inte har fått rätt förutsättningar eller att det inte går att höra någon skillnad.

Och att i det läget försöka få ordning på testet genom att lyssna öppet är bara ... idiotiskt.

[petersteindl]

Bensnake, ta ett annat hypotetiskt fall.

Låt säga att det är så att i ett blindtest med 5000 personer ansåg samtliga 5000 att det vita vinet är rödvin och det röda vinet vara vitt vin.

Nu är frågan är det så att det röda vinet är vitt vin och det vita vinet är rödvin.

I ett öppet test ansåg alla 5000 försöksobjekt att det vita vinet är vitt och det röda vinet är rött . . . utom 1 som var helt färgblind

Så, vilket test skall man anse vetenskapligt bevisa vilket som är rödvin och vilket som är vitt vin?

Mvh
Peter

Men nu blir det väl snurrigt, det blindtestet antydde var ju att i 5000 fall uppfattades en skillnad mellan vinen och när X skulle avgöras hade alla 5000 fel.

I det öppna testet så klargörs bara att testgruppen kan se tillräckligt bra för att avgöra vad som är vitt och rött, ja förutom den färgblinde.

Vad vi kallar rödvin alternativt vin bör/ska inte testas då dessa är beskrivande namn och inte egenskaper, ett vins egenskaper är dock det som skulle testas...

Nu skall det bli ännu snurrigare

Och du utgår från att de hade fel. Hade de fel? Rödvin har vissa egenskaper och vitt vin har vissa egenskaper, förutom färgen.

Det viktiga är att om t.ex. du själv varit med och bedömt rödvinet som vitt vin. Efter testet får du reda på resultatet. Kommer du då gå på linjen som du fick fram i blindtest eller kommer du anse att du haft fel? Av ditt tidigare svar kan jag dra slutsatsen att du kommer gå på linjen att du hade fel i blindtestet. Det är helt ok. Sedan väljer du att dricka det röda vinet som rödvin och det vita vinet som vitt vin.

Men i samma hypotetiska värld får du efter 2 månader reda på att vinernas färg var manipulerade lite och i själva verket är det så att det röda vinet var ett rödfärgat vitt vin och det vita var ett gult färgat rödvin och resultatet var alltså rätt i det blinda testet, kommer du då ändra uppfattning och byta viner då du vill dricka rödvin respektive vitt vin?

Hur ser urvalskriterierna ut efter ett test? Det är det som är frågan.

Vad är det i testet som gör att man väljer en viss sak?

Mvh
Peter

[Doofus]

Bensnake, ta ett annat hypotetiskt fall.

Låt säga att det är så att i ett blindtest med 5000 personer ansåg samtliga 5000 att det vita vinet är rödvin och det röda vinet vara vitt vin.

Nu är frågan är det så att det röda vinet är vitt vin och det vita vinet är rödvin.

I ett öppet test ansåg alla 5000 försöksobjekt att det vita vinet är vitt och det röda vinet är rött . . . utom 1 som var helt färgblind

Så, vilket test skall man anse vetenskapligt bevisa vilket som är rödvin och vilket som är vitt vin?

Mvh
Peter

Men nu blir det väl snurrigt, det blindtestet antydde var ju att i 5000 fall uppfattades en skillnad mellan vinen och när X skulle avgöras hade alla 5000 fel.

I det öppna testet så klargörs bara att testgruppen kan se tillräckligt bra för att avgöra vad som är vitt och rött, ja förutom den färgblinde.

Vad vi kallar rödvin alternativt vin bör/ska inte testas då dessa är beskrivande namn och inte egenskaper, ett vins egenskaper är dock det som skulle testas...

Nu skall det bli ännu snurrigare

Och du utgår från att de hade fel. Hade de fel? Rödvin har vissa egenskaper och vitt vin har vissa egenskaper, förutom färgen.

Det viktiga är att om t.ex. du själv varit med och bedömt rödvinet som vitt vin. Efter testet får du reda på resultatet. Kommer du då gå på linjen som du fick fram i blindtest eller kommer du anse att du haft fel? Av ditt tidigare svar kan jag dra slutsatsen att du kommer gå på linjen att du hade fel i blindtestet. Det är helt ok. Sedan väljer du att dricka det röda vinet som rödvin och det vita vinet som vitt vin.

Men i samma hypotetiska värld får du efter 2 månader reda på att vinernas färg var manipulerade lite och i själva verket är det så att det röda vinet var ett rödfärgat vitt vin och det vita var ett gult färgat rödvin och resultatet var alltså rätt i det blinda testet, kommer du då ändra uppfattning och byta viner då du vill dricka rödvin respektive vitt vin?

Hur ser urvalskriterierna ut efter ett test? Det är det som är frågan.

Vad är det i testet som gör att man väljer en viss sak?

Mvh
Peter

Njae nu satte du ju frågan i din hypotes, frågan var om rött vin var rött vin och vitt vin var vitt vin.

Om vi överför det på låt oss säga förstärkare så förvandlas inte en Nad 208 till ett behringer inuke för att du inte kan detektera det i ett blindtest. Deras bestämda former och namn stannar, deras egenskap är inte att vara ett Nad 208 eller ett behringer inuke.

Så de 5000 hade fel på den punkten att det röda vinet inte detekterades som det röda vinet. Slutsatsen blir väl ändå att det vita vinet smakar i testgruppens munnar som ett rödvin. Inte att vi ska byta namn som baserats på en visuell iaktagelse ?

Snurrigt blev de ! det har du helt rätt i.
Jag förstår kanske inte din hypotes fullständigt och står därför frågande. Upplys mig och min dumhet

[MichaelG]

Jag anser att blinda tester är det enda riktiga sättet att faktiskt avgöra om någon icke-inbillad skillnad existerar.
Öppna tester är väldigt opålitliga när det kommer till mindre skillnader.

Är du av uppfattningen att verkliga skillnader alltid detekteras vid ett kontrollerat blindtest?

Vilken oerhört konstig följdfråga. Det beror ju helt på vad som testas och hur detta testas. Det är ju ganska enkelt att manipulera ett blindtest om man vill detta. Och i vissa fall är det ganska svårt att arrangera ett blindtest så att man verkligen testar rätt. Men det har ju inget med blindtest specifikt att göra. Oavsett testmetod finns det ju olika svårigheter. Och för mig är det så självklart att AndreasArvidsson vet detta att jag aldrig skulle komma på tanken att ens ställa frågan.

[MichaelG]

Ja, alltså, jag avser här skillnaderna mellan t.ex. rött och vitt vin. Vet dock inte om sådana bevisats i ordets rätta bemärkelse så möjligen uttryckte jag mig lite slarvigt... Men du fattar nog hur jag menar i alla fall.

Jag fattar inte alls hur du menar. Seriösa vinprovare provar blint emellanåt. (Det beror litet på vad de ska prova.) Men självklart är det lätt att manipulera ett blindtest. Det finns en (förmodligen sann) berättelse om hur ett gäng professionella vinprovare skulle testa några "finviner". Utan deras vetskap hade ett OK lågprisvin hamnat på testbänken. Ingen avslöjade detta och några hade till och med satt lågprisvinet högt upp på rankingen. Fortsättningen på berättelsen (som inte är lika kul att berätta för den som vill "bevisa" hur dåliga blindtester är) är att blindtestet gjordes om på uppmaning av vinprovarna. Nu när det visste vad de skulle leta efter, lyckades alla pricka in lågprisvinet. Blint!

[MichaelG]

Det här med att jämföra medicinsk forskning med hifi tycker iaf jag haltar högst betänkligt.

Jasså du tolkade det så? Jag tolkade det som om han jämförde olika typer av blindtester.

[MichaelG]

Anser du att ett utfall som ger vid handen att 50 % av testdeltagarna inte kan känna skillnad på ett glas rött och ett glas vitt vin ger ett meningsfullt resultat?

Anser du att bara för att det går att genomföra klantiga blindtest, så diskvalificerar det alla blindtester?

[MichaelG]

Jag kan nästan svära på att jag vid ett otal tillfällen här i forat läst folk som skrivit något i stil med "om riktiga skillnader föreligger, kommer dessa att detekteras vid ett kontrollerat blindtestförfarande". Någon som känns vid denna formulering?

Om någon har skrivit exakt så - eller med exakt den innebörden - vet vederbörande överhuvudtaget inte vad han pratar (=skriver) om. Det handlar i vart fall om en person som helt saknar grundläggande kunskaper i vetenskapsmetodik.

Jag skulle bli dubbelt förvånad om någon verkligen formulerat sig med den innebörden här på Faktiskt. De skribenter som jag skulle kunna tänka mig formulera något sådant är nämligen negativa till blindtester!

[shifts]

Dagens understatement

Jag bjuder på den... Önskar herr'n ett glas rött eller vitt till den blodiga biffen?

Testade detta lite snabbt med förbundna ögon under gåsmiddagen i höstas och ingen tog fel på om vinet var rött eller vitt.

[petersteindl]

... Snurrigt blev de ! det har du helt rätt i.
Jag förstår kanske inte din hypotes fullständigt och står därför frågande. Upplys mig och min dumhet

Vad jag egentligen vill komma till är själva urvalskriteriet som man använder i sitt liv för att komma till beslut och speciellt för att exekvera besluten och därmed gå från ord till handling.

Vad triggar din handling? Det är för mig den helt essentiella punkten.

Mvh
Peter

[petersteindl]

Dagens understatement

Jag bjuder på den... Önskar herr'n ett glas rött eller vitt till den blodiga biffen?

Testade detta lite snabbt med förbundna ögon under gåsmiddagen i höstas och ingen tog fel på om vinet var rött eller vitt.

Gör testet igen. Men låt rödvinet ha en temperatur på 9 grader och det vita vinet en temperatur på 22 grader

Mvh
Peter

[shifts]

bensnake: Många på dig nu, håll ut!

petersteindl: Kan nog bli knivigare då, men här hade vinerna samma temperatur i princip. Fanns säkert massor med felkällor, inte tillräckligt många smakprover, osv. osv. Men det var fånigt enkelt. Ett vin ngt sött, det andra inte alls.

[Doofus]

... Snurrigt blev de ! det har du helt rätt i.
Jag förstår kanske inte din hypotes fullständigt och står därför frågande. Upplys mig och min dumhet

Vad jag egentligen vill komma till är själva urvalskriteriet som man använder i sitt liv för att komma till beslut och speciellt för att exekvera besluten och därmed gå från ord till handling.

Vad triggar din handling? Det är för mig den helt essentiella punkten.

Mvh
Peter

Nu är jag med på noterna, vi pratar om valda källor och i detta fall resultatet av ett blindtest som kan få dig att lika gärna dricka rött vin till de nyskalade räkorna.

Tack för ditt överseende med mina frågor.