Blindtest - inget för statistikentusiaster.

av **soundbrigade** » 2007-01-01 13:23

Jag skrev ett svar i ett annat forum men ville gentligen öppna en tråd här om hur man gör ett blindtest.
Nu struntar vi i statistik utan tittar på hur vi praktiskt utför testet och ser till att testet är ett blindtest.

Så här hade jag tänkt mig ...

De flesta som pysslar med moddningar och kabelbyten gör flera stora misstag. Det ena är att hörselminnet är mycket kort. Jag kan inte bryta och ta mig 10 minuter för att koppla in andra kablar och tro att jag verklgen ska kunna minnas ge gamla och kunna göra en jämförelse.
Ännu viktigare är förväntansfaktorn. Det är väl självklart att de där 500-kronors Black Gate kondingarna måste låta bättre än ett par billiga ellyter från ELFA!!! Att det går två dygn mellan lyssningstillfällena glömmer vi för säkerhets skull.

Ett mer riktigt blindtest kan bara gå till på ett sätt. För det första måste in/ur-koppling av testobjektet (som jämförs mot en dummy) ske slumpvist och utom all kontroll av såväl den som leder testet och den testpersonen.
Nedanstående en enkel uppställning. En slumgenerator (PC) kopplar mellan testobjektet (DUT - Device Under Test) och en dummy (som kan vara en referens eller en standardkomponent). Testpersonen får signal när han via en dosa med två tryckknappar ska ge sin synpunkt om han hör skillnad. Notera att slumpgeneratorn kan välja att koppla in samma objekt flera gånger i rad. Testobjektet kan vara en kabel, förstärkare, CD-spelare, högtalare, kontakt ... Notera dock att när det gäller förstärkare eller högtalare måste systemet vara kalibrerat så båda systemen ger EXAKT samma utnivå.

Bild

Testpersonen får en indikering på NÄR han kan göra en notering (dosa med två tryckknappar) om sin lyssningsupplevelse - bättre/sämre. Först när testet är slut presenteras resultatet, alltså om testpersonen med övertygande säkerhet prickat rätt.
Givetvis ska testet göras med flera testpersoner, och varje testomgång kanske ska utgöras av 25-100 testtillfällen.

Det här systemet tror jag inte bara är det enklaste blindtest vi kan göra, utan faktiskt är himla enkelt.

Jag vill peka på två saker som jag anser är viktiga. Det ena är att ingen som ingår i testet behöver veta vilken enhet som är inkopplad och att testet upprepas flera gånger.

av **RogerJoensson** » 2007-01-01 13:55

Jag tycker att det är viktigt att lyssnaren själv kan styra om han lyssnar på A eller B, när han vill. Hans ska naturligtvis inte veta vilken utgång A eller B är kopplad till.

Datorn jämför sedan lyssnarens val med datorns slumpval och man får fram vilken enhet som föredrogs.

Det kan även vara en fördel om lyssnaren kan backa musiken själv och lyssna-om vid ett parti där han anser sig höra något speciellt.
---
Så här har jag gjort blindtester tidigare.
En person växlar eller säger sig växla enhet och antecknar läget på sin omlopplare i en tabell. Lyssnaren antecknar vilken utgång han föredrar. De hela upprepas många gånger. Sedan jämförs tabellerna. Ingen av personerna vet vad den andre kopplat eller valt, vilket gör tester mycket säkert, utan behov av dator och slumpgenerator. Det är naturligtvis en fördel om de inblandade inte kommunicerar med varandra.

av **soundbrigade** » 2007-01-01 13:59

Lyssnaren ska inte kunna styra, då är det inget blintest längre.
Jämför med läkemedelstest där varken testpersonerna eller testledningen vet vad som ligger i burkarna.
Just detta att slumpen kan koppla in samma testobjekt flera gånger i följd sållar bort val som beror på förväntan.

av **n3mmr** » 2007-01-01 14:50

Jag ser ett par olika problem med din uppställning:

1. Vilken fråga ska lyssnaren besvara?? den måste vara väldigt precist formulerad, och bör inte innehålla antydan om att man ska söka preferenser.

Med din uppställning bör frågan vara: Lyssnar du på DUT eller Dummy? Och så måste det finnas möjlighet att lyssna på bestämt DUT resp Dummy. T ex i början.

2. Vilken information är det du söker?? (Alltså, vad vill du kunna utläsa av en statistisk behandling av svarsprotokollet?) Det är inte klart från din framställning.

Det finns fler problem, men det där är väl de viktigaste.

av **soundbrigade** » 2007-01-01 15:31

n3mmr skrev:1. Vilken fråga ska lyssnaren besvara?? den måste vara väldigt precist formulerad, och bör inte innehålla antydan om att man ska söka preferenser.

Kanske frågan är "Markera bästa ljudet". Det är väl ofta det vi vill veta. Låter kabel A bättre än kabel B? Eller opamp A vs opamp B ...

n3mmr skrev:2. Vilken information är det du söker?? (Alltså, vad vill du kunna utläsa av en statistisk behandling av svarsprotokollet?) Det är inte klart från din framställning.

Jupp, man måste behandla utfallet - alltså datorn (det jag kallat slumpgenerator) jämför vilken komponent som varit inkopplad och vilken som testpersonerna valt. Det ger ETT resultat: Testpersoner väljer A i 70% av fallen. Ett annat resultat som lika viktigt är att bestämma "osäkerheten", alltså det man får ut genom att testpersonerna INTE får veta om systemet faktiskt växlar komponent eller tuggar på med samma.

Jag inbillar mig att det här förfarandet är bättre att svara på frågan är A bättre än B än om jag ser att kabel A resp B kopplas in och jag ska ha en åsikt om vilken är bäst.

Jämför återigen med läkemedlstestet: "Här har du en burk tabletter som ska ge dig ökad impotens. Ta ett piller varje gång du ska älska och se om du blir styvare ...".
"Koppla in den här 70.000kr signalkabeln och se om den låter bättre än 20-kronorskabeln från Expert ..."

av **Max_Headroom** » 2007-01-01 15:42

Poängen med ABX-tester är ju att man kan välja att lyssna på A eller B eller X, vilket man inte vet i förväg vad som är vad.

Man bör lämpligen lyssna in sig på A resp B före testet. Under testet så kommer X (dvs när man lyssnar på A eller B utan att veta vilken) att ge svar på om det finns någon skillnad som faktiskt.se är hörbar eller inte.
I en del har har det visat sig att skilnader somvarit stora när man lyssnat på A resp B helt har försvunnit när man gjort dylika tetser.

Självklart använder mig veterlign ingen kommersiell HiFi-tidning denna testmetod då allt för många produkter skulle avslöjas som bluff och/eller löjligt prissatta (i för hållande till ljudmässig prestanda).

av **soundbrigade** » 2007-01-01 16:06

Kan man tänka sig ett ABX-test där X är antingen A eller B???

av **RogerJoensson** » 2007-01-01 16:17

soundbrigade skrev:Lyssnaren ska inte kunna styra, då är det inget blintest längre.

Om du håller på och byter mitt i lyssningen så kan man ju aldrig komma fram mycket.
Jag anser att lyssnaren själv ska kunna välja A eller B, men att datorn väljer vad som är A och B. Lysnaren vet alltså inte vilken ljudutgång som är kopplad till A resp B.
Varför detta inte skulle vara en blindtest förstår jag inte.

Att A och B byter plats lite hur som helst mitt i en lyssningsperiod är absurt och kommer att störa både koncentration och utfall kraftigt.

av **RogerJoensson** » 2007-01-01 16:18

soundbrigade skrev:Kan man tänka sig ett ABX-test där X är antingen A eller B???

Vad skulle den annars vara?

av **n3mmr** » 2007-01-01 16:37

soundbrigade skrev:
n3mmr skrev:1. Vilken fråga ska lyssnaren besvara?? den måste vara väldigt precist formulerad, och bör inte innehålla antydan om att man ska söka preferenser.

Kanske frågan är "Markera bästa ljudet". Det är väl ofta det vi vill veta. Låter kabel A bättre än kabel B? Eller opamp A vs opamp B ...

n3mmr skrev:2. Vilken information är det du söker?? (Alltså, vad vill du kunna utläsa av en statistisk behandling av svarsprotokollet?) Det är inte klart från din framställning.

Jupp, man måste behandla utfallet - alltså datorn (det jag kallat slumpgenerator) jämför vilken komponent som varit inkopplad och vilken som testpersonerna valt. Det ger ETT resultat: Testpersoner väljer A i 70% av fallen. Ett annat resultat som lika viktigt är att bestämma "osäkerheten", alltså det man får ut genom att testpersonerna INTE får veta om systemet faktiskt växlar komponent eller tuggar på med samma.

Jag inbillar mig att det här förfarandet är bättre att svara på frågan är A bättre än B än om jag ser att kabel A resp B kopplas in och jag ska ha en åsikt om vilken är bäst.

Jämför återigen med läkemedlstestet: "Här har du en burk tabletter som ska ge dig ökad impotens. Ta ett piller varje gång du ska älska och se om du blir styvare ...".
"Koppla in den här 70.000kr signalkabeln och se om den låter bättre än 20-kronorskabeln från Expert ..."

Nä, med dina förslag till frågor så kan jag inte se att det är meningsfullt med blindtest.
eller att lägga ner jobb på apparaturen.

Hur i helskotta kan man få nån referens som gör att man vet vilket som är bättre? Hemskt fult ljud återgivet med helt fantastiska prylar SKA fortfarande låta hemskt fult.
Så t ex beroende på vilket ljud du spelar upp ska du få helt olika resultat om vilken komponent som föredras.

Ha en referens och jämför, sök svaret på frågan om man hör skillnad eller ej.

av **DrMabuse** » 2007-01-01 16:40

Jag tror inte alls att man ska försöka avgöra vad som låter "bäst" utan bara försöka avgöra om det finns en hörbar skillnad med säkerhet enl ett valt statistiskt kriterium.

Föredrar man det ena eller det andra är ju bara intressant om det finns någon hörbar skillnad och en helt annan typ av diskussion.

av **soundbrigade** » 2007-01-01 16:46

Dummyn är referensen, men vitsen är att inte vet om det är dummyn eller DUTen jag lyssnar på.
Mina åsikter får inte färgas av att jag vet vilket jag lyssnar på. Hur många gånger stöter vi inte på det här - "bra (och dyra) saker måste låta bättre än (billiga) saker". Vi har häcklat en kille en kille på något annat forum som köpt på sig massa dyr sladd till sina hörlurar. Det är just det här jag vill undvika.

Sedan kan man ju modifiera frågan beroende på vad du vill veta - bättre/sämre, rör/transistor, basreflex/sluten låda osv ...

Tänk om du låter folk lyssna på samma kabel som A/B och hävdar att ena kabeln låter bättre - då vet du att folk inbillar sig. DET hittar du inte med ditt ABX-test.

av **n3mmr** » 2007-01-01 16:55

DrMabuse skrev:Jag tror inte alls att man ska försöka avgöra vad som låter "bäst" utan bara försöka avgöra om det finns en hörbar skillnad med säkerhet enl ett valt statistiskt kriterium.

Föredrar man det ena eller det andra är ju bara intressant om det finns någon hörbar skillnad och en helt annan typ av diskussion.

Helt rätt. Och det intressanta är att om man påstår att man hör att en viss kabel eller konding låter mycket bättre än en annan så börjar man lämpligen med att kolla att man alls kan höra skillnaden, utan att intressera sig för preferenser.

Eftersom man inte kan utsätta preferenser angående delar av ett system för säkra tester. Man kan bara visa om nån har en preferens för en hel kedja, från instrument/artist till lyssningsrummet, inte för en delkomponent.

Sen kan man börja söka svaret på vilket som är bäst: varvid man börjar med att definiera vad som är bättre.....

T ex kan man säga att "Det ska låta som originalet", och då kan F/E-lyssning vara en bra metod. Dummyn är då en icke-komponent, tex en direkt koppling av en kabelsnutt som också finns med i den andra, DUT-, kedjan.

Eller man kan (t ex) säga att "den här musiken i den här inspelningen skall låta så behagligt som möjligt". Eller nåt annat, strukturellt och principiellt liknande, kriterium. En sån undersökning har ett visst värde, fast det värdet är svårare att fastställa, och dessutom blir dess resultat svårare att applicera generellt, än det enkla transparensidealet. Man är ju inte alltid så överens om hur det helst ska låta. Vore man det skulle CD-mastringen inte vara ett problem, och det är den.

av **n3mmr** » 2007-01-01 17:12

soundbrigade skrev:Dummyn är referensen, men vitsen är att inte vet om det är dummyn eller DUTen jag lyssnar på.
Mina åsikter får inte färgas av att jag vet vilket jag lyssnar på. Hur många gånger stöter vi inte på det här - "bra (och dyra) saker måste låta bättre än (billiga) saker". Vi har häcklat en kille en kille på något annat forum som köpt på sig massa dyr sladd till sina hörlurar. Det är just det här jag vill undvika.

Sedan kan man ju modifiera frågan beroende på vad du vill veta - bättre/sämre, rör/transistor, basreflex/sluten låda osv ...

Tänk om du låter folk lyssna på samma kabel som A/B och hävdar att ena kabeln låter bättre - då vet du att folk inbillar sig. DET hittar du inte med ditt ABX-test.

Jo, det gör man troligen, men det är faktiskt det enda fall där din testuppställning hittar detsamma som en full X/Icke-X - test, och dessutom på ett mer övertygande sätt. (Övertygande för den fåvitske, alltså, övertygande för den kunnige är båda testformerna.) Testet går dessutom snabbare mot sitt resultat, om det är just det resultatet.

Tyvärr funkar din uppställning sämre för andra resultat och förutsättningar, genom att resultaten tar mer arbete att komma fram till, och blir mindre övertygande för alla målgrupper.

Dessutom: 25-100 lyssningar (om du menar lyssna klart och bestäm dig och notera ditt svar 25 - 100 ggr) tar en förfärlig tid. Man når god konfidens vid igenkänningstester redan vid 7-15 lyssningar.

Sen är jag inte säker på ABX som saliggörande metod längre: det finns ett problem kring att det sökta svaret kan upplevas som "ett steg bort" från det man faktiskt lyssnar efter. Man kan få det till att man jämför två jämförelser, helt uppenbart.

En ABX - box kan fortfarande vara ett bra alternativ, men man lyssnar i sekvensen ( t ex ) ABABABXXXXXXXXXXX där X slumpas före varje X-lyssning. Och man svarar med en lista där man bytt ut Xen mot vilket av A eller B man tror att det är.

testen kan göras som ABABABXXXXABABABXXXXABABABXXX om man vill

eller som ABABAB(ena)(andra)(ena)(andra)..... tills man bestämt sig för om det är det (ena) eller det (andra) som är A.

Och sen upprepas detta

av **Piotr** » 2007-01-01 17:26

Måste man lyssna på ABBA? :oops:

Buuuuu!!

/Peter

av **soundbrigade** » 2007-01-01 17:31

Är det någon som förstår min idé, då? Vad jag försöker uppnå???

av **PerStromgren** » 2007-01-01 18:47

soundbrigade skrev:Kan man tänka sig ett ABX-test där X är antingen A eller B???

Javisst, det är så det är tänkt att fungera.

Försökspersonen har tre lägen på en omkopplare A (känd källa), B (annan känd källa) och X (okänd källa). X är slumpad till att vara A eller B. Hennes uppdrag är att säga om X är A eller X är B.

I ABX kan givtevis A sättas till "F" (Före) och B till "E" (Efter) om så önskas. Hör man ingen skillnad kan man inte heller avgöra om X är F eller E.

Du kan pröva tekniken enkelt i din dator med hjälp av PCABX-programmet.

av **soundbrigade** » 2007-01-01 19:28

Tack Per!

Men jag tror folk antingen inte förstår vad jag vill uppnå, eller inte förstår något överhucvudtaget av det jag skriver.

Eller, vilket är än värre .... jag fattar inte själv vad jag vill uppnå.

Jo så här. Vrider till läge A - "Ok, det låter så ...". Vrider till läge B - "Aha, det här måste vara bättre/sämre (tänker: eftersom jag kopplat in en annan komponent)".

Återigen - Viagrajämförelsen: Nu käkar du det här blå pillret i hela januari. Nu tar du DET HÄR pillret hela februari och npterar om det är skillnad. Fortfarande förväntningen!!!!!

Jag som skull sy klart en korsett som skulle vara klar för ett halvår sedan, åsså måste jag scanna massa tilläggsmaterial till den här tråden ...

av **PerStromgren** » 2007-01-01 19:45

Du vill avgöra om testpersonen uppfattar en förändring eller inte, genom att ibland göra förändringen och ibland inte, men varje gång gång fråga om någon förändring skett. Så kan man givetvis göra, men varför vill du göra just så? Det verkar inte ett dugg enklare, om du frågar mig.

Genom att aldrig ge testpersonen något känt att luta sig emot, blir det nog mycket svårt att höra skillnaden. Det kan vara svårt att vara testperson när man i bland kan få försöka avgöra serien DUT-DUT-DUT-DUT-DUT-DUT-DUT-DUT-REF utan att tveka.

DUT-REF-X tror jag mer på, utan att veta.

Kanske bäst att du går och syr färdigt, det här kan ta tid!

av **n3mmr** » 2007-01-01 20:58

soundbrigade skrev:Tack Per!

Men jag tror folk antingen inte förstår vad jag vill uppnå, eller inte förstår något överhucvudtaget av det jag skriver.

Eller, vilket är än värre .... jag fattar inte själv vad jag vill uppnå.

Jo så här. Vrider till läge A - "Ok, det låter så ...". Vrider till läge B - "Aha, det här måste vara bättre/sämre (tänker: eftersom jag kopplat in en annan komponent)".

Återigen - Viagrajämförelsen: Nu käkar du det här blå pillret i hela januari. Nu tar du DET HÄR pillret hela februari och npterar om det är skillnad. Fortfarande förväntningen!!!!!

Jag som skull sy klart en korsett som skulle vara klar för ett halvår sedan, åsså måste jag scanna massa tilläggsmaterial till den här tråden ...

Och jag återkommer till min käpphäst: Om du tänker i termer av "bättre<->sämre" så leds du fel. Det är nåt man inte kan testa. Du kan testa om det finns en skillnad. Normalt inget annat. Om den är bättre eller sämre kan du inte använda dig av.

Man testar inte Viagra på det sättet: Pillren ser likadana ut, varje individ får bara en typ, testutfallet är t ex antalet lyckade erektioner. Olika färg skulle genast ta bort tillförlitligheten.

Pillertester görs alltid aktiv typ kontra sockerpiller. Dvs ett slags Efter vs Före.

av **soundbrigade** » 2007-01-01 21:52

n3mmr skrev:Och jag återkommer till min käpphäst: Om du tänker i termer av "bättre<->sämre" så leds du fel. Det är nåt man inte kan testa. Du kan testa om det finns en skillnad. Normalt inget annat. Om den är bättre eller sämre kan du inte använda dig av.

Man testar inte Viagra på det sättet: Pillren ser likadana ut, varje individ får bara en typ, testutfallet är t ex antalet lyckade erektioner. Olika färg skulle genast ta bort tillförlitligheten.

Pillertester görs alltid aktiv typ kontra sockerpiller. Dvs ett slags Efter vs Före.

OK, vi glömmer bättre/sämre, bara annorlunda. Och jag ville just försöka komma på hur man kan nå en sorts testmetod som vi hittar från läkemedelstester.

En av orsakerna till jag kämpar är att jag vill komma bort från det där med folk som byter någon konding i en signalväg och sedan berättar hur mycket bättre det låter - och jag har aldrig sett någon protestera.
Sedan har vi de som säljer komponenter (och de som köper och okrititisk lyfter dessa till skyarna).

av **DrMabuse** » 2007-01-01 22:07

Hypotetiska fallet: signalkablar RG 62 med biltemakontakter (de grå) och dyrkabel för 10 000kr.

Steg 1: Avgör om det överhuvudtaget går att säkerställa en ljud eller upplevelsemässig skillnad. Personen ska inte veta någonting om vad som testas. Kan vara kablar eller något annat.

Steg 2: Om det fanns en hör eller upplevelsemässig skillnad, vad är det som föredras? Här måste personen ved vilket av objekten som är inkopplat.

Personen måste vara helt ointresserad och okunning om HiFi men intresserad av att deltaga i testet. Är det en HiFi nörd så är risken stor att det går så mycket prestige i själva testet så att personen uppfattar det som att det är han/hon som testas och inte själva utrustningen.

Hörde på vetenskapsradion för ett par år sedan om där läkare ville testa hur smaksinnet förändrades efter operationer i munhålan. De opererade personerna skulle blint avgöra vilken maträtt de åt.... vilket de inte kunde. Som referens användes personer som inte genomgått någon operation....och de kunde inte heller avgöra vilken maträtt de åt. Slutsatsen blev att vet man inte vad man äter så vet man inte hur det smakar.

av **n3mmr** » 2007-01-01 22:47

soundbrigade skrev:
n3mmr skrev:Och jag återkommer till min käpphäst: Om du tänker i termer av "bättre<->sämre" så leds du fel. Det är nåt man inte kan testa. Du kan testa om det finns en skillnad. Normalt inget annat. Om den är bättre eller sämre kan du inte använda dig av.

Man testar inte Viagra på det sättet: Pillren ser likadana ut, varje individ får bara en typ, testutfallet är t ex antalet lyckade erektioner. Olika färg skulle genast ta bort tillförlitligheten.

Pillertester görs alltid aktiv typ kontra sockerpiller. Dvs ett slags Efter vs Före.

OK, vi glömmer bättre/sämre, bara annorlunda. Och jag ville just försöka komma på hur man kan nå en sorts testmetod som vi hittar från läkemedelstester.

En av orsakerna till jag kämpar är att jag vill komma bort från det där med folk som byter någon konding i en signalväg och sedan berättar hur mycket bättre det låter - och jag har aldrig sett någon protestera.
Sedan har vi de som säljer komponenter (och de som köper och okrititisk lyfter dessa till skyarna).

Glöm det!

Folk som alls får för sig att byta kondingar, eller Opampar till "den som låter bäst" är lost cases från början. Dom kan INTE acceptera en stringent testmetod.

Vad skulle du vilja uppnå med det hela? Att dom här idioterna (för det är dom) skulle sluta vara idioter? Glöm det: En gång idiot, alltid idiot i 90% av fallen.

Du skulle inte uppnå nånting.

Men din bild av "låddan" är korrekt, fast det fattas en metod att slumpa valet och bevara historien, dvs man ska kunna trycka på en knapp och generera en testserie som man sen kan köra flera gånger, och visa upp i efterhand.

av **soundbrigade** » 2007-01-01 23:04

n3mmr skrev:Glöm det! Folk som alls får för sig att byta kondingar, eller Opampar till "den som låter bäst" är lost cases från början. Dom kan INTE acceptera en stringent testmetod

Vad skulle du vilja uppnå med det hela? Att dom här idioterna (för det är dom) skulle sluta vara idioter? Glöm det: En gång idiot, alltid idiot i 90% av fallen.

Du skulle inte uppnå nånting.

Jo, det har jag nog noterat. Följt lite om någon som köpt en billig förstärkare och sedan bytt ut allt med pigga kommentarer om hur mycket bättre ljudet blev. Och så alla andras glada tillrop - "Blev mellanregistret stramare??" "Jag har också hört att phonokontakter i mässing ska ge bättre pulssvar i diskanten ..."

n3mmr skrev:Men din bild av "låddan" är korrekt, fast det fattas en metod att slumpa valet och bevara historien, dvs man ska kunna trycka på en knapp och generera en testserie som man sen kan köra flera gånger, och visa upp i efterhand.

Jag tänkte att testserien i sig inte var viktig, bara att generatorn/datorn jämför dess val med testpersonens och räknar ut någon sorts korrelation.
Samtidigt skulle man ju kunna fundera på att ta fram en mycket enkel apparat - lite digitala kretsar eller en PIC som styr ett relä och tänder en lampa, hämtar in en knapptryckning och visar ett sorts resultat. Ett idiotprojekt till Göteborgsblasten kanske ....

av **silvervarg** » 2007-01-02 03:19

Prova gärna PCABX-programmet som Per länkar till ovan. Där jämför man normalt två WAV-filer i ett ABX-test. Det finns en del intressanta tester som du kan ladda ner och prova med i olika svårighetsgrad.

Det intressanta är att märka hur metoden fungerar. Man märker kvickt att de har tänkt till ordentligt när de har gjort detta program.
Man kan tom tänka sig att använda detta program genom att skapa sig två filer genom att spela in "DUT" och "DUMMY" via mikrofon eller direkt som insignal till ett ljudkort om DUT inte är förstärkare/högtalarkabel/högtalare.

Att hitta på egna testmetoder är nog en dålig idé om du inte tror att du kan hitta på något som är mycket bättre än ABX eller F/E.
När man ger lyssnaren möjlighet att själv växla mellan ABX i egen takt valfritt antal gånger innan man svarar X=A eller X=B så ger man lyssnaren bästa tänkbara förutsättningar att svara rätt. Om man trots detta inte lyckas få statisktis signifikans så anses skillnaden inte vara hörbar.

Ett problem återstår dock (som brukar ges som argument för t.ex. tveksamma komponentbyten):
Antag att du nu byter kondesatorer/motstånd/op-ampar/andra pillidutter etc i en apparat och att var och en av ändringarna ger så liten effekt att det är nästan omöjligt att höra skillnad, men att alla ändringarna tillsammans gör stor skillnad.
För att få skillnaden behöver man rimligen då byta alla komponenterna.
För att kunna göra jämförelsen (utan inspelning till filer) så måste man ha två identiska apparater att utgå från. Det är ofta svårt eller dyra att åstadkomma detta när det gäller modifiering av apparater.

n3mmr:s råd att strunta i dessa personer är nog klart enklast. Rikta hellre testet mot personer som verkligen vill veta om en viss sak (t.ex. kabel) ger annat resultat.

av **soundbrigade** » 2007-01-02 11:36

silvervarg skrev:n3mmr:s råd att strunta i dessa personer är nog klart enklast. Rikta hellre testet mot personer som verkligen vill veta om en viss sak (t.ex. kabel) ger annat resultat.

Ibland vill man vara lite folkbildare och kämpa för Ordnung und Rednung och sprida sina teser till de glada moddarna, men som du säger (skriver), glöm pöbeln, eller som min hustru brukar säga " om man är idiot, är det för alltid".

Om jag nu struntar i att bygga Kesselmarks Apparat för Jämförnade Audiofoniska Tester (KAJAT), så kan man ju ändå har i tankarna hur man testar och vilka risker man utsätter sig för om man gör på olika sätt.

av **n3mmr** » 2007-01-02 12:58

soundbrigade skrev:
silvervarg skrev:n3mmr:s råd att strunta i dessa personer är nog klart enklast. Rikta hellre testet mot personer som verkligen vill veta om en viss sak (t.ex. kabel) ger annat resultat.

Ibland vill man vara lite folkbildare och kämpa för Ordnung und Rednung och sprida sina teser till de glada moddarna, men som du säger (skriver), glöm pöbeln, eller som min hustru brukar säga " om man är idiot, är det för alltid".

Om jag nu struntar i att bygga Kesselmarks Apparat för Jämförnade Audiofoniska Tester (KAJAT), så kan man ju ändå har i tankarna hur man testar och vilka risker man utsätter sig för om man gör på olika sätt.

Bygg din Kajat, men se till att den har differentiella ingångar så man kan jämföra bryggkopplade apparater, att man kan generera slumpsekvenser som sen kan upprepas, att man kan backa i sekvensen och se vilket svar man redan lämnat och se om man vill ändra, samt att man sen får veta det statistiska utfallet, eller helea protokollet med rätt svar.

av **dimitri** » 2007-01-02 13:17

Det kanske sades redan, men iallafall:

Anta bt mellan EKK vs Vallhalla
I testlaget kommer det antagligen finnas personer som tycker att:

EKK=Valhalla (dvs att det viktiga är att ha en sundkonstruerad kabel)
Valhalla>EKK
EKK>Valhalla

Den första gruppen kommer sannolikt att tendera att bortse från ev. skillnader
Den andra gruppen kommer att vilja påvisa skillnader
Den tredje gruppen har tillsynes samma intresse som den andra gruppen men med den skillnaden att resultat EKK=Valhalla tillfredställer gruppen ganska bra.

Alltså:
Möjliga resultat:
---Ingen skillnad - gott och väl. Inget problem med tolkningen
---Skillnad - Vem ska känna sig glad? EKKister eller Vallhallaister?
Här bör man gå vidare med test Nr 2*. eller andra delen. I denna testdel bör deltagarna tala om vilket de föredrar. Alltså först EFTER att testet har visat att skillnader finns.
Det kan ju visa sig att Alla föredrar EKK eller alla föredrar Vallhalla.
Eller att Vallhallaanhängarna föredrar Vallhalla och EKKister föredrar EKK.
Eller tvärtom, och då blir det stort :oops:

*om alla är överens om att göra det.

av **soundbrigade** » 2007-01-02 13:38

Tack Dimitri!

Mer för formens skull plockar jag in en jämförelse till - hos optikern:
Där skiftas glas tills man når en balans av god synskärpa och bekvämlighet för ögonen. Jag är inte intresserad av vilken styrka det är på glasen bara att jag kan se bra utan att mina ögon blir ansträngda.
Man kanske skulle (t ex vid kabeltest eller OPAMPtest) kunna köra ett A/B-test och när man valt "bästa" plockar man bort alternativet man gillade minst och tar in ett nytt objekt och fortsätter - hela tiden med "blinda testobjekt".

av **n3mmr** » 2007-01-02 16:07

dimitri skrev:Det kanske sades redan, men iallafall:

Anta bt mellan EKK vs Vallhalla
I testlaget kommer det antagligen finnas personer som tycker att:

EKK=Valhalla (dvs att det viktiga är att ha en sundkonstruerad kabel)
Valhalla>EKK
EKK>Valhalla

Den första gruppen kommer sannolikt att tendera att bortse från ev. skillnader
Den andra gruppen kommer att vilja påvisa skillnader
Den tredje gruppen har tillsynes samma intresse som den andra gruppen men med den skillnaden att resultat EKK=Valhalla tillfredställer gruppen ganska bra.

Alltså:
Möjliga resultat:
---Ingen skillnad - gott och väl. Inget problem med tolkningen
---Skillnad - Vem ska känna sig glad? EKKister eller Vallhallaister?
Här bör man gå vidare med test Nr 2*. eller andra delen. I denna testdel bör deltagarna tala om vilket de föredrar. Alltså först EFTER att testet har visat att skillnader finns.
Det kan ju visa sig att Alla föredrar EKK eller alla föredrar Vallhalla.
Eller att Vallhallaanhängarna föredrar Vallhalla och EKKister föredrar EKK.
Eller tvärtom, och då blir det stort

*om alla är överens om att göra det.

Hur kan du säkerställa att det är just kabeln folk föredrar?

Antag att du har en inspelning med stark överbetoning av området närmast 3kHz ( s k presens) och du spelar den genom två apparater, varav den ena är en enkel men perfekt kabel medan den andra är ett välanpassat MFB-filter som precis kompenserar bort den presensöverbetoning som skivan har. Åså föredrar folk då MFB-länken. (tillräckligt stark överbetoning så kommer dom faktiskt att göra det. Lovar. )

Vad är det då dom föredrar?? MFB-filtret hellre än en perfekt kabel????? eller ett rent ljud??

Den preferenstestning ni vill göra kan göras, visst, MEN INTE FÖR EN ENSKILD KOMPONENT!!!!!