Blindtest - inget för statistikentusiaster.

[soundbrigade]

Du menar väl för hela glödheta hel****e att det finns någon som med vett och vilja tillverkar en kabal som färgar ljudet????????????

Säg att du skojjar annars kommer middan upp samma väg den slank ner.

[wayfarer]

Hur kan du säkerställa att det är just kabeln folk föredrar?

Antag att du har en inspelning med stark överbetoning av området närmast 3kHz ( s k presens) och du spelar den genom två apparater, varav den ena är en enkel men perfekt kabel medan den andra är ett välanpassat MFB-filter som precis kompenserar bort den presensöverbetoning som skivan har. Åså föredrar folk då MFB-länken. (tillräckligt stark överbetoning så kommer dom faktiskt att göra det. Lovar. )

I det fall du ovan bestämmer gör man genom att använda ett större antal stimulis, med andra ord många olika stycken skall användas vid blind testning för att undvika att det är stimuli beronde. Dessutom kan ordningen mellan stimulis ha betydelse därför skall man slumpa ordningen mellan stimuli för varje individuell testare.

Det har varit lite diskussion om skillnaden mellan AB och ABX testning. Det är ju en viss skillnad mellan ABX där du har två fasta referenser och sedan skall avgöra om X är A eller B. Detta är ju metod som undersöker om du kan avgöra om det finns tillräckligt signifikanta skillnader mellan A och B för att detektera vilken som är vilken.

AB testning, med andra ord där man får höra två stimulin A och B och sedan skall rösta vilken som har preferens för. För varje stimuli omgång så slumpar man vilken av systemen som producerar A och B. Den metod visar ju något annat. Först så försöker man mäta om det finns signifikant subjektiv preferens hos sina lyssnare. Metoden kan också visa att lyssnarna inte hade statiskt signifikant preferens. Det roliga är att man kan analysera varje lyssnare individuelt och hela populationen. Då kan man avgöra om lyssnarna signifikant hör skillnad på systemen som jämfördes. Om de gjorde det så kan man även titta på hela populationen och se om hur överens de är om preferensen för ett system. Dock måste man vara jäkligt försiktig här vilka slutsater man drar. Dessutom måste man ha gjort sitt jobb att se till så att man får någon signifikans i statistiken. I det fall man bara låter lyssnaren hör A och B en enda gång så brukar man se till att under testet också spela upp den omvända ordningen för att undvika att ordningen pågrund av vårat mycket korta hörsleminne spelar roll. Med båda ordningarna med så kan man plocka bort de fall där det inte finns sigifikanta skillnader.

Både AB och ABX säger ingeting om hur mycket skillnad det är mellan systemen i testet bara om det finns statistiskt säkerställda skillnader eller inte. Och i fallet AB dessutom vilken lyssnarpopulationen fördrar.

Alltså är AB test rätt metod om man har konstruerat två olika system och försöker avgöra vilken som är den mest subjektivt tilltalande av de två. Men som sagt var, här är det viktigt att fundera över de övriga betingelserna vid testet. För det kan lätt bli missvisande. Dock en rätt bra metod om man t.ex håller på med förstörande kompression av ljud och vill avgöra om algoritm 1 eller 2 är de bästa. Dock vill man i ett sådant här fall gärna jämföra flera algoritmer och kanske även ha kända kvalitetsankare.

En metod som jag varit deltagare i är Mushra. Det är en metod som är lämplig för utvärdering av ljud med mediumkvalitet, tänk MP3 och andra förstörande kodningstandarder. Den går till så att man för varje stimuli så kan lyssnaren fritt välja att spela alla stimulin en eller flera gånger. Dessutom finns det en känd referens som inte gått igenom någon kodning. Sedan skall man gradera de andra samplen, kanske 10 st. Dessa innehåller förutom de algorithmer man skall testa dessutom en dold referens (exakt samma som den kända) samt referens ankare. För de lägre bit-rates testerna jag deltagit i har de varit 11kHz samt 7 kHz bandbegränsade varianter av referensen. När man röstat på alla sampel kan man gå vidare till nästa stimuli. Vi har brukat göra 1 eller två övningstimulin (där resultaten ignoreras) och sedan de skarpa.

Mushra är en bra metod för mediumkvalitet och där det man testar kan sparas som PCM filer. För återgivningsutrustning verkar den inte alls lämplig. Tyvärr har jag ingen erfarenhet av tester av riktig högkvalitativa system. Snarare åt det andra hållet. De enda tester jag själv har gjort har varit för ljud i telefonsystem, med andra ord bandbegränsade till 50-3400Hz. Och där finns det mycket roliga tester förrutom det vanliga MOS testet där röstar på en 5 gradig skala. Ta t.ex. SAX där man försöker placera in varje stimuli i kvalitet mellan 10 referenser.

[dimitri]

n3mmr:
Inte den blekaste. Enklast och naivast skulle jag tänka mig en förstärkare med dubbla högtalarutgångar. A och B.
Valhalla skulle kopplas till A, EKK till B eller tvärtom, hemligt för deltagarna. Men i andra änden skulle båda kpplas till samma högtalarpar.
I denna uppställning kan jag hoppas att nivåmatchning skulle lösa sig själv, dvs att musiken via båda skulle låta lika stark, annars får man lösa det tekniskt (ett motstånd?).


Soundbrigade:
Det finns ingen tillverkare av kablar eller deras trogna kunder som säger att deras kablar färgar ljudet. Ordet "transparent" är ett honnörsord både i produktinfon och i recensionerna. Det är bara EKK som inte kallas för "transparent" i produktbladet eftersom den inte tillverkas primärt för audiobruk.
Dock är det så att om ljudet låter annorlunda genom 2 par kablar så är det rimligt att anta att minst ett av paren färgar.
Det gäller att genomföra ett test (din tråd, eller hur?) utan bråk och jobbiga konfrontationer. Det är ju en bedrift i sig att alla tre grupper har infunnit sig till test.

Om jag var kabeltillverkare med det primära målet att tjäna pengar så skulle jag se till att min produkt har en klart igenkännbar ljudsignatur. För hur kul skulle det vara att i ett BT fått ett omdöme: "Gick inte att särskilja från EKK".

[soundbrigade]

Det finns ingen tillverkare av kablar eller deras trogna kunder som säger att deras kablar färgar ljudet. Ordet "transparent" är ett honnörsord både i produktinfon och i recensionerna. Det är bara EKK som inte kallas för "transparent" i produktbladet eftersom den inte tillverkas primärt för audiobruk.

Lite OT men jag har lätt att gå i taket, min patologiska letargi till trots.
Minns något Bruce Rozenblit skriver i sin bok Audio Reality och 99,9999...9% syrefri koppar. Så gott som all kopparkabel är syrefri men tillverkare av installationskabel ser det inte som ett säljargument och nämner inget om det.

Kort sammanfattning? Kan man alltså hävda att man inte kan testa fram en "bra" audioprodukt? Och om man inte kan det - ska man inte ens försöka utan öppna alla dörrar för andar av Peter Belts och Uri Geller karaktär???

[Lazyworm]

Det kanske sades redan, men iallafall:

Anta bt mellan EKK vs Vallhalla
I testlaget kommer det antagligen finnas personer som tycker att:

EKK=Valhalla (dvs att det viktiga är att ha en sundkonstruerad kabel)
Valhalla>EKK
EKK>Valhalla

Den första gruppen kommer sannolikt att tendera att bortse från ev. skillnader
Den andra gruppen kommer att vilja påvisa skillnader
Den tredje gruppen har tillsynes samma intresse som den andra gruppen men med den skillnaden att resultat EKK=Valhalla tillfredställer gruppen ganska bra.

Alltså:
Möjliga resultat:
---Ingen skillnad - gott och väl. Inget problem med tolkningen
---Skillnad - Vem ska känna sig glad? EKKister eller Vallhallaister?
Här bör man gå vidare med test Nr 2*. eller andra delen. I denna testdel bör deltagarna tala om vilket de föredrar. Alltså först EFTER att testet har visat att skillnader finns.
Det kan ju visa sig att Alla föredrar EKK eller alla föredrar Vallhalla.
Eller att Vallhallaanhängarna föredrar Vallhalla och EKKister föredrar EKK.
Eller tvärtom, och då blir det stort

*om alla är överens om att göra det.

Hur kan du säkerställa att det är just kabeln folk föredrar?

Antag att du har en inspelning med stark överbetoning av området närmast 3kHz ( s k presens) och du spelar den genom två apparater, varav den ena är en enkel men perfekt kabel medan den andra är ett välanpassat MFB-filter som precis kompenserar bort den presensöverbetoning som skivan har. Åså föredrar folk då MFB-länken. (tillräckligt stark överbetoning så kommer dom faktiskt att göra det. Lovar. )

Vad är det då dom föredrar?? MFB-filtret hellre än en perfekt kabel????? eller ett rent ljud??

Den preferenstestning ni vill göra kan göras, visst, MEN INTE FÖR EN ENSKILD KOMPONENT!!!!!

Du får det att låta som om kablarna skulle avvika flera dB från rak kurva och vem tusan skulle vilja lägga en konstant reducering om flera dB i kabeln? Tänk då "ve å fasa" om högtalarna man spelar på har en dipp i samma frekvensspann.
Det är klart att man inte vill lägga på dylika saker i kablarna.

[i]

Ni får inte glömma att det är helt skilda saker att göra ett test så bra/utslagsgivande/noggrant som möjligt - å ena sidan - och att välja vad som skall testas och utvärderingen av testresultatet - å andra sidan.

Testet kan vara värdefullt - för någon eller för något syfte - även om man kan anse att det faller igenom på de senare kriterierna.

Kvalitets-/seriositets-nivån i HiFi-branschen är sådan att vilka som helst tester utförda med åtminstone minimal objektivitets- och kvalitets-nivå är givande.
Anser jag.

Vidare ser jag det som så att målet med hela testverksamheten är att gynna en så sann musikreproduktion (= som upplevt av lyssnaren) som möjligt och då kan även triviala skillnadstester (AB(X), F/E, etc.) vara en mycket givande grund. Även om de inte nödvändigtvis absolut addresserar slutmålet.

[n3mmr]

Du menar väl för hela glödheta hel****e att det finns någon som med vett och vilja tillverkar en kabal som färgar ljudet????????????

Säg att du skojjar annars kommer middan upp samma väg den slank ner.

Nej det sa jag inte, men visst finns det såna. Du måste skoja. OK . Hahahahaha...
Men det var inte det jag skrev

Jag försöker bara påminna om att om ni söker svaret på vad som föredras så kan ni aldrig få reda på annat än vilken av två totaler som föredras, och ni kan aldrig föra ner den slutsatsen till just den komponent som "blindtestas".

Jag visade på ett exempel, lite konstruerat och skruvat, ett elakt attentat mot testdeltagarna, som visar detta övertydligt.

Och, nej, ni kan inte isolera den blindtestade komponenten från det inspelade ljudet genom att lyssna på många olika ljud. eller från övrig utrustning genom att lyssna på många olika utrustningar-i-övrigt.

[n3mmr]

Det finns ingen tillverkare av kablar eller deras trogna kunder som säger att deras kablar färgar ljudet. Ordet "transparent" är ett honnörsord både i produktinfon och i recensionerna. Det är bara EKK som inte kallas för "transparent" i produktbladet eftersom den inte tillverkas primärt för audiobruk.

Lite OT men jag har lätt att gå i taket, min patologiska letargi till trots.
Minns något Bruce Rozenblit skriver i sin bok Audio Reality och 99,9999...9% syrefri koppar. Så gott som all kopparkabel är syrefri men tillverkare av installationskabel ser det inte som ett säljargument och nämner inget om det.

Kort sammanfattning? Kan man alltså hävda att man inte kan testa fram en "bra" audioprodukt? Och om man inte kan det - ska man inte ens försöka utan öppna alla dörrar för andar av Peter Belts och Uri Geller karaktär???

Jo, man kan testa fram en bra audioprodukt. Genom lyssning i blindtest.

Men inte om du frågar "vilken är bäst" utan att definiera "bäst" utanför testet.

Felet är att du förefaller mig tro att "bäst" är en objektiv egenskap a priori. För att "bäst" ska bli en objektiv egenskap krävs analys, definition och objektiv konsensus genom diskussion. Varefter man definierar "bäst" som en sammanfattning av ett (förhoppningsvis litet) antal objektivt och ortogonalt åtkomliga egenskaper, vilka sen testas.

Vid det här laget undrar jag om du mig skämta aprilo. Det jag säger borde vara självklart.

Edit: Andra meningen innehöll en residul av ett första utkast.

[n3mmr]

Hur kan du säkerställa att det är just kabeln folk föredrar?

Antag att du har en inspelning med stark överbetoning av området närmast 3kHz ( s k presens) och du spelar den genom två apparater, varav den ena är en enkel men perfekt kabel medan den andra är ett välanpassat MFB-filter som precis kompenserar bort den presensöverbetoning som skivan har. Åså föredrar folk då MFB-länken. (tillräckligt stark överbetoning så kommer dom faktiskt att göra det. Lovar. )

I det fall du ovan bestämmer gör man genom att använda ett större antal stimulis, med andra ord många olika stycken skall användas vid blind testning för att undvika att det är stimuli beronde. Dessutom kan ordningen mellan stimulis ha betydelse därför skall man slumpa ordningen mellan stimuli för varje individuell testare.

Det har varit lite diskussion om skillnaden mellan AB och ABX testning. Det är ju en viss skillnad mellan ABX där du har två fasta referenser och sedan skall avgöra om X är A eller B. Detta är ju metod som undersöker om du kan avgöra om det finns tillräckligt signifikanta skillnader mellan A och B för att detektera vilken som är vilken.

AB testning, med andra ord där man får höra två stimulin A och B och sedan skall rösta vilken som har preferens för. För varje stimuli omgång så slumpar man vilken av systemen som producerar A och B. Den metod visar ju något annat. Först så försöker man mäta om det finns signifikant subjektiv preferens hos sina lyssnare. Metoden kan också visa att lyssnarna inte hade statiskt signifikant preferens. Det roliga är att man kan analysera varje lyssnare individuelt och hela populationen. Då kan man avgöra om lyssnarna signifikant hör skillnad på systemen som jämfördes. Om de gjorde det så kan man även titta på hela populationen och se om hur överens de är om preferensen för ett system. Dock måste man vara jäkligt försiktig här vilka slutsater man drar. Dessutom måste man ha gjort sitt jobb att se till så att man får någon signifikans i statistiken. I det fall man bara låter lyssnaren hör A och B en enda gång så brukar man se till att under testet också spela upp den omvända ordningen för att undvika att ordningen pågrund av vårat mycket korta hörsleminne spelar roll. Med båda ordningarna med så kan man plocka bort de fall där det inte finns sigifikanta skillnader.

Både AB och ABX säger ingeting om hur mycket skillnad det är mellan systemen i testet bara om det finns statistiskt säkerställda skillnader eller inte. Och i fallet AB dessutom vilken lyssnarpopulationen fördrar.

Alltså är AB test rätt metod om man har konstruerat två olika system och försöker avgöra vilken som är den mest subjektivt tilltalande av de två. Men som sagt var, här är det viktigt att fundera över de övriga betingelserna vid testet. För det kan lätt bli missvisande. Dock en rätt bra metod om man t.ex håller på med förstörande kompression av ljud och vill avgöra om algoritm 1 eller 2 är de bästa. Dock vill man i ett sådant här fall gärna jämföra flera algoritmer och kanske även ha kända kvalitetsankare.

En metod som jag varit deltagare i är Mushra. Det är en metod som är lämplig för utvärdering av ljud med mediumkvalitet, tänk MP3 och andra förstörande kodningstandarder. Den går till så att man för varje stimuli så kan lyssnaren fritt välja att spela alla stimulin en eller flera gånger. Dessutom finns det en känd referens som inte gått igenom någon kodning. Sedan skall man gradera de andra samplen, kanske 10 st. Dessa innehåller förutom de algorithmer man skall testa dessutom en dold referens (exakt samma som den kända) samt referens ankare. För de lägre bit-rates testerna jag deltagit i har de varit 11kHz samt 7 kHz bandbegränsade varianter av referensen. När man röstat på alla sampel kan man gå vidare till nästa stimuli. Vi har brukat göra 1 eller två övningstimulin (där resultaten ignoreras) och sedan de skarpa.

Mushra är en bra metod för mediumkvalitet och där det man testar kan sparas som PCM filer. För återgivningsutrustning verkar den inte alls lämplig. Tyvärr har jag ingen erfarenhet av tester av riktig högkvalitativa system. Snarare åt det andra hållet. De enda tester jag själv har gjort har varit för ljud i telefonsystem, med andra ord bandbegränsade till 50-3400Hz. Och där finns det mycket roliga tester förrutom det vanliga MOS testet där röstar på en 5 gradig skala. Ta t.ex. SAX där man försöker placera in varje stimuli i kvalitet mellan 10 referenser.

Om man testar för t ex uppfattbarhet så är det där OK metoder. Om man bara söker "preferens" så är det meningslöst. Men något man kan fråga är vilken förvrängning som är minst störande. Vilket jag har för mig att t ex MP3-testningen sökte svaret på.

Plus att man hade en klar referens att jämföra med. Minns jag det som.

[dimitri]

n3mmr:
Du har rätt. Ur ett kosmiskt perspektiv.
Ur vårt jämmerdalsperspektiv kan det mig tyckas att "Vilket låter bäst" delen i ett* BT kan ge värdefulla insikter.

Den viktigaste förutsättningen är alltså att ett BT har visat att det finns skillnad mellan objekt A och objekt B.
Först efteråt kan man gå vidare med "tycka bäst om" delen om man vill, och om alla deltagare är överens därom.

För det finns ju viss information om
-alla föredrar Valhalla eller alla föredrar EKK
-Vallhalla anhängare föredrar Valhalla och EKK anhängare föredrar EKK
-Preferenser fördelas närmast slumpmässigt
-EKK anhängare föredrar Vallhalla och vice versa.

Nu gäller det att inte missbruka denna information. Resultatet kommer inte att ge ett ovädersägligt svar på vilket som är bäst. Där har du rätt n3mmr. Men resultatet kommer att ge underlag för fortsatt spånande, behov av ödmjukhet, människans preferenser.
För det är ju möjligt att mätningar visar att kabeln X tillför distortion men likväl föredras av alla deltagare. Ett sådant resultat skulle väl mana till eftertanke, eller hur? Liksom alla andra möjliga utfall som t.ex att alla föredrar kabeln Y som i mätningarna inte visat sig ha några som helst egna egenskaper.

(för protkollet: jag är medveten om att resultat "ingen skillnad" betyder egentligen "Ingen i detta test påvisad skillnad", klargör detta för att undvika OT)

[n3mmr]

n3mmr:
Du har rätt. Ur ett kosmiskt perspektiv.
Ur vårt jämmerdalsperspektiv kan det mig tyckas att "Vilket låter bäst" delen i ett* BT kan ge värdefulla insikter.

Den viktigaste förutsättningen är alltså att ett BT har visat att det finns skillnad mellan objekt A och objekt B.
Först efteråt kan man gå vidare med "tycka bäst om" delen om man vill, och om alla deltagare är överens därom.

För det finns ju viss information om
-alla föredrar Valhalla eller alla föredrar EKK
-Vallhalla anhängare föredrar Valhalla och EKK anhängare föredrar EKK
-Preferenser fördelas närmast slumpmässigt
-EKK anhängare föredrar Vallhalla och vice versa.

Nu gäller det att inte missbruka denna information. Resultatet kommer inte att ge ett ovädersägligt svar på vilket som är bäst. Där har du rätt n3mmr. Men resultatet kommer att ge underlag för fortsatt spånande, behov av ödmjukhet, människans preferenser.
För det är ju möjligt att mätningar visar att kabeln X tillför distortion men likväl föredras av alla deltagare. Ett sådant resultat skulle väl mana till eftertanke, eller hur? Liksom alla andra möjliga utfall som t.ex att alla föredrar kabeln Y som i mätningarna inte visat sig ha några som helst egna egenskaper.

(för protkollet: jag är medveten om att resultat "ingen skillnad" betyder egentligen "Ingen i detta test påvisad skillnad", klargör detta för att undvika OT)

Nu ger jag upp. Jag har försökt att få er att inse att med era frågor så har ni ö h t ingen information att bruka eller missbruka i det efterkommande. Men, nu ger jag upp.

Egentligen bryr jag mig väldigt lite om vad specifika människor gör för att roa sig och andra.

Jag behöver ju inte ta till mig några av "resultaten". Men lite lessen över slöseriet med vad som föreföll vara nästan nåt intressant i ideväg kan jag vara.

[dimitri]

Oj då, förlåt.
Det var bara jag med mina naiva funderingar. Överge inte de andra bara för att jag skrivit ngt dumt.

Jag höll med dig egentligen

[wayfarer]

n3mmr:

Jag förstår inte ditt argument att det inte går att testa för preferens med AB test. Kan du vara vänlig att förklara vad det du ser som felaktigt.

När man gör ett AB test så kan man få 3 utfall. Preferens för A, Preferens för B eller ingen statistiskt garanterad preferens. Så visst man måste tänka på det statistiska när man processar resultaten. Sedan när det gälller själva preferensen så måste man ju vara medveten om att det handlar om det subjektiva omdömmet om hela systemet. Alltså finns det risken att bytet av en komponent i systemet påverkar en andra och det är faktiskt den man får preferens för. Detta påverkar ju som sagt möjligheterna att säga något om att den utbytta komponenten har betydelse. Men genom väl genomtänkta system så går det faktiskt. Det finns faktiskt standarder för hur man skall göra dessa tester för att få bra resultat.

T.ex om du har en digitaleffektbox med två olika algorithmer så kan du ju göra ett AB test för att bestämma vilken av algorithmerna som lyssnarna föredrar i det system du har. Du kan ju sedan också jämföra om ingen algorithm och den föredragna algorithm är att föredra. Menar du att ett sådant test om det ger signifikant statestik inte skulle säga något?

Det man också skall tänka på är ju att det här med att ange preferens kommer bli fruktansvärt svårt när man har mycket små skillnader och därför fungerar bättre när skillnaderna är lite större. Men allt handlar om att åstakomma något som faktiskt är statistiskt signifikant. Är det inte det så har ingen preferens för det ena eller det andre. En vidare poäng med AB test är att det är preferens för den givna gruppen lyssnare. Tar man en annan grupp lyssnare så kanske man får ett annat resultat. Det är mycket viktigt när man betänker applikationer för röster. Olika språk har ju lite olika egenskaper därför påverkar språket ens preferens för t.ex. olika talkodnings standarder. Därför ser man till att prova med ett antal av de större språken.

Dessutom skall man betänka också att det ända man har undersökt är preferensen mellan två system. Man skall inte dra några slutsatser hur någon av dessa system fungerar i relation till några andra system som också har utförts AB test på. Detta gäller också alla tester som ger någon form av kvalitetsvärde. Dessa är inte jämförbara mellan olika tester, bara mellan systemen inom testet.

[n3mmr]

n3mmr:

Jag förstår inte ditt argument att det inte går att testa för preferens med AB test. Kan du vara vänlig att förklara vad det du ser som felaktigt.

När man gör ett AB test så kan man få 3 utfall. Preferens för A, Preferens för B eller ingen statistiskt garanterad preferens. Så visst man måste tänka på det statistiska när man processar resultaten. Sedan när det gälller själva preferensen så måste man ju vara medveten om att det handlar om det subjektiva omdömmet om hela systemet. Alltså finns det risken att bytet av en komponent i systemet påverkar en andra och det är faktiskt den man får preferens för. Detta påverkar ju som sagt möjligheterna att säga något om att den utbytta komponenten har betydelse. Men genom väl genomtänkta system så går det faktiskt. Det finns faktiskt standarder för hur man skall göra dessa tester för att få bra resultat.

T.ex om du har en digitaleffektbox med två olika algorithmer så kan du ju göra ett AB test för att bestämma vilken av algorithmerna som lyssnarna föredrar i det system du har. Du kan ju sedan också jämföra om ingen algorithm och den föredragna algorithm är att föredra. Menar du att ett sådant test om det ger signifikant statestik inte skulle säga något?

Det man också skall tänka på är ju att det här med att ange preferens kommer bli fruktansvärt svårt när man har mycket små skillnader och därför fungerar bättre när skillnaderna är lite större. Men allt handlar om att åstakomma något som faktiskt är statistiskt signifikant. Är det inte det så har ingen preferens för det ena eller det andre. En vidare poäng med AB test är att det är preferens för den givna gruppen lyssnare. Tar man en annan grupp lyssnare så kanske man får ett annat resultat. Det är mycket viktigt när man betänker applikationer för röster. Olika språk har ju lite olika egenskaper därför påverkar språket ens preferens för t.ex. olika talkodnings standarder. Därför ser man till att prova med ett antal av de större språken.

Dessutom skall man betänka också att det ända man har undersökt är preferensen mellan två system. Man skall inte dra några slutsatser hur någon av dessa system fungerar i relation till några andra system som också har utförts AB test på. Detta gäller också alla tester som ger någon form av kvalitetsvärde. Dessa är inte jämförbara mellan olika tester, bara mellan systemen inom testet.

Jomenvisst kan man det, men det är inte så enkelt att veta vad det är som prefereras.

Man kan visa preferens för ljud1-inkl-hela-kedjan kontra ljud2-inkl-hela-den-kedjan, men man kan inte veta vilken/vilka del(ar) av resp kedja som är skälet till preferensen. Inte ens om man "bara ändrar en komponent". Därför att man faktiskt inte har nån referens som kan alltid återgås till och som är idealet.

Man kan alltså inte göra det test för olika digitalljudpåverkaralgoritmer som du föreslår, t ex. Man vet INTE vad preferensen beror på, så värdet gäller bara just det ljud du testar med, inkl naturligtvis alla andra liknande ljud (vad det nu betyder). Men du vet inte om det beror på att det snyggt råkar motverka nåt problem p g a mastring i de flesta CD, eller nån artefakt i snålkodning som mjukas över bättre, eller kanske på att lyssnarna faktiskt inte tycker ljudet som man börjar med är nåt att ha.

Och jag vet att stora organisationer som skulle officiellt och inofficiellt betrakta mig som en ohjälpligt korkad idiot som inte begriper nåt testat just på preferenser. Konsekvent och envetet.

Det hjälper inte. Dom har fel i alla fall. Att testerna ser ut att vara konsekventa och att resultaten ser sammanhängande ut beror på ljudurvalet.

Utgångspunkten dom använder låter som en snäll och vänlig utgångspunkt, men är bara meningslös.

[wayfarer]

Man kan alltså inte göra det test för olika digitalljudpåverkaralgoritmer som du föreslår, t ex. Man vet INTE vad preferensen beror på, så värdet gäller bara just det ljud du testar med, inkl naturligtvis alla andra liknande ljud (vad det nu betyder). Men du vet inte om det beror på att det snyggt råkar motverka nåt problem p g a mastring i de flesta CD, eller nån artefakt i snålkodning som mjukas över bättre, eller kanske på att lyssnarna faktiskt inte tycker ljudet som man börjar med är nåt att ha.

Om man inte ser till att faktiskt göra objektiva undersökningar av resterande delar av systemet för att se till så att dessa egenskaper inte påverkar den komponent som undersöks eller tvärtom så har du rätt. Utan att göra detta förarbete så vet man ju inte vad man verkligen visar preferens för.

Dock får man faktiskt ut något av testet även utan att göra en ordentlig undersökning. Men då kan man bara säga något om hela systemet. Man skall absolut inte dra någon slutsats om den enskilda komponent i något annat system. Men det finns ju faktiskt anledning att göra även denna undersökning i ett enskilt system. Om jag i mitt system vill avgöra om jag skall ha A eller B för att få mitt system att låta så bra som möjligt så finns det ju en poäng. Dock är det kanske inte helt lyckat då det nog är bättre att göra lite mer objektiva undersökningar och försöka lista ut varför man tycker bättre om A eller B. Så att göra AB tester utan att verkligen fundera över frågan och om man verkligen får svar på den är bara dumt.

[soundbrigade]

Kort sammanfattning. Vi har två saker att utreda (genom vårt blindtest).

Hör man skillnad på A och B (och X)? Är det skillnad på mörk läsk "CoCo" och mörk läsk "Pepi"? Det här är skapligt objektivt. Man kan ju koppla in testutrustning och se hur signalen ser ut från objekt A vs B (vs X). Man kan göra en kemisk analys av två sorters läskeblask.
Jag tycker att oavsett metod man använder där testpersonerna INTE vet vilken komponent som är aktiv kan det här testet inte gå särskilt snett - "hör du skillnad??", eller "Försöka matcha fram den komponent som låter mest lik A eller B eller X!".

Nu kommer det besvärliga - och innan vi ger oss på det här ska vi ha gjort steg #1 (testet ovan - skillnad eller ej??).
Tycker du att komponent A låter bättre än B (eller C)? Tycker du läskeblask A smakar bättre än läskeblask B? (Vita muggar)

Nu kan vi ju göra en korrelation mellan resultatet hörs nåt och hörs det bättre. Och om jag avslöjar orsaken till min tråd tror jag att vi inte kommer att se så stora avvikelser.

Om vi tänker oss nu att vi gör ett "syntest". Testpersonerna får reda på att det är en Cluster Claustrofobia Dupe Cabel (med äkta älgpiss som EM-skärm) vs en 2,5 mm2 Biltema högtalarkabel kommer resultatet att se helt olika ut jämfört med blindtestet.

Min tanke med tråden var just det här: kan man lyssna fram skillnader? Kan man lyssna fram bättre/sämre (om objektivt betyder det som flest testpersoner föredrar)? Och hur mycket skulle vi påverkas om testet gjorde blint eller synligt? Fast jag tyckte det skulle vara för uppenbart att skriva ut just det.

[n3mmr]

Men det finns ju faktiskt anledning att göra även denna undersökning i ett enskilt system. Om jag i mitt system vill avgöra om jag skall ha A eller B för att få mitt system att låta så bra som möjligt så finns det ju en poäng.

Njae, "Hela Systemet" innefattar inspelningen, med mickar och sångerska och trummis osv, mixer, A/D, mastring, ...... ditt system hemma hos dig är i minoritet.

Så slutsatsen håller inte ens i det perspektivet.

[n3mmr]

Skillnader eller ej kan lyssnas fram, alltså säkerställas om dom är tydliga nog, i ett AB eller ABX eller FE eller nåt sånt, beroende på vilken skillnad man vill konstatera.

Bättre/sämre kan också verifieras om det finns/är så, men du vet inte vad preferensen gäller.

[Harryup]

Men det finns ju faktiskt anledning att göra även denna undersökning i ett enskilt system. Om jag i mitt system vill avgöra om jag skall ha A eller B för att få mitt system att låta så bra som möjligt så finns det ju en poäng.

Njae, "Hela Systemet" innefattar inspelningen, med mickar och sångerska och trummis osv, mixer, A/D, mastring, ...... ditt system hemma hos dig är i minoritet.

Så slutsatsen håller inte ens i det perspektivet.

Hmm, menar du n3mmr att det inte går att välja ut vad som en lyssnare tycker låter bättre enligt sitt eget tyckande? Kan inte se att wayfarer har skrivit att ha är ute efter ett helt totalt ofärgat ljud.

[n3mmr]

Men det finns ju faktiskt anledning att göra även denna undersökning i ett enskilt system. Om jag i mitt system vill avgöra om jag skall ha A eller B för att få mitt system att låta så bra som möjligt så finns det ju en poäng.

Njae, "Hela Systemet" innefattar inspelningen, med mickar och sångerska och trummis osv, mixer, A/D, mastring, ...... ditt system hemma hos dig är i minoritet.

Så slutsatsen håller inte ens i det perspektivet.

Hmm, menar du n3mmr att det inte går att välja ut vad som en lyssnare tycker låter bättre enligt sitt eget tyckande? Kan inte se att wayfarer har skrivit att ha är ute efter ett helt totalt ofärgat ljud.

Nej det menar jag inte alls, bara att det inte utan vidare går att veta vad som medför att det ena föredras framför det andra, eller att det är just den färgning som just den testade komponenten bidrar med i sig som är det som föredras.

Eller uttryckt på ett annat sätt: Man måste ha mycket god kontroll på källmaterialet, och den övriga anläggningen, för att veta att man huvudsakligen testar den omkopplade komponentens färgningar.

Jag borde varit tydligare på en bestämd punkt, inser jag nu. Mitt resonemang avser mest fallet att man bygger sin apparat och sen testar i sin hemmiljö med tillgängliga plattor.

Om man enbart använder extremt välkontrollerat material, och man vet att anläggningen i övrigt bidrar med minimala färgningar, så man vet hur det ska låta, då kan man komma längre. preferenser är fortfarande svårtestat, men de svårigheterna kommer i såna fall att synas i testresultaten.

Och det finns fortfarande kvar en fråga om det man föredrar är att man döljer nåt som man inte gillar i det ofärgade originalet, och vad som då skulle hända om den obehagligheten i originalet tas bort redan vid produktionstillfället, t ex genom att man väljer en sångare med annan röstkvalitet, eller en annan typ av trumpinne.

Det är inget fel i sig att färga ljudet. T ex föredrar jag att slå på en kompressor om jag lyssnar mitt i natten. För en viss typ av kompressor. Därför att då kan jag höra allt utan att plåga mina grannar.

[Harryup]

Misstänkt väl att du menade ungefär så.
Själv skulle jag dock mycket väl kunna stå ut med en färgning som får mina skivor att låta "bättre" och inte sämre.

[mackinley]

Hmm.. skulle nog inte lita på någon form av bedömning utan att använda statistik. Det första man bör göra är en mätsystemsanalys.
I detta fall en attribut gage R&R. Om den blir godkänd, dvs, testpersonerna kan med säkerhet höra skillnad kan man med statistisk hypotesprovning avgöra om den ena upplevs bättre än den andra.. kan nog iofs vara svårt att med statistisk signifikans bevisa att den ena är bättre än den andra då det rör sig om tycke och smak.. MSA, däremot skulle nog vara ett utmärkt sätt att avgöra om testpersonerna kan höra skillnad.

Fast jag är nog lite färgad.. jag tycker statistik är ganska kul

MVH Daniel

[Svante]

Ja, nu har jag inte läst hela tråden, men det vanliga sättet att göra ett dubbelblint test är nog detta:



(Bild från: http://user.faktiskt.io/svante/om_blindtester.htm )

I den enklaste versionen växlar försökspersonen på omkopplaren och försöker besvara någon fråga som identifierar omkopplarläget som tillhörande objekt X eller Y. Det kan vara vilken som låter bäst, vilken som låter påverkad eller något annat. Det viktiga är inte att få rätt hela tiden, om man svarar en massa fel så kan det också användas som indikation på att objektet hörs.

Att däremot låta maskineriet ibland växla och ibland inte växla och fråga om det är någon skillnad kommer inte att mäta hörbarheten på den eventuella skillnaden, utan benägenheten att tro på den skillnad man hör. Det är stor skillnad. Det senare kräver dels att man hör skillnad, dels att man vågar tro på sig själv. Man blandar alltså in svårkontrollerade psykologiska faktorer och det är sällan bra vid lyssningstester.

En del verkar föredra ABX-tester, eller kanske snarare AXB-tester, där X är slumpas som antingen A eller B och man ska tala om vilken. Det är helt OK att föredra det, men själv tycker jag att AB-tester är bättre, jag känner mig mer bekväm med det när jag sitter och lyssnar.

Jag vet inte om jag svarade på någons fråga, men iaf...

[IngOehman]

Kul att se hur mycket saker som tros, och som gillas att diskuteras...

Tycker ni borde ägna en sisådär tio år på att undersöka effekterna av alla de där metodvariationerna ni diskuterar istället. Spekulationer ledar sällan till något värdefullt.

Kan tillägga att det är mycket lätt att sätta upp vetenskapligt invändningsfria metoder - som ger experiment utan värde.

Sådana bör man dock undvika om målet är att lära sig något om testobjektet. Det svåra är alltid att nå ned i tröskelnivå så mycket man kan. Vetenskapligheten är hur lätt som helst att säkerställa, så varför skriva trådar om det, som om det hade varit ett svårlöst problem?


Vh, iö

[Svante]

Jag tycker nog att man kan få ställa en fråga på faktiskt utan att ha forskat i tio år. Det kan ju faktiskt leda till att man bara behöver forska en månad om man får ett svar med en bra metodbeskrivning av någon...

[Kaffekoppen]

Vad skall man säga?

Ta en kopp kaffe!

[Haakan_W]

Jag tycker nog att man kan få ställa en fråga på faktiskt utan att ha forskat i tio år. Det kan ju faktiskt leda till att man bara behöver forska en månad om man får ett svar med en bra metodbeskrivning av någon...

det var faktiskt ett bra svar som skulle underlätta många frågeställningar på forumet

[Svante]

Vad skall man säga?

Ta en kopp kaffe!

Tvi-fräs-spott

[Morello]

Vad skall man säga?

Ta en kopp kaffe!

Tvi-fräs-spott

Tvante blir också vuxen en vacker dag.

[PerStromgren]

Kul att se hur mycket saker som tros, och som gillas att diskuteras...

Tycker ni borde ägna en sisådär tio år på att undersöka effekterna av alla de där metodvariationerna ni diskuterar istället. Spekulationer ledar sällan till något värdefullt.

Vet du någon som forskat tio år och publicerat något på webben om saken, då? Eller vill du på fullt allvar mena att man inte kan använda andras forsking för sin egen upplysning. Måste alla börja från början?

Nej, det kan du nog inte mena. Jag förstår inte.