AB-test av DA-omvandlare, Filer att ladda ned!

[Morello]

Kan det vara så att Morello blandar ihop blint med dubbelblint?

Nej. Jag utgår från att det inte fanns någon försöksledare vid tillfället.

[petersteindl]

Självklart är testet blint om man inte vet vad det är man lyssnar på. Om det är val1 eller val2 ger ingen information som kan påverka utfallet. Det är ju precis samma scenario som när man A/B(inkl F/E) lyssnar och man blir informerad var gång ett byte sker. Du har ju full koll på om det är det är nr1 eller nr2 du lyssnar på, men det är fortfarande blint.

Anser jag iaf. Sen kan man ju vilja ha ett scenario där lyssnaren inte är medveten om när byten sker, men det är lite svårare att göra i praktiken.

Filerna har unika namn - du vet vad du lyssnar på om du inte använder någon typ av ABX-funmktion a la foobar.

Peter, att tiga är att sammtycka.

Det beror på

Nu vankas det definitionsdebatt. Sug på det. Och då lägger jag mig inte i.

Definiera följande begrepp:

1.) Öppen test.
2.) Blindtest.
3.) Dubbelblindtest.

Men till dig Morello ställer jag följande fråga. Till vilket av dessa 3 alternativ vill du lägga Ingvars specifika test som han gjorde med dina filer som underlag?

Med vänlig hälsning
Peter

[Morello]

Jag behöver mer information från Ingvar först.

Piotr och pappasbas gjorde test enligt 2 - om jag förstod deras respektive testförandet korrekt.

[AndreasArvidsson]

Självklart är testet blint om man inte vet vad det är man lyssnar på. Om det är val1 eller val2 ger ingen information som kan påverka utfallet. Det är ju precis samma scenario som när man A/B(inkl F/E) lyssnar och man blir informerad var gång ett byte sker. Du har ju full koll på om det är det är nr1 eller nr2 du lyssnar på, men det är fortfarande blint.

Anser jag iaf. Sen kan man ju vilja ha ett scenario där lyssnaren inte är medveten om när byten sker, men det är lite svårare att göra i praktiken.

Filerna har unika namn - du vet vad du lyssnar på om du inte använder någon typ av ABX-funmktion a la foobar.

Du vet vilken i ordningen du lyssnar på, men du vet inte VAD du lyssnar på. Utan tvekan blint enligt min definition.

[Piotr]

Ja, om man ser mjukvaran och datorn som "testledare" så kan man väl säga att ABX i Foobar är "double blind".

Det går ju hursom till så att man importerar två filer som blir A och B. Jag tror den fil som står högst upp i den lista man importerar från alltid blir A, men ej helt säker.

Sen finns även X och Y. Man kan klicka på A och B för att lyssna på de två olika filerna med vetskap om vilken som är vilken och sedan kan man klicka på X och Y och lyssna på dessa också. X och Y är antingen A eller B men det slumpas för varje testomgång.

För varje omgång har man följdaktligen att välja på om X är A och Y är B, eller om Y är A och X är B.

Man kan välja att bara lyssna på X eller Y om man känner för det, och man kan klicka runt obegränsat (på A, B, X, Y) innan man gör sitt val.

Fint skit!

[Piotr]

Du vet vilken i ordningen du lyssnar på, men du vet inte VAD du lyssnar på. Utan tvekan blint enligt min definition.

Men du kan "bestämma" dig för att du hör skillnad och sedan vidhålla det utan att faktiskt bevisa att du hör skillnad.. eftersom du vet vilken du lyssnar på och "väljer" varje gång. Helt olikt det sätt man testar på i Foobar tex.

[AndreasArvidsson]

Du vet vilken i ordningen du lyssnar på, men du vet inte VAD du lyssnar på. Utan tvekan blint enligt min definition.

Men du kan "bestämma" dig för att du hör skillnad och sedan vidhålla det utan att faktiskt bevisa att du hör skillnad.. eftersom du vet vilken du lyssnar på och "väljer" varje gång. Helt olikt det sätt man testar på i Foobar tex.

Visst är det så och fördelen med att inte veta är uppenbar, men så vitt jag vet så är vetskapen om att ett byte sker inte det som avgör om en lyssning är blind eller inte.

Filerna låt1 och låt2 ger ju samma scenario som att testledaren säger "nu byter jag". Du vet alltid om du lyssnar på nr1 eller nr2. Det är inte optimalt, men det blir ju inte ett öppet test bara för det. Eller hur?

[Morello]

Självklart är testet blint om man inte vet vad det är man lyssnar på. Om det är val1 eller val2 ger ingen information som kan påverka utfallet. Det är ju precis samma scenario som när man A/B(inkl F/E) lyssnar och man blir informerad var gång ett byte sker. Du har ju full koll på om det är det är nr1 eller nr2 du lyssnar på, men det är fortfarande blint.

Anser jag iaf. Sen kan man ju vilja ha ett scenario där lyssnaren inte är medveten om när byten sker, men det är lite svårare att göra i praktiken.

Filerna har unika namn - du vet vad du lyssnar på om du inte använder någon typ av ABX-funmktion a la foobar.

Du vet vilken i ordningen du lyssnar på, men du vet inte VAD du lyssnar på. Utan tvekan blint enligt min definition.

Sitter du och lyssnar på filerna med vetskap om filnamnen så kan du inte sedan påstå att du med en viss signifikans kan skilja A, B och C från varandra.

[AndreasArvidsson]

Filerna har unika namn - du vet vad du lyssnar på om du inte använder någon typ av ABX-funmktion a la foobar.

Du vet vilken i ordningen du lyssnar på, men du vet inte VAD du lyssnar på. Utan tvekan blint enligt min definition.

Sitter du och lyssnar på filerna med vetskap om filnamnen så kan du inte sedan påstå att du med en viss signifikans kan skilja A, B och C från varandra.

Det sa jag aldrig heller.

[IngOehman]

Kan det vara så att Morello blandar ihop blint med dubbelblint?

Nej, ett test av det slag han arrangerat blir dubbelblindt.

Det han blandar ihop är blindhet kontra statistiska metoder.

- - -

Exempel på blindt test:

En person får smaka på två olika Cola-drycker, och ombeds berätta vilken han eller hon föredrar, A eller B.
Ja, de kan vara märkta så.

- - -

Det är ett helt blindt test, men det är ett test som har en svaghet - 50% av gångerna som en person istället för att smaka väljer att singla slant, så fås samma resultat som när den ena colan är godare och personen hade smakat på den. Men om det är ett problem eller inte får testledare avgöra själv. Man kan vilja att personen skall testa massor av gånger för att se om personen verkligen når samma resultat varje gång, det gör inte studien ett dugg mera blind, men det kan göra resultatet från den mera användbart. Man kan även be personen att verkligen testa fram och tillbaka många gånger, alltså gå tillbaka till A efter att ha smakat B och sen tillbaka igen... tills personen verkligen är säker på om den ena eller andra föredras.

Frågan när man gör sådana här studier är alltid om den som instigerar testen har klart för sig vad han eller hon vill ha svar på. Exemplet med Colan kan vara i allra högsta grad statistiskt användbar om man låter 10 000 människor smaka. Dock får man bara svar på vad folk tycker statistiskt.


Vh, iö

[Morello]

Det han blandar ihop är blindhet kontra statistiska metoder.

Vh, iö

Jag anar "definitionsdebatt classic", men avstår vänligen men bestämt från vidare deltagande.

[petersteindl]

Ja, om man ser mjukvaran och datorn som "testledare" så kan man väl säga att ABX i Foobar är "double blind".

Det går ju hursom till så att man importerar två filer som blir A och B. Jag tror den fil som står högst upp i den lista man importerar från alltid blir A, men ej helt säker.

Sen finns även X och Y. Man kan klicka på A och B för att lyssna på de två olika filerna med vetskap om vilken som är vilken och sedan kan man klicka på X och Y och lyssna på dessa också. X och Y är antingen A eller B men det slumpas för varje testomgång.

För varje omgång har man följdaktligen att välja på om X är A och Y är B, eller om Y är A och X är B.

Man kan välja att bara lyssna på X eller Y om man känner för det, och man kan klicka runt obegränsat (på A, B, X, Y) innan man gör sitt val.

Fint skit!

+1 Jag ser det också som dubbelblint. Det finns ytterligare en dimension och det är det statistiska underlaget. Den dimensionen är inte att förringa.

Med vänlig hälsning
Peter

[petersteindl]

Kan det vara så att Morello blandar ihop blint med dubbelblint?

Nej, ett test av det slag han arrangerat blir dubbelblindt.

Det han blandar ihop är blindhet kontra statistiska metoder.
...
Vh, iö

Jag ser det också så under förutsättning att foobar används eller att testledaren d v s Morello inte är med den försöksperson som testar. Det är ju enbart Morello som vet facit. Med vilken signifikans gäller utslaget? Man måste ha testmetodiken klar för sig och bestämt metodiken innan man gör testet och sedan strikt hålla sig till det. Skulle vilja se Svantes svar.

Med vänlig hälsning
Peter

[petersteindl]

Det han blandar ihop är blindhet kontra statistiska metoder.

Vh, iö

Jag anar "definitionsdebatt classic", men avstår vänligen men bestämt från vidare deltagande.

Morello, att tiga är att samtycka

Med vänlig hälsning
Peter

[Morello]

Det han blandar ihop är blindhet kontra statistiska metoder.

Vh, iö

Jag anar "definitionsdebatt classic", men avstår vänligen men bestämt från vidare deltagande.

Morello, att tiga är att samtycka

Med vänlig hälsning
Peter

Jag överlåter definitionstuggandet åt dig, Peter.

Tänkte instalera den där ABX-puggen till foobar.

[petersteindl]

Jag anar "definitionsdebatt classic", men avstår vänligen men bestämt från vidare deltagande.

Morello, att tiga är att samtycka

Med vänlig hälsning
Peter

Jag överlåter definitionstuggandet åt dig, Peter.

Jamen du har ju med heder och samvete svurit, garanterat och lovat samt bedyrat och försäkrat att du med full iver skulle köra all definitionsdebatt på faktiskt och göra det på heltid dygnet runt 24/7.

Det är ju liksom din grej.

Med vänlig hälsning
Peter

[Svante]

En DMM med dokumenterad stabilitet över tid och spårbarhet.

Vare sig stabiliteten eller spårbarheten spelar någon avgörande roll vid nivåkalibreringen eftersom det är skillnaden mellan två signalnivåer som är intressant. Man kopplar multimetern/skåpet på det som går till lyssning, matar in en sinus och ser om nivån ändras när man växlar. Multimetern får gärna visa 3 dB fel och driva med 1 dB/vecka, det spelar ingen roll för kalibreringen.

[Svante]

Ja, om man ser mjukvaran och datorn som "testledare" så kan man väl säga att ABX i Foobar är "double blind".

Nej, mjukvaran vet ju vilket som är vilket... Om man alls ska prata om dubbelblindhet vid ett sådant test så är det för att både försöksledare och lyssnare blindade, men att de är samma person.

[Svante]

Filerna har unika namn - du vet vad du lyssnar på om du inte använder någon typ av ABX-funmktion a la foobar.

Du vet vilken i ordningen du lyssnar på, men du vet inte VAD du lyssnar på. Utan tvekan blint enligt min definition.

Sitter du och lyssnar på filerna med vetskap om filnamnen så kan du inte sedan påstå att du med en viss signifikans kan skilja A, B och C från varandra.

Mao testet är blint, men statistiskt dåligt dåligt designat.

[Svante]

Kan det vara så att Morello blandar ihop blint med dubbelblint?

Nej, ett test av det slag han arrangerat blir dubbelblindt.

Det han blandar ihop är blindhet kontra statistiska metoder.
...
Vh, iö

Jag ser det också så under förutsättning att foobar används eller att testledaren d v s Morello inte är med den försöksperson som testar. Det är ju enbart Morello som vet facit. Med vilken signifikans gäller utslaget? Man måste ha testmetodiken klar för sig och bestämt metodiken innan man gör testet och sedan strikt hålla sig till det. Skulle vilja se Svantes svar.

Med vänlig hälsning
Peter

Svar på vad?

Alltså, får man ett test med tre filer och ska tala om vilken som är original, och man lyckas med att tala om det, så har man lyckats visa det med p=0,33. Om man i stället får samma uppgift fyra gånger men ny slumpning på namnen varje gång och lyckas alla gångerna når man p=0,011. Har man samma namn varje gång är man tillbaka på p=0,33 eftersom man inte kan utesluta att man bara har valt samma namn varje gång.

Testen sedda som enskildheter, då.

[PappaBas]

Svar på vad?

Alltså, får man ett test med tre filer och ska tala om vilken som är original, och man lyckas med att tala om det, så har man lyckats visa det med p=0,33. Om man i stället får samma uppgift fyra gånger men ny slumpning på namnen varje gång och lyckas alla gångerna når man p=0,011. Har man samma namn varje gång är man tillbaka på p=0,33 eftersom man inte kan utesluta att man bara har valt samma namn varje gång.

Testen sedda som enskildheter, då.

Vem pratar om att testa vilken som är original? Det enda som kunde testas i setupen är ju om det finns någon skillnad dem emellan?
Skall du testa vilken som är original måste testet designas annorlunda dvs ge en testslinga och säga att detta är originalet och sedan avgöra om de tre försöksobjekten skiljer sig från dessa.
Det enda som testades nu var ju om det går att skilja de åt.

Förresten är det nog som Piotr sa att A och B i foobar är statiska och bara X och Y varierar. Jag trodde båda varierade

[Svante]

Svar på vad?

Alltså, får man ett test med tre filer och ska tala om vilken som är original, och man lyckas med att tala om det, så har man lyckats visa det med p=0,33. Om man i stället får samma uppgift fyra gånger men ny slumpning på namnen varje gång och lyckas alla gångerna når man p=0,011. Har man samma namn varje gång är man tillbaka på p=0,33 eftersom man inte kan utesluta att man bara har valt samma namn varje gång.

Testen sedda som enskildheter, då.

Vem pratar om att testa vilken som är original? Det enda som kunde testas i setupen är ju om det finns någon skillnad dem emellan?
Skall du testa vilken som är original måste testet designas annorlunda dvs ge en testslinga och säga att detta är originalet och sedan avgöra om de tre försöksobjekten skiljer sig från dessa.
Det enda som testades nu var ju om det går att skilja de åt.

Tja... Jag pratade om det nu. Men som du säger kan testet även vara att utreda om det finns någon hörbar skillnad. Utan statistik går det inte att göra ett sådant test, inte med någon vetenskaplig stuns iaf. Det enda man kan göra är att lyssna på dem och säga "ja" eller "nej". Det svaret ger inget besked. Det är först när man har pekat ut samma ljudfil igen blint, dvs utan att veta att det var samma ljudfil, som det får något bevisvärde. Sedan behöver det upprepas för att nå signifikans.

Där blir både blindhet och statstik en förutsättning för att kunna säga något alls.

[petersteindl]

Nej, ett test av det slag han arrangerat blir dubbelblindt.

Det han blandar ihop är blindhet kontra statistiska metoder.
...
Vh, iö

Jag ser det också så under förutsättning att foobar används eller att testledaren d v s Morello inte är med den försöksperson som testar. Det är ju enbart Morello som vet facit. Med vilken signifikans gäller utslaget? Man måste ha testmetodiken klar för sig och bestämt metodiken innan man gör testet och sedan strikt hålla sig till det. Skulle vilja se Svantes svar.

Med vänlig hälsning
Peter

Svar på vad?

Alltså, får man ett test med tre filer och ska tala om vilken som är original, och man lyckas med att tala om det, så har man lyckats visa det med p=0,33. Om man i stället får samma uppgift fyra gånger men ny slumpning på namnen varje gång och lyckas alla gångerna når man p=0,011. Har man samma namn varje gång är man tillbaka på p=0,33 eftersom man inte kan utesluta att man bara har valt samma namn varje gång.

Testen sedda som enskildheter, då.

Först och främst om det var ett blindtest innan Morello kom med facit.

Med vänlig hälsning
Peter

[petersteindl]

Svar på vad?

Alltså, får man ett test med tre filer och ska tala om vilken som är original, och man lyckas med att tala om det, så har man lyckats visa det med p=0,33. Om man i stället får samma uppgift fyra gånger men ny slumpning på namnen varje gång och lyckas alla gångerna når man p=0,011. Har man samma namn varje gång är man tillbaka på p=0,33 eftersom man inte kan utesluta att man bara har valt samma namn varje gång.

Testen sedda som enskildheter, då.

Vem pratar om att testa vilken som är original? Det enda som kunde testas i setupen är ju om det finns någon skillnad dem emellan?
Skall du testa vilken som är original måste testet designas annorlunda dvs ge en testslinga och säga att detta är originalet och sedan avgöra om de tre försöksobjekten skiljer sig från dessa.
Det enda som testades nu var ju om det går att skilja de åt.

Tja... Jag pratade om det nu. Men som du säger kan testet även vara att utreda om det finns någon hörbar skillnad. Utan statistik går det inte att göra ett sådant test, inte med någon vetenskaplig stuns iaf. Det enda man kan göra är att lyssna på dem och säga "ja" eller "nej". Det svaret ger inget besked. Det är först när man har pekat ut samma ljudfil igen blint, dvs utan att veta att det var samma ljudfil, som det får något bevisvärde. Sedan behöver det upprepas för att nå signifikans.

Där blir både blindhet och statstik en förutsättning för att kunna säga något alls.

... och där kom hela svaret.

[Morello]

Du vet vilken i ordningen du lyssnar på, men du vet inte VAD du lyssnar på. Utan tvekan blint enligt min definition.

Sitter du och lyssnar på filerna med vetskap om filnamnen så kan du inte sedan påstå att du med en viss signifikans kan skilja A, B och C från varandra.

Mao testet är blint, men statistiskt dåligt dåligt designat.

Testet saknar relevans och jag är helt säker på att det inte är den typen av test som folk här i kanalen efterlyser när det gapas och gafflas om "blindtest"

[IngOehman]

En DMM med dokumenterad stabilitet över tid och spårbarhet.

Vare sig stabiliteten eller spårbarheten spelar någon avgörande roll vid nivåkalibreringen eftersom det är skillnaden mellan två signalnivåer som är intressant. Man kopplar multimetern/skåpet på det som går till lyssning, matar in en sinus och ser om nivån ändras när man växlar. Multimetern får gärna visa 3 dB fel och driva med 1 dB/vecka, det spelar ingen roll för kalibreringen.

Stämmer.

Men två saker betyder något - tillräcklig upplösning och förmåga att distingera mellan faktisk signal och eventuella artefakter, t ex utanför det hörbara området. Det analoga oscilloskopet bemästrar båda och är därför ett prima redskap för uppdraget.


Vh, iö

[IngOehman]

Du vet vilken i ordningen du lyssnar på, men du vet inte VAD du lyssnar på. Utan tvekan blint enligt min definition.

Sitter du och lyssnar på filerna med vetskap om filnamnen så kan du inte sedan påstå att du med en viss signifikans kan skilja A, B och C från varandra.

Mao testet är blint, men statistiskt dåligt dåligt designat.

Precis, det är det jag skrivit hela tiden.

Vill även påminna om att jag i den andra lyssningen även kastade om serierna.


Vh, iö

[Morello]

Har vi någon mer som lyssnat på filerna och vill delge sin uppfattning om skillnaderna?

[joakimfors]

Bara testat här på jobbet med ett par till åren komna ESI nEar 05 och allt annat än optimal ljudmiljö. Inbillar mig att Dire3 är lite dovare.

[petersteindl]

Jag kan försöka konstatera några saker av all ovanstående resonemang.
Man kan dela in testförfarande i tre huvudgrupper.

1.) Öppen test.
2.) Blindtest.
3.) Dubbelblindtest.

Oavsett vilket av alternativ 2 eller 3 så behövs en testmetod som säkerställer att signifikansen blir högre än slumpen.
Ju högre signifikans desto bättre.

Då gäller det att lägga upp testen så att man vid varje svar inte kan överföra det man tidigare svarat på sitt nästa svar.

I princip kan jag då konstatera att i stort sett allt frågande om subjektiva tester gjorts blint blir ett spel för gallerierna eftersom i stort sett allt apparattestande på lekmannanivå, även om det skulle vara blint, inte ger ett resultat annat än med slumpens signifikans även om det är uppenbar stor skillnad och man de fakto verkligen hört denna uppenbara skillnad.

I princip likställer jag därför öppen lyssning med blindtest vad gäller signifikans under förutsättning att metoden i blindtestet inte kan ge högre siknifikans än slumpens. Därför anser jag att det blir patetiskt då det frågas om lyssningen gjordes blint. Det tillför inget, oavsett och det gäller i samtliga fall som testmetoden inte kan ge statistiskt resultat annat än slumpens, sorry grabbar.

Det betyder att även filer som t.ex. morellos måste in i ett testförfarande där varje ny lyssning blir en helt ny lyssning som inte kan baseras på förra lyssningen och dessutom måste det göras om en tillräckligt mängd gånger för att kunna uppnå en högre signifikans oavsett om det är slumpen man vill påvisa eller avsaknad av slump.

Att avkräva hobbyister och Music lovers en slags vetenskapsmetodik i sitt lyssnande är som jag ser det löjeväckande och rent av korkat och visar enkom på dåligt omdöme och kränkande på andras integritet. Det är min syn på saken och jag vill verkligen betona det med emfas. I klartext. Må sprudel och andra ha sina lyssningar och så länge det fria ordet gäller, vilket vi skall vara glada för, så kan Sprudel och andra redogöra för sina lyssningar. Utgå från att all lyssning skett öppet. Har så inte skett är jag tämligen övertygad om att de som skriver även med stolthet kommer redogöra för sin vetenskaplighet i sitt testupplägg.

Mvh
Peter