Test av DAC:ar

[PerStromgren]

I senaste numret av MoLT testas två DAC:ar genom att lyssna på dem. Det gör man genom att jämföra två signalvägar:

1. CD-spelare(*) via Toslink -> D/A-omvandlare -> lyssningsanläggning (test)
2. Samma CD-spelare med den egna D/A-omvandlaren -> lyssningsanläggning (referens)

Jag tycker att det verkar vara ett märkligt sätt att testa. Hur kan man veta att CD-spelarens D/A-omvandlare är "transparent"(**)? Varför inte använda en referens-A/D-omvandlare och jämföra "rak" signal med A/D-D/A?

*) Pioneer DV-668AV
**) Så här står det i artikeln "I AB-tester mot de omvandlare som mätt bäst under åren har Pioneerspelaren haft försumbar eller ingen detekterbar skillnad via kalibrerade blindtester med kontrollerad svarsstatistik."

[Svante]

Tja, det är ett av två sätt att testa, i båda fallen är man beroende av en omvandlare till. I det här fallet fanns ingen tillräckligt bra AD-omvandlare till hands, däremot fanns DAn i Pioneerspelaren, som ju är ganska vältestad vid det här laget. Den AD-omvandlare som vi använder för mätningarna fanns visserligen på plats, men är uppkopplad i en fast uppställning och den är inte hårdmätt i 44100 Hz.

Jag håller med om att det principiellt är elegantare med en AD-DA-kedja eftersom den kan FE-lyssnas, men i båda fallen innebär detektion att man i princip inte vet vilken av burkarna man har detekterat. Man måste utnyttja förkunskap om "den andra burken" för att kunna säga något om den första. I det här fallet fick det bestämma uppkopplingen.

[PerStromgren]

OK, jag tror jag förstår. Det hade dock varit intressant att koppla mellan de bägge D/A-omvandlarna i blindtest för att se att de kunde skiljas åt! Det borde vara hyggligt lätt om båda är "dåliga" i meningen detekterbara.

[KarlXII]

Hörde man någon skillnad?

[PerStromgren]

Hörde man någon skillnad?

Japp.

[Alexi]

OK, jag tror jag förstår. Det hade dock varit intressant att koppla mellan de bägge D/A-omvandlarna i blindtest för att se att de kunde skiljas åt! Det borde vara hyggligt lätt om båda är "dåliga" i meningen detekterbara.

De lät rätt olika från varandra, så hade inte varit några problem att skilja dem åt om de A/B testats mot varandra tror jag.

[hevi]

OK, jag tror jag förstår. Det hade dock varit intressant att koppla mellan de bägge D/A-omvandlarna i blindtest för att se att de kunde skiljas åt! Det borde vara hyggligt lätt om båda är "dåliga" i meningen detekterbara.

De lät rätt olika från varandra, så hade inte varit några problem att skilja dem åt om de A/B testats mot varandra tror jag.

...men I alla fall en av testerna gav väl utslaget att en testare hade (typ) alla rätt, en hade (typ) alla fel, och en hade ingen aning (=helt slumpmässigt eller svarade inte). Nu var det ju typ 20 år sedan jag läste numme och stat:en, men måste man egentligen inte lägga ihop alla resultat för att få ett statistiskt relevant resultat?!?

[Svante]

...men I alla fall en av testerna gav väl utslaget att en testare hade (typ) alla rätt, en hade (typ) alla fel, och en hade ingen aning (=helt slumpmässigt eller svarade inte). Nu var det ju typ 20 år sedan jag läste numme och stat:en, men måste man egentligen inte lägga ihop alla resultat för att få ett statistiskt relevant resultat?!?

Korta svaret är: nej.

[hevi]

...men I alla fall en av testerna gav väl utslaget att en testare hade (typ) alla rätt, en hade (typ) alla fel, och en hade ingen aning (=helt slumpmässigt eller svarade inte). Nu var det ju typ 20 år sedan jag läste numme och stat:en, men måste man egentligen inte lägga ihop alla resultat för att få ett statistiskt relevant resultat?!?

Korta svaret är: nej.

..och det lite längre svaret är...

[Svante]

...men I alla fall en av testerna gav väl utslaget att en testare hade (typ) alla rätt, en hade (typ) alla fel, och en hade ingen aning (=helt slumpmässigt eller svarade inte). Nu var det ju typ 20 år sedan jag läste numme och stat:en, men måste man egentligen inte lägga ihop alla resultat för att få ett statistiskt relevant resultat?!?

Korta svaret är: nej.

..och det lite längre svaret är...

Typ så här: Man bestämmer sig före testet att varje persons serie ska betraktas som ett separat försök. I varje försök ser man sedan både alla rätt och alla fel* som ett tecken på att det föreligger en skillnad. Sedan räknar man ut hur stor felsannolikheten är om man gör n repeterade försök, där n är antalet personer.

Om tex felrisken för en person är 0,01 så blir den med 5 personer 1-(1-0,01)^5 ~ 0,05.

*Eller vilket villkor man nu bestämmer

[sebatlh]

Sitter man inte tillsammans å lyssnar? Hur försäkrar man sig då om att lysningarna är oberoende varandra?
Eller hur går det till? (tror det här har varit uppe tidigare men jag har glömt...)

PS. Eller räknar man på sämsta tänkbara utfall bara (1 person har "rätt rad" oavsett hur många rätta rader det egentligen var)? Det känns som att det skulle funka även om det gör metoden lite trubbigare iaf på det teoretiska planet.

[Svante]

Sitter man inte tillsammans å lyssnar? Hur försäkrar man sig då om att lysningarna är oberoende varandra?
Eller hur går det till? (tror det här har varit uppe tidigare men jag har glömt...)

PS. Eller räknar man på sämsta tänkbara utfall bara (1 person har "rätt rad" oavsett hur många rätta rader det egentligen var)? Det känns som att det skulle funka även om det gör metoden lite trubbigare iaf på det teoretiska planet.

Ja, det sista. Vi antar inte att serierna är oberoende av varandra (dvs inga pluspoäng för att flera personer lyckas) men att de kan vara det (dvs lägre felrisk krävs om fler lyssnar*).

Detta alltså för de statistiska villkoren. I praktiken ligger förstås sanningen någonstans däremellan, "överhörningen" är nog rätt liten, vilket gör att man kan gissa att detektion av flera personer är ett starkare resultat. Men eftersom man inte vet hur mycket så ingår inte det i avbrottsmodellen.

*I praktiken har vi ett tak på antal lyssnare för att garantera en maximal felrisk.

[KarlXII]

Hörde man någon skillnad?

Japp.

Omöjligt. De borde blindtesta tycker jag, det går ju inte att höra någon skillnad på sånt.

[Svante]

Hörde man någon skillnad?

Japp.

Omöjligt. De borde blindtesta tycker jag, det går ju inte att höra någon skillnad på sånt.

Pfff...

[Svante]

OK, jag tror jag förstår. Det hade dock varit intressant att koppla mellan de bägge D/A-omvandlarna i blindtest för att se att de kunde skiljas åt! Det borde vara hyggligt lätt om båda är "dåliga" i meningen detekterbara.

De lät rätt olika från varandra, så hade inte varit några problem att skilja dem åt om de A/B testats mot varandra tror jag.

Jag håller med om att det var en förhållandevis lättdetekterad skillnad, men inte så stor att alla trodde att det skulle bli lätt vid testets början. Utan den direkta jämförelsen tror jag att det hade varit svårt. Jag tror också att man hade kunnat skilja de två omvandlarna åt, men man ska inte överdriva skillnaden.

[Harryup]

Var denna test ett undantag eller har ni börjat jämföra saker mot varandra?
Betyder det att det går eller inte går att jämföra högtalare? Eller är daccar ett undantag?

Sen en fråga till Svante;
Om man inte ska överdriva skillnaderna, vad skall man då överdriva? Det är ju trots allt HiFi-apparater det gäller.

Mvh/Harryup

[AndreasArvidsson]

Sen en fråga till Svante;
Om man inte ska överdriva skillnaderna, vad skall man då överdriva? Det är ju trots allt HiFi-apparater det gäller.

Mvh/Harryup

Nu är jag inte Svante, men jag undrar då varför man måste överdriva något alls?

[sebatlh]

Sitter man inte tillsammans å lyssnar? Hur försäkrar man sig då om att lysningarna är oberoende varandra?
Eller hur går det till? (tror det här har varit uppe tidigare men jag har glömt...)

PS. Eller räknar man på sämsta tänkbara utfall bara (1 person har "rätt rad" oavsett hur många rätta rader det egentligen var)? Det känns som att det skulle funka även om det gör metoden lite trubbigare iaf på det teoretiska planet.

Ja, det sista. Vi antar inte att serierna är oberoende av varandra (dvs inga pluspoäng för att flera personer lyckas) men att de kan vara det (dvs lägre felrisk krävs om fler lyssnar*).

Detta alltså för de statistiska villkoren. I praktiken ligger förstås sanningen någonstans däremellan, "överhörningen" är nog rätt liten, vilket gör att man kan gissa att detektion av flera personer är ett starkare resultat. Men eftersom man inte vet hur mycket så ingår inte det i avbrottsmodellen.

Antar att i praktiken ökar känsligheten om man har 4-5 lyssnare då det är svårt i förväg att välja ut guldörat för dagen. Bättre att få en detektion med en lite högre felrisk än ingen detektion alls men med mindre felrisk.

*I praktiken har vi ett tak på antal lyssnare för att garantera en maximal felrisk.

Gillar den formuleringen.
(för den som undrar så menar Svante att taket på felrisken är garanterad. "garantera en av oss i förväg vald maximal felrisk")

[Max_Headroom]

OK, jag tror jag förstår. Det hade dock varit intressant att koppla mellan de bägge D/A-omvandlarna i blindtest för att se att de kunde skiljas åt! Det borde vara hyggligt lätt om båda är "dåliga" i meningen detekterbara.

De lät rätt olika från varandra, så hade inte varit några problem att skilja dem åt om de A/B testats mot varandra tror jag.

...men I alla fall en av testerna gav väl utslaget att en testare hade (typ) alla rätt, en hade (typ) alla fel, och en hade ingen aning (=helt slumpmässigt eller svarade inte).

Det måste väl då vara väldigit små skillnader det rör sig om? Annars hade väl alla kunnat spika vilken spelare som var vilken, helt säkert alltså?

[hifikg]

Jag är (nästan helt) säker på att jag hörde en (mycket) tydlig skillnad mellan BRIK och min DAC-9. I efterhand så tror jag att 12 lax för en DAC var i överkant, men å andra sidan använder jag den som försteg också och (praktiskt taget) ingenting (som inte kräver en massa miljoner och ett jätterum) jag hört låter bättre så det vore dumt att klaga. Tack vare köpet hamnade jag i Audio Concepts kundregister och bjuds med jämna mellanrum på olika musik-happenings, helt enormt trevligt tycker jag. Så jag e nöjd.

[Svante]

*I praktiken har vi ett tak på antal lyssnare för att garantera en maximal felrisk.

Gillar den formuleringen.
(för den som undrar så menar Svante att taket på felrisken är garanterad. "garantera en av oss i förväg vald maximal felrisk")

Nja, jag pratar faktiskt om ett tak för antal lyssnare, alltså att vi inte har för många lyssnare. Det för med sig att felrisken inte blir större än ett visst maximalt värde. Det gick kanske att missförstå, ja.

[Svante]

Sen en fråga till Svante;
Om man inte ska överdriva skillnaderna, vad skall man då överdriva? Det är ju trots allt HiFi-apparater det gäller.

Mvh/Harryup

Nu är jag inte Svante, men jag undrar då varför man måste överdriva något alls?

Ja, typ så. Man ska väl alltid försöka beskriva eventuella skillnader så bra som möjligt, inklusive deras storlek.

[sebatlh]

*I praktiken har vi ett tak på antal lyssnare för att garantera en maximal felrisk.

Gillar den formuleringen.
(för den som undrar så menar Svante att taket på felrisken är garanterad. "garantera en av oss i förväg vald maximal felrisk")

Nja, jag pratar faktiskt om ett tak för antal lyssnare, alltså att vi inte har för många lyssnare. Det för med sig att felrisken inte blir större än ett visst maximalt värde. Det gick kanske att missförstå, ja.

Det var nog jag som var otydlig. Helt med på att taket gällde antalet lyssnare

Jag läste först "...för att garantera en så stor felrisk som möjligt", ungefär.
Skit samma

[Max_Headroom]

Hade man inte kunnat skapa en CD-skiva med läpliga testsignaler, samplat utsignalen från resp DAC och sedan tittat på hur det skiljer sig dels från vad man har på skivan, dels mellan DACarna?

[Harryup]

Sen en fråga till Svante;
Om man inte ska överdriva skillnaderna, vad skall man då överdriva? Det är ju trots allt HiFi-apparater det gäller.

Mvh/Harryup

Nu är jag inte Svante, men jag undrar då varför man måste överdriva något alls?

Ja, typ så. Man ska väl alltid försöka beskriva eventuella skillnader så bra som möjligt, inklusive deras storlek.

Jag skojade.

Mvh/Harryup

[Svante]

Hade man inte kunnat skapa en CD-skiva med läpliga testsignaler, samplat utsignalen från resp DAC och sedan tittat på hur det skiljer sig dels från vad man har på skivan, dels mellan DACarna?

Det var typ 5 sidor med sånt i MoLten...