F/E test av Audiofire4 DA>AD

[Koffe]

Det är det som FooABX gör (ungefär)

[Svante]

Svantes korta test tyder på att skillnaderna inte är så stora att de räcker för säker identifiering under de förhållanden han har använt.

Då kan inte heller skillnaderna ha varit så stora att de ger upphov till hörda kvalitetsskillnader.

Åjo.

Tex så har min lyssning har inte särskilt mycket djupbas. Men jag har iaf redovisat de viktigaste komponenterna i min lyssning så att det finns möjlighet för andra att bedömma kvaliteten på min lyssning. Det är mycket möjligt att man tex med baskapablare lyssning kan hitta skillnader. Det är också möjligt att jag efter lite mer ansträngning hittar skillnaden med det befintliga systemet.

Mitt test säger just att jag misslyckades med att höra skillnad när jag provade. Jag tyckte att jag hörde en liten skillnad i diskantnivå, men lyckades inte bevisa det. Och mitt test säger inget om vare sig om andra lyckas detektera skillnad, eller hur de isf tycker att den låter.

Eller förresten, vad menar du med "hörda skillnader"? Menar du några specifika påstådda kvalitetsskillnader?

[Piotr]

Någon påstod sig höra tydlig skillnad på gitarren, 12stringb (Efter) skulle ha klen bas och något lägre diskant. Detta sporrade mig ty jag upplevde hans beskrivning som överdriven och ev. inbillad då resultaten redan givits.

Hur som så körde jag ABX igen utan att nivåmatcha. Häromdagen trodde jag att ABX i Foobar nivåmatchade automatiskt, har för mig att filerna hamnade på högre nivå (båda två) efter att jag laddat in i ABX. Kan ha varit en miss för i dag så verkade filerna ligga på samma nivå som innan jag laddade in i Foobar's ABX.

Jag satte 15/17 med en sannolikhet att jag gissade på 0.1%.

Det blir till att normalisera filerna och köra igen nån annan dag. Jag hör helt klart skillnad men tröttheten sätter in fort. Då vilade jag nån minut och fortsatte tills jag var säker.


Som sagt, nästa blir att nivåmatcha/normalisera och om jag fortfarande hör skillnad så kör jag en sväng till då jag kör line ut till line in balanserat i stället för obalanserat från hörlursutgången till line in.


edit: ändrat ABX resulatet då jag fortsatte serien. 0.1% får räcka!


/Peter

[Svante]

Jag satte 15/17 med en sannolikhet att jag gissade på 0.1%.

Med risk att även jag petar i en myrstack; hur räknade du ut det? När jag simulerar, under de mest konfidenshöjande antagandena, blir siffran ungefär 0,12%. Så blir det om man antar att du bestämde dig i förväg att göra 17 lyssningar och att du skulle få högst två fel. Med en annan försöksdesign (som att du hade stannat efter 10 rätt, eller efter 12 rätt av 13) blir risken större (i exemplet ungefär 0,4%).

Vill påminna om programmet

http://user.faktiskt.io/svante/AB_statistics.exe

...som kan hjälpa en att göra en försöksdesign. Före testet, om man vill vara seriös.

Därmed inte sagt att 0,4% är otillräckligt, det verkar tvärtom ganska övertygande.

[Piotr]

ABX funktionen i Foobar ger svarsresultat med en siffra på sannolikheten för att man skulle kunnat gissa sig fram till resultatet.

Har inte en susning om hur dom beräknar detta eller huruvida det är korrekt.

Jag bestämde mig för 10 omgångar inledningsvis och satte där 9/10, sedan fortsatte jag på skoj för att se hur det utvecklade sig om jag fyllde på med flera omgångar och stoppade sedan på 15/17 och siffran 0.1% som jag tyckte var nog för att övertyga mig.


/Peter

[RogerJoensson]

En liten allmän not bara:

Om man hör små skillnader på två normaliserade spår, kan det kasnke vara anledning att misstänka att nivåmatchningen ändå inte var perfekt.
Enstaka transient-förvrängningar eller fasvridning kan göra transienterna olika höga, utan att de låter särskilt annorlunda...

Vill man vara mera noggrann normaliserar man först, nollar ut filerna (där den ena är fasvänd)och kollar att de släcker ut väl. Om inte så får man finjustera nivåerna och nolla igen.

Om man har stor fasvridning funkar inte utsläckningen heller så bra.
Då får man utgå från testandet på normaliserde filer och sedan sedan testa om med finjusterade nivåskillnader för att se om skillnaderna i något läge minskar.

Om man redan från början misslyckas att höra skillnader, då finns naturligtvis ingen anledning att fibbla vidare med nivåmatchning...

Jag har nu nollat körspåret och det var väl nivåmatchat. Det släcker ut sämre om jag höjer eller sänker 0,1dB. Så i det här fallet var nivåmatchningen bra och det finns ingen anledning att fibbla mer med nivåerna!

(När man nollar och skruvar upp volymen ordentligt hör man mp3resterna tydligt och förutom gurkglet så verkar nivån hoppa upp och ner stegvis, men uppenbarligen inte tillräckligt mycket för att det ska ge tydliga skillnader mellan spåren!)

[Koffe]

ABX funktionen i Foobar ger svarsresultat med en siffra på sannolikheten för att man skulle kunnat gissa sig fram till resultatet.

Har inte en susning om hur dom beräknar detta eller huruvida det är korrekt.

Det borde vi iofs ta reda på. Eftersom hydrogen ofta använder FooABX så gissar jag att det finns dokumentation där.

Hittade denna på Wikipedia:
http://en.wikipedia.org/wiki/ABX_test

[Koffe]

http://user.faktiskt.io/svante/AB_statististics.exe

Verkar var en trasig länk. Attans!

[Svante]

ABX funktionen i Foobar ger svarsresultat med en siffra på sannolikheten för att man skulle kunnat gissa sig fram till resultatet.

Å fifan så fel... Alltså, att skulle prestera en rad med 17 svarsom är precis den man just har gjort är 1/(2^17)=0,0076% . Oavsett vilken raden blev. Men det är inte särskilt intressant, man måste veta vilka andra rader man hade accepterat. tex alla rätt, alla med ett fel och alla med två fel. Om man från början bestämmer sig för just 17 lyssningar och högst två fel blir sannolikheten ungefär 0,12% att man får en falskt positivt utfall. Det kan testats med mitt program genom att skriva in 17 17 17.

Har inte en susning om hur dom beräknar detta eller huruvida det är korrekt.

Jag bestämde mig för 10 omgångar inledningsvis och satte där 9/10, sedan fortsatte jag på skoj för att se hur det utvecklade sig om jag fyllde på med flera omgångar och stoppade sedan på 15/17 och siffran 0.1% som jag tyckte var nog för att övertyga mig.


/Peter

Mm, där har det varit en amatörstatistiker* i farten, ser jag. Så får man inte göra, om det är på riktigt.

*Tro nu inte att jag menar att jag är en proffsstatistiker, bara .

[Svante]

http://user.faktiskt.io/svante/AB_statististics.exe

Verkar var en trasig länk. Attans!

Ändrat till

http://user.faktiskt.io/svante/AB_statistics.exe

Man måste stava rätt...

[Svante]

Hittade denna på Wikipedia:
http://en.wikipedia.org/wiki/ABX_test

Skrämmande!

Results required for a 95% confidence level:

Kod: Markera allt

Number of trials
10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25
Minimum number correct
8  8  9  9  10 11 11 12 12 13 14 14 15 15 16 17

Tolkar man detta som att man först kan göra 10 lyssningar och accepterar högst 2 fel
och att man i annat fall fortsätter till 11 lyssningar och accepterar högst 3 fel
och att man i annat fall fortsätter till 13 lyssningar och accepterar högst 4 fel
och att man i annat fall fortsätter till 16 lyssningar och accepterar högst 5 fel
och att man i annat fall fortsätter till 18 lyssningar och accepterar högst 6 fel

...osv

så ger mitt program en konfidens på < 79 % (med försöksdesignen 10 10 10 11 13 16 18 21 23)

Alltså är risken större än en på fem att man får en falsk detektion.

[Koffe]

Hittade denna på Wikipedia:
http://en.wikipedia.org/wiki/ABX_test

Skrämmande!

Results required for a 95% confidence level:

Kod: Markera allt

Number of trials
10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25
Minimum number correct
8  8  9  9  10 11 11 12 12 13 14 14 15 15 16 17

Tolkar man detta som att man först kan göra 10 lyssningar och accepterar högst 2 fel
och att man i annat fall fortsätter till 11 lyssningar och accepterar högst 3 fel
och att man i annat fall fortsätter till 13 lyssningar och accepterar högst 4 fel
och att man i annat fall fortsätter till 16 lyssningar och accepterar högst 5 fel
och att man i annat fall fortsätter till 18 lyssningar och accepterar högst 6 fel

...osv

så ger mitt program en konfidens på < 79 % (med försöksdesignen 10 10 10 11 13 16 18 21 23)

Alltså är risken större än en på fem att man får en falsk detektion.

Jag begriper inte sånt här

Men det verkar som den wiki-sidan skulle behöva en omgång.

http://en.wikipedia.org/w/index.php?stu ... ction=edit

[Koffe]

AB_statistics.exe - jag fattar absolut ingenting! Manual?

[Svante]

AB_statistics.exe - jag fattar absolut ingenting! Manual?

Äh, manual...!

Inte till ett sånt hack.

Men i korthet, man betämmer sig före testet att man ska ha till exempel:

9 rätt av 9, misslyckas man med det så förtsätter man till
13 av 14, misslyckas man med det så förtsätter man till
16 av 18, misslyckas man med det så förtsätter man till
19 av 21, misslyckas man med det så förtsätter man till
24 av 28, sen ger man upp.

För att se hur hög konfidens ett sånt test ger så matar man in 9 14 18 21 28 i AB_statistics. Den gör då 1000000 såna tester, men svarar helt slumpmässigt. Några av de 1000000 testerna kommer av en slump att ge positivt utfall. Genom att se hur många det är så kan man approximera konfidensen.

Som i exemplet blir ungefär 99,7 %