Hur bra låter egentligen en Mp3:a?

[Koffe]

Hur bra låter egentligen en Mp3:a? ABX-test börjar här…

Efter att ha läst flera olika testresultat på Internet i från olika typer av tester där man försöker utröna hur bra (dåliga) mp3-filer är i jämförelse med okomprimerade format. Slutsatsen verkar vara att det är VÄLDIGT svårt att höra skillnad/ eller att det är VÄLDIGT svårt att säga vad som är ”bäst” i ett blindtest. Hur är det med oss här på faktist.se? Har vi guldöron som kan höra skillnad? Är våra system tillräckligt bra för att belysa skillnaden i ljudkvalité?

För att vi skall kunna prova detta har jag har tagit fram testfiler. Dessa består av ett en minut långt utdrag ur en låt/verk. Jag har valt utdrag ett stort dynamiskt innehåll, mycket mikrodetaljer, mycket ”rum” och som är generellt bra inspelningar. Utdragen är gjorda ifrån icke bitreducerade lossless filer. För klippning har jag använt WavePad. Av utdragen har jag sedan gjort en Mp3-kopia. Mp3-kopian är gjort med Lame ~190kbit, V2, VBR-new, fast mode i foobar2000.

Av utdragen och Mp3-kopiorna har jag sedan satt ihop ABX-test. Testaren skall alltså bestämma om A eller B är Mp3-kopian och därefter bestämma om X är identisk med A eller B. X är alltså en kontroll att testaren verkligen har HÖRT skillnaden och inte gissat.

ABX –testen är sedan konverterade (”utdragna”) till wav-format i foobar2000. Testerna är alltså en enda fil där musiken spelas 3 gånger. Jag har kallat dessa kompletta ABX- filer för sample_sets. Totalt har jag tagit fram 4 stycken olika sample_sets med olika musik.

Det första sample_set:et är en minut historisk musik. Nummer två är en minut opera. Nummer 3 är en modern, snyggt producerad rocklåt. Nummer fyra är en ”club”- låt. Alla är utmärkta inspelningar i sin genre. Alla är helt olika sinsemellan. Filerna är på ca 33 Mb styck och hela testet är alltså på ca 133 Mb.

Om du är intresserad av att delta i testet vill jag att du PM:ar mej. Du kommer då att få en hemlig URL där du kan ladda med sample_set:sen som wav-filer. Gör dina lyssningar i din egen anläggning. Om du vill kan du naturligtvis bränna ut wav:en och lyssna i din vanliga CD-spelare. PM:a mej sedan resultatet i formatet:

Exempel:
Sample_set 1.
A (original) B (mp3): X=A (original)

Sample_set 2.
Osv…

Jag kommer att publicera facit och statistik i den här tråden efter ca en vecka. Om någon testare har fått alla rätt kommer jag att meddela detta i denna tråd. Alla som har något fel i resultatet kommer att förbli anonyma.

Här ni några frågor så är ni välkomna att ställa dem här.

Obs. Om intresset blir för stort kommer jag att begränsa testgruppen. Jag ser testet som en ”kompis-grej” och vill inte göra en jätteadministration av resultat. Först till kvarn gäller om ni vill delta.

Obs. Det är INTE lätt. Jag har gjort lite ”för-tester”.

Edit: La till ett "bold"

[PerStromgren]

Ett mycket bra inititiv!

En liten fråga i sammanhanget: har du räknat på chansen för att svara alla rätt? Det ser ut som om chansen att med slumpen få alla rätt är en på 16, dvs ca 6%. Det är vä i högsta laget för att få ett hyglligt test av hörbarhet?

Någon som kan kommentera?

[Koffe]

Blir det inte så här:

Att chansa mellan A och B är 50%. Att få ABX rätt om man gissar är 25%

Fyra st ABX:er borde då ge en försvinnande lite risk att någon bara "gissar" helt rätt. Jag ser detta som ett litet ytterligare förtest. Finns intresse som kan vi bygga ut testet med mer musik och flera format.

[Koffe]

Ett intressant (men ganska gammalt) tyskt test. Det testade på ett lite annat sett men det vara många guldöron närvarande. Läs här!

[PerStromgren]

Av utdragen och Mp3-kopiorna har jag sedan satt ihop ABX-test. Testaren skall alltså bestämma om A eller B är Mp3-kopian och därefter bestämma om X är identisk med A eller B. X är alltså en kontroll att testaren verkligen har HÖRT skillnaden och inte gissat.

Jag läste slarvigt, alltså. Så här brukar inte ABX-test utföras, men det innebär inte för den skull att det är sämre. Du har byggt ihop ett AB-test ("Vilket spår är förändrat?" eller "Vilket spår föredrar du?") med ett ABX-test ("Är X = A eller är X = B?"). Varför använder du båda?

Som du säger så minskar chansen för en rättgissning, men den försvinner inte alls! Den bara minskar från 50 till 25%, så "en kontroll att testaren verkligen har HÖRT skillnaden och inte gissat" är det inte.

Att däremot gissa rätt på en av fyra, fyra gånger i rad gör man i 0.25^4 = 0.004 gånger av alla fall, dvs tämligen försumbart. Att göra en analys av vad som händer då man har ett eller flera fel överlåter jag till någon som kan mer statistik, eftersom ufallen (ABX resp AB) är beronde av varann, vilket gör det litet knepigare att räkna på.

[Koffe]

Se det så här

Om man HÖR skillnad så borde man kunna lösa uppgiften oavsett hur samplesettet är ordnat. Om man INTE hör skillnad blir det klurigt (och det är ju det som är meningen)

Jag föreslår att vi kör så som jag har skrivit i beskrivningen så tar vi diskussionen om den vetenskapliga relevansen av testutfallet sen.

Det kanske viktigaste, och vad jag ville ge er var en möjlighet att jämföra blint. Tro mej, det är inte lätt. Se det som en personlig utmaning av era öron och lyssningsförmåga. Det är inte försent att anmäla sig. Fler testare tack!!!

[JB]

Jag kan oftast inte höra skillnad på Mp3 och CD när mp3n ligger på över 192 kbit/sec.. men ibland går det. Tex när dom inte har kört så mycket kompressor på låtarna så tycker jag det brukar höras bättre, har man väldigt låg volym på filen man konverterar till mp3 så hörs komprimeringen mycket bättre också, och det man oftast brukar höra komprimeringen lättast på (enligt mig) är trummorna (hi-hat och crashar). Och ett par bra hörlurar brukar inte vara en nackdel om man "vill" höra komprimering (har själv ett par Sennheiser HD 595 som brukar avslöja mpeg komprimeringen när jag annars inte hör den i mina högtalare)

Men nu för tiden så använder ju dom flesta VBR (variable bitrate) som automatiskt justerar bitraten efter vad som behövs just på det stället i låten, och detta gör att man får väldigt bra ljud i förhållande till filstorleken, och att höra skillnad mellan en bra encodad VBR fil och CD kan nog vara en riktig utmaning!

[Koffe]

I det här fallet är inställningen - Lame ~190kbit, V2, VBR-new, fast mode i foobar2000. Om jag inte tar fel är det "default" nuförttiden. Det är alltså ett svårt test.

Det skulle vara ÄNNU svårare att höra om ni inte visste att det fanns ett "original" i varje sampleset. Nu vet ni som testar att EN av A eller B är okomprimenrad. Det gäller att hitta den och sedan bekräfta detta genom att säga vad X är, om X är ett "original" eller en komprimerad kopia.

[Koffe]

Ni som testar. Det skulle vara roligt om ni skrev några rader om hur ni lyssnar, med vilken utrustning mm.

Jag har lyssnat på filerna via SB3:an i huvudanläggningen. Jag har också lyssnat via ett par gamla Sennheiser HD470 (inga märkvärdiga) lurar och ett par Koss porta-pro. Med lurar har jag lyssnat i huvudanläggningen och i hörlursutgången i min IBM T43 (utgången på IBM:en är faktist helt OK. Mycket bättre än alla andra laptops jag har provat).

Men avslöja inte resultaten nu!

För tydlighets skull påpekar jag att JB inte ingick bland de som testar när han skrev sitt inlägg. JB är dock välkommen om han vill prova... Det är bara att PM:a mej.

[Koffe]

Du är också välkommen perstromgren

[Svante]

Jag föreslår att vi kör så som jag har skrivit i beskrivningen så tar vi diskussionen om den vetenskapliga relevansen av testutfallet sen.

Ujuj...

Det är inte säkert att det går, om du verkligen vill vara vetenskaplig.
Och det vill du ju, eftersom du vill att resultatet ska vara värt något, eller hur?

Risken är ju att massor av folk gör lyssningar och att ingen av dem är tillräckligt bra (testuppläggsmässigt) och då blir det ingenting gjort alls. Dessutom är det big nono att i efterhand bestämma vilka statistiska analysmetoder du ska använda.

Nej, bestäm i förväg vilka kriterier du ska ha för godkänt utpekande, så blir det ingen tvekan. ABX tycker jag verkar onödigt jobbigt, lyssna i stället AB och be FP peka ut den som är processad. Det blir enklare så. Dessutom tror jag att det blir lättare att höra skillnad om man ges möjlighet att växla mellan spåren och slipper vänta på skivbyte. Lyssningen ska alltså göras med mjukvara*. Det finns att hämta på nätet, i nåt projekt som heter ABX eller nåt.

*Tycker jag, men den som är övertygad om motsatsen kan förstås lyssna på CD, det är inte fel, bara svårare.

[Koffe]

[...] Jag föreslår att vi kör så som jag har skrivit i beskrivningen så tar vi diskussionen om den vetenskapliga relevansen av testutfallet sen.

Med andra ord... Personligen bryr jag mej inte om hurvida det är den bästa vetenskapliga metoden eller ej därför att...

Det kanske viktigaste, och vad jag ville ge er var en möjlighet att jämföra blint. Tro mej, det är inte lätt. Se det som en personlig utmaning av era öron och lyssningsförmåga.

Jag tycker att det viktigaste vi kan uppnå är att fler får en uppfattning av storleksordningen på problemet. Sen är det kul också.

Det blir enklare så. Dessutom tror jag att det blir lättare att höra skillnad om man ges möjlighet att växla mellan spåren och slipper vänta på skivbyte. Lyssningen ska alltså göras med mjukvara*. Det finns att hämta på nätet, i nåt projekt som heter ABX eller nåt.

Nja. Personligen är min uppfattning att det intressantare om man förutom att peka ut vilken som är "bra" eller "dålig" tvingas applicera den nyligen förvärvade hörselerfarenheten på en tredje och uttala sig om den. Då blir det dessutom svårare att gissa. Mina "för-tester" visade också (provade på en bror och sambo) att det ofta blir fel i den tredje. Det är lite intressant. Alternativet hade varit att ha betydligt fler samples.

Att jag inte byggde testet på mjukvaran foobarABX var för att så många som möjligt skulle kunna testa utan att installera eller koppla in datorn i anläggningen. Målsättningnen var alltså att hitta ett bra format för att distribuera testandet över nätet. Hade jag kunnat/velat ha kontroll över testmiljön hade jag gjort på ett annat sätt. Nu får man fyra filer. Varje fil innehåller ett test. Om man vill kan man bränna dessa och köra i sin vanliga cd-spelare. Då blir varje test som ett track. Kan det bli lättare?

Risken är ju att massor av folk gör lyssningar och att ingen av dem är tillräckligt bra (testuppläggsmässigt) och då blir det ingenting gjort alls. Dessutom är det big nono att i efterhand bestämma vilka statistiska analysmetoder du ska använda.

Pja, men en 10-20 (just nu är det 6 st anmälda men jag har fortfarande hopp) testare som kör 4 fyra sampleset var är det inte raketforskning vi talar om. En lista där man talar om att tex 3 testare har alla rätt. Man skulle också kunna tala om vilken "låt" som var svårast, respektive lättast. Vi kanske inte behöver göra så mycket mer analys än så.

Du är också välkommen Svante. PM:a mej så får du URL:en så kan du såga metoden sen

[Svante]

Ja, nej, jag vill förstås inte ta kål på experimentlustan, jag bara tycker det är så trist när man i efterhand kommer på att testet inte sa så mycket.

Men förstås, alla som gör ett sånt här test går ur det med en upplevelse om hur litet problemet är, det håller jag med om. Det är ju andra halvan i ett sånt här test. Om den första är att ta reda på om det överhuvudtaget finns någon hörbar skillnad, så är den andra att få en uppfattning om hur stor den är.

Jag har en projektgrupp varje år som gör just ett sånt här test, med mjukvara då, i datorn och med hörlurar och med någorlunda vetenskaplig signifikans.

Jag skulle vilja uppmana de som gör testet att prova i datorn med växlingsmjukvara och lurar (också), det är (tycker jag) lättare att höra skillnad då.

[Harryup]

Jag skulle vilja uppmana de som gör testet att prova i datorn med växlingsmjukvara och lurar (också), det är (tycker jag) lättare att höra skillnad då.

Fast är det inte det motsatta som Koffe vill undersöka?
Hur lätt eller svårt det är att höra skillnad via stereon?

[Svante]

Jag skulle vilja uppmana de som gör testet att prova i datorn med växlingsmjukvara och lurar (också), det är (tycker jag) lättare att höra skillnad då.

Fast är det inte det motsatta som Koffe vill undersöka?
Hur lätt eller svårt det är att höra skillnad via stereon?

Ja, jo, fast vill man visa hur svårt det är då ska man ju lyssna i köksradion. Det är ju inte så intressant som att ge testet bästa möjliga förutsättningar.

Men nu ska jag inte vara sån, visst det är intressant att se hur svårt det är i vanliga stereon ocksä.

[Olmo]

Fast är det inte det motsatta som Koffe vill undersöka?
Hur lätt eller svårt det är att höra skillnad via stereon?

Tja, han har ju hur som helst ingen kontroll över om deltagarna lyssnar i stereon eller i ett par hörlurar kopplade till datorn.

Jag tror att man får acceptera att den här typen av test blir helt ovetenskapligt och att det finns goda möjligheter att fuska för den som så önskar. Vad jag funderar på är om man inte kunde ordna någon typ av online-test istället. En java-applet eller liknande, där var och en kan göra ett ab- eller abx-test direkt i webbläsaren och där både musikfiler och testresultat lagras i en central server. Det skulle kunna ge ett ganska bra statistiskt underlag och en ganska bra kontroll över testförfarandet. Fast då är man förstås bunden till att använda datorn som spelare...

Sedan också ett par ord om att göra egna abx-tester hemma vid datorn. Man måste vara mycket noggrann när man gör i ordning sina testfiler, så att man verkligen testar det man vill testa och inte något annat. Det är lätt att introducera "cues" i testfilerna, som inte har något med det man vill testa att göra, men som gör att de kan skiljas åt. Jag testade själv igår att skapa en mp3-fil med lame och jämföra med originalet. Jag hade inga problem att skilja filerna åt i ett abx-test, oavsett bitrate. Det visade sig att lame introducerade en liten tidsförskjutning i mp3-filen, vilket gjorde att övergången mellan A och B blev "oren" och lätt kunde identifieras. Med detta vill jag bara säga att man måste vara vaksam och inte kan ta för givet att ett positivt testresultat säger något om det man ville testa. Det finns många sätt att göra fel på.

[Harryup]

Nu skall jag inte lägga ord i mun på Koffe men som jag läst och föstått det hela är att Koffe inte tror att det blir så många "rätt" om man lyssnar som vanligt.
Om folk vanligtvis sitter och lyssnar via sina datorer så fine, men datorer kan ju låta lite hur som helst över sina utgångar.
Och poängen är väl inte heller att man skall jämföra över sin iPod utan att se om loseless eller MP3 kan ersätta CD-skivor på sikt.
Läser in dettta eftersom Koffe använder Squeezebox.
Eller har jag fel?

[JB]

Asså har börjat ta hem filerna nu och dom verkar ju vara uppdelade i 3 delar, är det alltså 3 olika format? eller kan 2 delar vara CD och 1 del vara MP3?

[Koffe]

Asså har börjat ta hem filerna nu och dom verkar ju vara uppdelade i 3 delar, är det alltså 3 olika format? eller kan 2 delar vara CD och 1 del vara MP3?

Varje fil innehåller samma "låt" tre gånger. - Tre sek tystnad. En minut av låten. Tre sek tystnad. En minut av låten. Tre sek tystnad. En minut av låten. Tre sek tystnad.

Repetionerna fungera så att de första gångerna (gång 1 och 2) du hör låten är A och B. Du skall då bestämma vilken av A eller B som är det okomprimenrade orginalet, respektive den komprimenrade mp3-kopian. De första två repetionerna innehåller ALLTID en av varje. När du känner dej säker på de första två ( A och B) då skall du bestämma om X (den tredje gången låten spelas) är ett original eller mp3-kopia.

Du skall sen skriva ner (till exempel):
Sample_set 1.
A (original) B (mp3): X=A (original)

När du har gjort alla PM:ar du mej resultatet

PS. Original är alltså = "CD kvalité" eller okomprimerat. DS

[Koffe]

Tja, han har ju hur som helst ingen kontroll över om deltagarna lyssnar i stereon eller i ett par hörlurar kopplade till datorn.

Jag tror att man får acceptera att den här typen av test blir helt ovetenskapligt och att det finns goda möjligheter att fuska [...]
Sedan också ett par ord om att göra egna abx-tester hemma vid datorn. Man måste vara mycket noggrann när man gör i ordning sina testfiler, så att man verkligen testar det man vill testa och inte något annat. [...] Det visade sig att lame introducerade en liten tidsförskjutning i mp3-filen, vilket gjorde att övergången mellan A och B blev "oren" och lätt kunde identifieras. Med detta vill jag bara säga att man måste vara vaksam och inte kan ta för givet att ett positivt testresultat säger något om det man ville testa. Det finns många sätt att göra fel på.

Jepp! Det är ett ovetenskapligt test. Men förhoppningsvis kan det vara en "ögonöppnare" och forumet blir en "erfarenhet" rikare. Jag uppmanar testarna att prova att lyssna på filerna på många sätt innan ni rapporterar resultatet. Prova i huvudanläggningen, vid datorn, i er köksradio om det går. Med lurar och utan. Se om ni kan hitta skillnaderna bättre på något sätt. Lyssna och dra erfarenheter. Det går naturligtvis att fuska men det är inte sååå lätt eftersom alla "samples" kommer i en fil. Det gör det förhoppningsvis lite svårade att jämföra bit-för-bit.

Eftersom jag har klippt ihop flera samples till ett sampleset och lagt 3 sek tystnad i mellan spåren så upplever man inte övergången som oren. Jag har gjort ca en sek intoning i låten (innan jag körde komprimenringen) för att mildra effekten av att "kastas rakt in". Jag tror att det funkar och att man undviker det problem som du beskriver.

[Koffe]

[...]utan att se om loseless eller MP3 kan ersätta CD-skivor på sikt.[...]

Det skulle kunna vara en slutsats en testare PERSONLIGEN kan dra av att ha deltagit. Eller raka motsatsen. Ni som testar får gärna berätta om era erfarenheter när testet är över

[Koffe]

Men nu ska jag inte vara sån, visst det är intressant att se hur svårt det är i vanliga stereon ocksä.

Visst är det intressant för testaren personligen. På sätt och vis får de inte testa hur bra, respektive dåligt de olika formaten är utan hur de upplever skillnaderna i mellan formaten i sina olika lyssningsmiljöer. Detta visas i de indiviuella testresultaten. Testresultaten blir inte riktigt jämförbara med varandra eftersom det inte finns någon som helst kontroll på testmiljön.

[Koffe]

Jag har en projektgrupp varje år som gör just ett sånt här test, med mjukvara då, i datorn och med hörlurar och med någorlunda vetenskaplig signifikans.

Kul! Finns resultaten publicerade någonstans där vi kan titta? Du får jättegärna länka in resultaten i tråden

[Koffe]

Ja, nej, jag vill förstås inte ta kål på experimentlustan

Vi kanske kan enas om att det är ett skoj experiment? Vill du inte vara med och testa? Jag skulle tycka att det var kul med feed-back i från dej efteråt.

[Nefilim]

Är det en monolog??

[silvervarg]

Visst är det kul att Koffe har trixat till ett experiment och jag ser fram emot att se resultatet. Tyvärr har jag inte möjlighet att delta denna gång.

Det jag ställer mig lite frågande till är varför du har gjort testet så svårt för deltagarna? ~190kbit VBR blir i de flesta låtar ungefär samma kvalitet som 320kbit fixed. En hastighet som gör mp3:or extremt lika originalet.
När man har gjort testet så svårt så tycker jag att man bör göra resten av testet så fördelaktigt för lyssnarna som möjligt, t.ex. som det test Svante beskriver.

Knepigast är just att de olika bitarna inte är uppdelade i spearata låtar. Om de hade varit egna låtar så kan man snabbt byta fram och tillbaks mellan spåren (t.ex. med fjärrkontrollen till CD-spelaren)
Om man tycker sig höra en skillnad med nuvarande upplägg så tar det 1 minut innan man hör motsvarande i nästa kvalitet. Tyvärr är hörselminnet mycket kort, så en minut är mycket långt i detta sammanhang.

[Koffe]

Knepigast är just att de olika bitarna inte är uppdelade i spearata låtar. Om de hade varit egna låtar så kan man snabbt byta fram och tillbaks mellan spåren (t.ex. med fjärrkontrollen till CD-spelaren)

Vill ni som testar ha filerna "uppklippta"? Om ni vill kan jag dra fram versioner där testspåren är separerade. Frågeställeningen blir dock densamma: Inom samplesetet, identifiera A och B och tala därefter om ifall X är identisk med A eller B.

[Slartibartfast]

Kan säga att det var mer än svårt. Ska se om jag kan finna några skillnader i ett par finare hörlurar ikväll, men jag har för närvarande ingen tilltro till att höra skillnaderna! (Har än så länge lyssnat via min Dell D400 inbyggda ljudkort och ett par Sennheiser in-ear lurar, så jag kanske är lite väl teatralisk men svårt, det var det verkligen!)

/J

[Bill50x]

Hm, vad har jag missat? Finns filerna att hämta någonstans, eller? I alla fall denna tråd har jag inte sett någon länk.

/ B

[Koffe]

Hm, vad har jag missat? Finns filerna att hämta någonstans, eller? I alla fall denna tråd har jag inte sett någon länk.

/ B

Om du är intresserad av att delta i testet vill jag att du PM:ar mej. Du kommer då att få en hemlig URL där du kan ladda med sample_set:sen som wav-filer.