ska göra bra kabeltest

[zartok]

För att stärka eller försvaga myten om kablarnas vara eller icke vara så ska vi ett gäng i umeå göra ett kabelblindtest.

testet kommer gå till på följande sätt:

Slantsingling om vilken kabel som körs.
Blindtest.
Nivåmatchat i förväg.
Analyiska högtalare, bra kringutrustning och bra ljudkvalitet på materialet.
Ett par teoretiskt superfabulösa kablar med skärmar, flera ledare, silver ect ect mot en vanlig Kopparsladd. billig.

Resultaret analyseras på ett alphavärde på 5 som när man gör vanlig psykologiskt och sociologisk forskning. Antagande om normalfördelningskurva. iaf i början av analysen.

tror ni vi behöver tänka på något mer?

[tvett]

Dubbelblint?
Ordentlig terminering på båda par?

Ska ni undersöka om man hör skillnad eller vilket man upplever låter bättre?
Kablars vara eller inte vara är lätt, de ska vara där! Annars hör man lätt skillnad på när det är tyst.

Kul att det händer nåt i Umeå

[zartok]

Vi kommer ha en.som kopplar och singlar slant. denna person kan ej göra det blint men kommer heller inte vara med i studien. vi kommer köra guldade bananer på båda kablarna.

Vi ska undersöka skillnad, inte en riktad frågeställning. bra är ju subjektivt, skillnad är nog lättare att undersöka

[tvett]

Hur ska deltagarna ge feedback? Att singla slant och ha helt slumpmässig ordning på lyssningarna är bra så man inte kör in sig på varannan-grejen och börjar tro på skillnader. Men det blir även svårare att ge feedbacken med helt slump.

[zartok]

Alla deltagare har ett eget papper där man skriver vilken kabel det är. det matchas sen mot officiella resultat som kabelkillen tillhandahåller i slutet av testet

[tvett]

Jag vet inte om jag förstår riktigt.
De ska alltså skriva ner vilken kabel de tror det var som spelades?
Antar att ni inleder med öppna lyssningar så att de får bilda sig en uppfattning av de båda kablarna då.

[zartok]

Precis. först en öppen lyssning på bestämd ni ljudnivå med båda kablarna och sen ska vi köra en serie blinda lyssningar på samma nivå. vi ska bara skriva ner om det är kabel ett eller två.

[Svante]

Kul!

Mitt tips är att bestämma sig för i förväg hur data ska analyseras.

Jag skulle bestämma mig för försöksdesignen 9-13-16 dvs lyssna tills man har fått
-9 rätt (eller fel) av 9,
-12 av 13,
-14 av 16 eller
-minst tre fel och minst tre rätt.

Lyckas ni med någon av de tre första har ni med 99% konfidens lyckats visa att ni kan detektera en skillnad. Med sista alternativet har ni misslyckats med att visa det.

Om ni inte bestämmer i förväg hur data ska analyseras så hamnar ni ett statistikträsk som inte riktigt går att reda ut.

Om du tycker designen ovan är konstig så diskuterar jag gärna det, även om det finns utrett i flera (dessvärre kilometerlånga) trådar sedan tidigare.

[RogerGustavsson]

Stänger ni ner förstärkarna mellan omkopplingarna? Små skillnader kan väl vara svåra att urskilja med tanke på att det blir viss dötid mellan omkopplingarna? Det finns/fanns för ändamålet speciella omkopplare, dyra....

[zartok]

Jag kommer göra en statisisk analys med normalfördelning på resultaten tänkte jag. då tror jag man ser lättast hur det blir, ungefär som.med slantsingling. man måste upp i rätt höga nivåer på alpha 5%, runt 16-17/20 för att det ej ska vara slump. Dock så kommer vi vara flera som gör testet så siffrorna blir större snabbt och då sjunker kravet på exakthet.

Så analysen är klar, premisserna är klara. det jag är orolig för är om vi glömt något riktigt viktigt.
Vi kommer stänga av förstärkarna, har inte tillgång till en omkopplare tyvärr. även om ljudminnet är dåligt så får vi hoppas att det håller i en minut.

Undrar om vi har någon psykoakustiker som vet mer i ämnet?

[tvett]

Stänger ni ner förstärkarna mellan omkopplingarna? Små skillnader kan väl vara svåra att urskilja med tanke på att det blir viss dötid mellan omkopplingarna? Det finns/fanns för ändamålet speciella omkopplare, dyra....

För rättvisans skull så ska man alltid koppla ur och in, oavsett resultatet av slanten.

[zartok]

Ja, vi kommer låtsaskoppla så att ingen ska kunna ta det på den faktorn. det kommer vara likvärdig tid mellan kopplingarna och om det är volymskillnad så kommer volymen givetvis vara dold.

[Kronkan]

http://seanolive.blogspot.se/2010/03/me ... s-and.html

Man torde kunna öka känsligheten i testet betydligt genom att först lyssna öppet och försöka finna om det är någon skillnad och viken det så skulle vara.

Sedan göra blint.

Kanske börja med en som tror sig klara det om sådan finnes. Testa 1 gång. Sedan konfirmera resultatet med 1 omgång till med samma person.

Fortsätta så.
Mera om "trained listener"
http://www.sciencedirect.com/science/ar ... 8574900127

[zartok]

Vi ska flrst göra en öppen lyssning för att höra om det finns en speciell karaktär i kablarna. från det går vi vidare till blint.

Vi tänkte köra alla blint på en gång för att på så vis få in data snabbare. vi lyssnar ett tag och sen sammanställer vi antal rätt mot antal fel. vid säg 100 observationer bör det svänga med max två standardavvikelser beräknat efter frihetsgrader... om jag minns statestiken rätt. men men, jag har papprena hemma

[aisopos]

Kul!

Mitt tips är att bestämma sig för i förväg hur data ska analyseras.

Jag skulle bestämma mig för försöksdesignen 9-13-16 dvs lyssna tills man har fått
-9 rätt (eller fel) av 9,
-12 av 13,
-14 av 16 eller
-minst tre fel och minst tre rätt.

Lyckas ni med någon av de tre första har ni med 99% konfidens lyckats visa att ni kan detektera en skillnad. Med sista alternativet har ni misslyckats med att visa det.

Någon speciell anledning att välja 99% konfidensgrad?

Jag kan tycka att allt över 90% är rätt OK.

Men jag håller helt med dig att det är en enorm fördel att bestämma hela metoden
allt från datainsamling, till när försöket avbryts till hur den statistiska bearbetningen
och tolkningen ska ske, innan försöket startar.

[zartok]

Vi ska glra vårt test mes 95% konfidens, det är standard inom psykologi och sociologi

[Svante]

Jag kommer göra en statisisk analys med normalfördelning på resultaten tänkte jag. då tror jag man ser lättast hur det blir, ungefär som.med slantsingling. man måste upp i rätt höga nivåer på alpha 5%, runt 16-17/20 för att det ej ska vara slump. Dock så kommer vi vara flera som gör testet så siffrorna blir större snabbt och då sjunker kravet på exakthet.

Du bestämmer dig alltså för att göra 20 lyssningar och kräver minst 16 rätt eller minst 16 fel av dem?

Om du har en enda lyssnare så ger det testet 98,8% konfidens. Med fyra lyssnare ger det 95,4% konfidens, men med fem lyssnare ger det under 95 % konfidens.

[Svante]

Kul!

Mitt tips är att bestämma sig för i förväg hur data ska analyseras.

Jag skulle bestämma mig för försöksdesignen 9-13-16 dvs lyssna tills man har fått
-9 rätt (eller fel) av 9,
-12 av 13,
-14 av 16 eller
-minst tre fel och minst tre rätt.

Lyckas ni med någon av de tre första har ni med 99% konfidens lyckats visa att ni kan detektera en skillnad. Med sista alternativet har ni misslyckats med att visa det.

Någon speciell anledning att välja 99% konfidensgrad?

Jag kan tycka att allt över 90% är rätt OK.

Men jag håller helt med dig att det är en enorm fördel att bestämma hela metoden
allt från datainsamling, till när försöket avbryts till hur den statistiska bearbetningen
och tolkningen ska ske, innan försöket startar.

De 99 procenten är förstås godtyckliga, men anledningen är nog huvudsakligen att man ofta vill göra mer än ett test, alternativt ha flera lyssnare. Då sjunker raskt den totala konfidensen om bara ett av testen ger utslag. Med 99 % konfidens kan man göra 5 tester och fortfarande ligga på 95% totalt.

[zartok]

Jag pratar ännu om ca-siffror då vi ej känner till hur många som kommer närvara. vi vet heller inte hur många lyssningar vi kommer att göra.

Har du formeln till dina siffror så jag kan se så att jag använder mig av samma formel?

Tanken med tråden är att gå igenom metoden, inte statestiken. det är inte troligt att vi kommer få ett resultat som kommer peka åt skillnad iaf, men för säkerhetsskull så har vi.endel statistiskt kunnande för att räkna på det hela.

[Ragnwald]

Kablarna ska naturligtvis också mätas.
Även om mätskillnaderna är små, får ni vägledning om vad som påverkade lyssningsresultatet.

[Svante]

Vi ska flrst göra en öppen lyssning för att höra om det finns en speciell karaktär i kablarna. från det går vi vidare till blint.

Vi tänkte köra alla blint på en gång för att på så vis få in data snabbare. vi lyssnar ett tag och sen sammanställer vi antal rätt mot antal fel. vid säg 100 observationer bör det svänga med max två standardavvikelser beräknat efter frihetsgrader... om jag minns statestiken rätt. men men, jag har papprena hemma

Du får inte glömma att du inte kan bortse från kontamination mellan datapunkterna om flera lyssnare avger svar samtidigt vid samma uppspelning. Även om de inte visar varandra sina resultat kan de omedvetet signalera till varandra vad de svarar. Datapunkterna blir då inte oberoende observationer, vilket är en förutsättning för den statistiska analysen.

Det kan tyckas fånigt och att man borde kunna bortse från något, men här talar vi om något som det möjligen är osannolikt att det ska höras och då vill man inte ha metodfel inbyggda. Det stora värdet av testet är ju om ni lyckas med detektionen och då är det trist om det finns osäkerheter med statistiken.

Lösningen är att se varje fp som en separat serie och inte tillskriva multipla "lyckade" serier något extra statistiskt värde.

[Svante]

Kablarna ska naturligtvis också mätas.
Även om mätskillnaderna är små, får ni vägledning om vad som påverkade lyssningsresultatet.

Nja, ska man göra det så ska man nog inte mäta bara kablarna, utan vilken påverkan de har i just den uppställning som de är inkopplade.

[Svante]

Jag pratar ännu om ca-siffror då vi ej känner till hur många som kommer närvara. vi vet heller inte hur många lyssningar vi kommer att göra.

Har du formeln till dina siffror så jag kan se så att jag använder mig av samma formel?

Tanken med tråden är att gå igenom metoden, inte statestiken. det är inte troligt att vi kommer få ett resultat som kommer peka åt skillnad iaf, men för säkerhetsskull så har vi.endel statistiskt kunnande för att räkna på det hela.

På 16/20 räknade jag med binomialfördelningen, dubbelsidigt.

Alltså [ (20 0) + (20 1) + (20 2) + (20 3) + (20 4)]*0,5^20 * 2 =0,0114

Med 9 13 16 använder jag ett simuleringsprogram som jag har skrivit, den typen av tester låter sig inte beräknas lätt. Programmet finns att hämta på

http://www.tolvan.com/hacks/AB_statistics.exe

Fördelen med en 9 13 16-design är att man tillåter avbrott om det är lätt. Detta gör att man kan minimera risken att uttröttning gör att man missar en hörbar påverkan.

[Ragnwald]

Ok, om vi säger såhär i stället.
Mätta skillnader kan i alla fall ge en hint om vilka egenskaper som som gav för örat bättre resp sämre resultat i just denna krets de ska arbeta med musik.
Inte så komplicerat att utföra.
Annars håller jag med dig.

[zartok]

Då har vi heeeelt olik formler

Ja, i vilket fall som helst, ingen ser några större problem med själva metoden?

[Svante]

Jag pratar ännu om ca-siffror då vi ej känner till hur många som kommer närvara. vi vet heller inte hur många lyssningar vi kommer att göra.

Har du formeln till dina siffror så jag kan se så att jag använder mig av samma formel?

Tanken med tråden är att gå igenom metoden, inte statestiken. det är inte troligt att vi kommer få ett resultat som kommer peka åt skillnad iaf, men för säkerhetsskull så har vi.endel statistiskt kunnande för att räkna på det hela.

Statistiken är en del av metoden. Utan den är testet nära värdelöst.

[Svante]

Då har vi heeeelt olik formler

Ja, i vilket fall som helst, ingen ser några större problem med själva metoden?

Förutom frånvaron av dubbelblindhet, nej. Man kan ju försöka ordna så att kabelbytaren inte får ögonkontakt med lyssnarna. Nivåmatchning lär knappast vara ett problem när man bara byter kabel, man kan tycka att om en kabel påverkar nivån så SKA den detekteras pga det.

Möjligen skulle man underlätta snabba växlingar med någon manick, men då kommer också hela debatten om manickens eventuella maskeringseffekter.

Intressant kan ju vara, om ni inte hittar några skillnader, att verkligen överdriva den "dåliga" kabeln, genom att ta en riktigt lång (100 m?) eller riktigt tunn (0,05 mm2 ?) för att se hur svårt det är att detektera den.

Om ni skulle få smak på testandet, menar jag .

[Svante]

Då har vi heeeelt olik formler

Ok, vad har du?

Normalfördelningen är ju en hygglig approximation till binomialfördelningen vid såpass stora tal som 20.

[aisopos]

Nivåmatchning lär knappast vara ett problem när man bara byter kabel, man kan tycka att om en kabel påverkar nivån så SKA den detekteras pga det.

En relevant åsikt, ja.

[zartok]

då vi inte ska mäta när tjockleken på kabeln spelar roll så kommer vi att nivåmatcha kablarna. vi vill få reda på en lite annan sak. ena kabeln kommer att vara silverplätterad, ha många ledningar, skruvade och skärmad ett par varv, det är vanliga försäljningsargument. det är det vi ska testa, om det gör någon skillnad. har vi nivåmatchat kablarna så kommer inte ev påverkan av ljudet att spela någon roll, varpå en confounding variable försvinner från vår hypotes.

det vi vill testa är med andra ord om variabler som silverplättering, mängder av skruvning, skärmning osv ger annorlunda ljud än en vanlig koppartråd :)