Hur skall man testa?

[hcl]

När man upprepade gånger har misslyckats med att detektera en ADDA-kedja i 16/44 trots att man har tagit till alla de metoder som brukar vara känsligast för att höra skillnader, ja då måste man dra slutsatsen att om något låter väsentligt annorlunda än 16/44 så är det det där andra som det är fel på.

Sure...
Så när man upprepade gånger misslyckats med att detektera att jorden är rund trots att man har tagit till alla de metoder som brukar vara känsligast för att se skillnader, ja då måste man dra slutsatsen att om någon påstår att jorden är rund, så är det det andra som det är fel på.

För att vara seriös -
A/ testet representerar inte på hur det förhåller sig i verkligheten där man spelar upp en digital fil/CD. Det har vi ju tidigare diskuterat.
Det enda som gäller i validering är att till minsta detalj testa i miljö som är likadan som i vekligheten.

B/ man kan inte bevisa frånvaron från något genom noll-resultat oavsett 1000-tals tester. Endast ETT enda test där man KAN detektera skillnaden krävs.

Detta är ju egentligen rätt intressant. Hur skall man testa för att få adekvata svar? Det Sportis skriver är givetvis enormt viktigt. För att få svar på den fråga man egentligen vill ha svar på, i det här fallet; Kan man höra skillnad på 44,1/16 som har spelats in som 96/24 (eller got likvärdigt "högupplöst" format)? Det är helt ointressant om det går att skilja två spår, med ointressant innehåll, testat med en irrelevant metod (hur beprövad den än må vara för att påvisa någon annan irrelevant skillnad).

Några grundläggande villkor för ett relevant test (lägg gärna till grundläggande villkor, som ni tycker jag missat):

1. Uppkopplingen måste vara identisk med de respektive uppkopplingar man önskar jämföra. Alla former av extra kopplinga, växlar, kablar går m.a.o. bort. Även hur apparaterna står uppställda måste vara överensstämmande med hur de skall vara placerade. Det duger inte att man testat icke detektion av kopplingar och växlar, med någon test som inte uppfyller de här fyra kriterierna.

Om inte 1 är uppfyllt kan vi inte med total visshet anta att förhållandena är 100 % relevanta. Nära? Visst, men inte 100 %

2. Man måste använda ur musikalikst perspektiv, kvalitativt musikmaterial. Sinustoner, tåg, fågelkvitter, motorljud eller "musik" inspelad med syfte att det skall låta bra (typiska audiofil-inspelningar) går normalt sett bort eftersom de inte med säkerhet kan garanteras hålla en hög musikalisk standard. De kan givetvis var av hög msuikalisk standard, men det faktum att fokus kan vara på låta på något speciellt sätt som ej är relaterat till ett känslomässigt framfört budskap riskerar själpa grunden för jämförelsen. Jag menar inte att alla audiofil-inspelningar är dåliga eller går bort, men man bör vara uppmärksam på detta.

Om inte 2 är uppfyllt kan bi inte med någon rimlig visshet anta att jämförelsen görs utifrån ett ur musikperspektiv relevant sätt. Det är musikåtergivning vi vill jämföra, inte hur olika alternativ återger hur ett tåg låter.

3. De som rent fysiskt och mentalt genomför testet måste kunna lyssna på precis det sätt som man kan lyssna då man upplever musik. Att lyssna 30 ggr på samma musiksnutt är inte normalt och riskerar helt ruinera testets relevans. Det har nämnts rikser med att man tappar intresset efter bara ett par växlingar.

Om inte 3 är uppfyllt kan bi inte med någon rimlig visshet anta att jämförelsen görs utifrån ett ur musikperspektiv relevant sätt. Det är hur vi uppfattar innehållet i det vi lyssnar till som skall jämföras, inte hur länge någon kan hålla ut utan att tappa fokus eller helt enkelt hur länge repsektive testkandidat kan hålla ut.

4. Testdeltagarna kan inte ha förutfattade meningar om de varianter som jämförs och/eller får inte veta vilket alternativ som för tillfället är inkopplat.

Om inte 4 är uppfyllt så är det omöjligt att avfärda ev. placebo, nocebo, ...

SÅ

Hur genomför vi sådana tester så att vi får reda på det som jag tor de flesta av oss här önskar veta? Vad kan vi höra och vad kan vi inte höra skillnad på, vilka apparater/metoder/standarder är viktiga för upplevelsen, vilka är det inte? Syftet är givetvis inte att misskreditera alla rimliga tester, jag vill bara försöka se vilka möjligheter som ni som testar mer vetenskapligt ser som framkomliga.

[Svante]

När man upprepade gånger har misslyckats med att detektera en ADDA-kedja i 16/44 trots att man har tagit till alla de metoder som brukar vara känsligast för att höra skillnader, ja då måste man dra slutsatsen att om något låter väsentligt annorlunda än 16/44 så är det det där andra som det är fel på.

Sure...
Så när man upprepade gånger misslyckats med att detektera att jorden är rund trots att man har tagit till alla de metoder som brukar vara känsligast för att se skillnader, ja då måste man dra slutsatsen att om någon påstår att jorden är rund, så är det det andra som det är fel på.

För att vara seriös -
A/ testet representerar inte på hur det förhåller sig i verkligheten där man spelar upp en digital fil/CD. Det har vi ju tidigare diskuterat.
Det enda som gäller i validering är att till minsta detalj testa i miljö som är likadan som i vekligheten.

B/ man kan inte bevisa frånvaron från något genom noll-resultat oavsett 1000-tals tester. Endast ETT enda test där man KAN detektera skillnaden krävs.

Detta är ju egentligen rätt intressant. Hur skall man testa för att få adekvata svar? Det Sportis skriver är givetvis enormt viktigt. För att få svar på den fråga man egentligen vill ha svar på, i det här fallet; Kan man höra skillnad på 44,1/16 som har spelats in som 96/24 (eller got likvärdigt "högupplöst" format)? Det är helt ointressant om det går att skilja två spår, med ointressant innehåll, testat med en irrelevant metod (hur beprövad den än må vara för att påvisa någon annan irrelevant skillnad).

Några grundläggande villkor för ett relevant test (lägg gärna till grundläggande villkor, som ni tycker jag missat):

1. Uppkopplingen måste vara identisk med de respektive uppkopplingar man önskar jämföra. Alla former av extra kopplinga, växlar, kablar går m.a.o. bort. Även hur apparaterna står uppställda måste vara överensstämmande med hur de skall vara placerade. Det duger inte att man testat icke detektion av kopplingar och växlar, med någon test som inte uppfyller de här fyra kriterierna.

Om inte 1 är uppfyllt kan vi inte med total visshet anta att förhållandena är 100 % relevanta. Nära? Visst, men inte 100 %

2. Man måste använda ur musikalikst perspektiv, kvalitativt musikmaterial. Sinustoner, tåg, fågelkvitter, motorljud eller "musik" inspelad med syfte att det skall låta bra (typiska audiofil-inspelningar) går normalt sett bort eftersom de inte med säkerhet kan garanteras hålla en hög musikalisk standard. De kan givetvis var av hög msuikalisk standard, men det faktum att fokus kan vara på låta på något speciellt sätt som ej är relaterat till ett känslomässigt framfört budskap riskerar själpa grunden för jämförelsen. Jag menar inte att alla audiofil-inspelningar är dåliga eller går bort, men man bör vara uppmärksam på detta.

Om inte 2 är uppfyllt kan bi inte med någon rimlig visshet anta att jämförelsen görs utifrån ett ur musikperspektiv relevant sätt. Det är musikåtergivning vi vill jämföra, inte hur olika alternativ återger hur ett tåg låter.

3. De som rent fysiskt och mentalt genomför testet måste kunna lyssna på precis det sätt som man kan lyssna då man upplever musik. Att lyssna 30 ggr på samma musiksnutt är inte normalt och riskerar helt ruinera testets relevans. Det har nämnts rikser med att man tappar intresset efter bara ett par växlingar.

Om inte 3 är uppfyllt kan bi inte med någon rimlig visshet anta att jämförelsen görs utifrån ett ur musikperspektiv relevant sätt. Det är hur vi uppfattar innehållet i det vi lyssnar till som skall jämföras, inte hur länge någon kan hålla ut utan att tappa fokus eller helt enkelt hur länge repsektive testkandidat kan hålla ut.

4. Testdeltagarna kan inte ha förutfattade meningar om de varianter som jämförs och/eller får inte veta vilket alternativ som för tillfället är inkopplat.

Om inte 4 är uppfyllt så är det omöjligt att avfärda ev. placebo, nocebo, ...

SÅ

Hur genomför vi sådana tester så att vi får reda på det som jag tor de flesta av oss här önskar veta? Vad kan vi höra och vad kan vi inte höra skillnad på, vilka apparater/metoder/standarder är viktiga för upplevelsen, vilka är det inte? Syftet är givetvis inte att misskreditera alla rimliga tester, jag vill bara försöka se vilka möjligheter som ni som testar mer vetenskapligt ser som framkomliga.

Ja, det här är ju himla roligt, och det finns många möjligheter att gå fel och det finns en mycket stor begränsning i att lyssnarna inte kan utsättas för hur mycket som helst. Mina synpunkter på dina punkter, de är inte objektiva utan snarare praktiska erfarenheter av ganska många tester:

1. Anläggningen man lyssnar i påverkar resultatatet, javisst, men min erfarenhet är nog att lyssning i en bra anläggning avslöjar mer än i en dålig anläggning. Lyssnar man i det bästa man kan hitta är man mao ganska hemma, även om man förstås kan få detektion i en annan anläggning om det hänger på gärdsgårn. Detta är en bra anledning till att den som påstår sig höra en skillnad ska få lyssna i sin egen anläggning, om inte annat för att exkludera felrisken.

2. Man måste inte alls lyssna på musik. Man kan lyssna på precis vad som helst, och min erfarenhet är att man ofta kan detektera mindre skillnader med konstgjorda signaler. Men man ska förstås prova en massa signaler, och man märker snart att de är olika bra, man kommer olika långt med dem. Och olika signaler är olika bra för att detektera olika fel. Och igen, om någon säger sig höra skillnad med en viss signal ska hen förstås få använda den vid ett formellt test.

3. Nej, de måste inte lyssna precis så som när man lyssnar på musik. Tvärtom kan de vara hjälpta av att man väljer ut en särskilt avslöjande snutt, eller kanske ett konstgjort ljud. Man ska lyssna på det sätt som avslöjar mest. Men igen; om någon säger sig höra skillnaden bäst genom att lyssna med långa lyssningar, så ska de få lyssna i långa lyssningar. Kraven på sadistisk signifikans gör dock sådana lyssningar mycket mödosamma.

4. Förutfattade meningar får man gärna ha, men man får inte veta vad som är inkopplat, dvs testet måste vara blint och helst dubbelblint. Vidare måste man peka ut skillnaden tillräckligt många gånger i rad så att risken att man får detektion av en slump är tillräckligt liten. I vetenskapliga sammanhang anser man att felrisken måste vara under p=5% för att man ska anse att resultatet är signifikant. Det har skrivits spaltkilometer om hur sådan signifikansberäkning bör gå till och det finns olika metoder för hur man ska lägga upp ett test.

5. Jag har på senare år börjat intressera mig för värdet av en icke-detektion. Det värdet är mycket mer svårmätt än värdet av en detektion, men å andra sidan mycket intressantare. Man vill ju ha apparater som man inte kan detektera.

Här nånstans blir ofta sådana här debatter ganska knepiga. Eftersom man egentligen inte kan veta någonting alls helt säkert tar en del ståndpunkten att alla tester är värdelösa eftersom man ... ändå inte kan vara säker. Då har man inte förstått att det där med att vara säker är en gradfråga, som i enkla fall kan mätas med en felrisk, p-värdet ovan. I knepigare fall behövs så många uppskattningar av okända variabler att det blir rätt meningslöst att sätta siffror på p. Man måste acceptera att säkerheten inte är total, men att man ändå vet mer om man har testat formellt och blint, tagit upp en eller flera serier och studerat dem, än vad den är om man lyssnar öppet och utan att ta upp svarsserier utan bara tycker lite.

När man designar tester kan man eliminera många felkällor, som kalibreringsfel, placebo, okända signalkällor etc och det gör testet bättre. Men vissa felkällor som att man inte har lyssnat på alla signaler i hela världen, i alla anläggningar i hela världen eller i treårssessioner, blir man inte av med och då får man acceptera och bedöma inverkan av felkällorna som är kvar.

Och därefter leva i en visserligen mindre men ändå oviss het.
De felkällor man inte har eliminerat kan i princip alltid vara förklaringen till det utfall man får, och var och en måste bedöma om man tror att felkällorna är viktiga. Och för att andra ska kunna göra sin egen bedömning måste man vara öppen med testproceduren.

[RogerJoensson]

1. Idén att få lyssna i egna anläggningen är bra.

2. Det är väl inte helt fel om den som lyssnar får välja ett musik eller ljudspår som denne själv tycker är bra till uppgiften, särskilt om denne är övertygad om att det bara är med visst självvalt material man klarar uppgiften.

3. Man måste nog inte lyssna 20-30 gånger i rad. Man kan dela upp det i mindre delserier och vila/pausa som man vill. Det förutsätter att man har tre knappar/lägen där två är samma och att inget redovisas förrän hela serien är avslutad.

-Allt för upplägget ska stressa så lite som möjligt.

4. Det spelar ingen roll om man har förutfattade meningar. Det man ska leta efter är ju personer som klarar höra skillnad och om de skulle vara hjälpta av tro och orealistisk övertygelse så gör det ju inget alls. Resultaten från de som misslyckas är inte intressanta och behöver inte ens noteras.

[Harryup]

För min del är det närmast ointressant vad andra kan höra skillnad på i andra anläggningar annat som en viss väldigt vag vägledning.
Om jag skall testa något för köp vill jag göra det själv i min anläggning. Ibland går inte det och då får man väga in om det är värt att möjligen köpa fel.

/Harryup

[Ogjort]

Hur genomför vi sådana tester så att vi får reda på det som jag tor de flesta av oss här önskar veta? Vad kan vi höra och vad kan vi inte höra skillnad på, vilka apparater/metoder/standarder är viktiga för upplevelsen, vilka är det inte? Syftet är givetvis inte att misskreditera alla rimliga tester, jag vill bara försöka se vilka möjligheter som ni som testar mer vetenskapligt ser som framkomliga.

När jag läser dina rader infinner sig frågan om VAD du egentligen vill testa?
Ändå avslutar du med "Vad kan vi höra och vad kan vi inte höra skillnad på".
Om det är människans förmåga, så gäller det ju att i möjligaste mån eliminera allt annat.
Annars är det ju, som du också beskriver, något annat vi undersöker.

Ett konkret exempel är ju Ingvar Öhmans tidiga försök till en psykoakustisk studie, som istället endast gav möjlighet till
studier av brister hos konventionella högtalare. Innan uppgiften ens kunde inledas var man tvungen att konstruera en
ny högtalare - utan de konventionellas brister. (åtminstone minimerade).
Dvs - om vi inte presenterar materialet genom bästa möjliga apparater och i bästa möjliga miljö, så är det inte människans förmåga vi undersöker.

Några rader i din inledande text för snarare tanken till att testa vilken musik som folk gillar mest i sina hemanläggningar...
Å det kan ju vara roligt iofs - men det säger ju ingenting om VAD människan förmår uppfatta i form av ljudkvalitetsskillnader.
Där bör vi kanske till och med undvika musik - eftersom den subjektivt färgar upplevelsen. En bra låt, som man gillar, låter ju bättre än en dålig

Det är ju väldigt ofta det stora kruxet - att lyckas isolera just den parameter man vill undersöka. Vilket gäller i alla studier, undersökninger och tester.
Först måste du formulera frågan "VAD"? Därefter undersöka om "vad" överhuvudtaget går att isolera från andra saker.
Då blir det lätt de där laboratorieliknande uppkopplingarna, som många ofta invänder emot, då de tolkas som skilda från "verkligheten".
Medan de egentligen resulterar i tvärtom - alltså just och precis verkligheten.

Det här är ju knepigt. Och vi möter ofta tester - eller kanske snarare slutledningar av dem - där den egentliga faktorn man vill undersöka,
aldrig blivit isolerad. På sådant finns det otaliga exempel, långt upp i forskarakademin, märkligt nog. Inte minst inom sociologiska studier,
där komplexiteten kan vara enorm. Sen väljer socialstyrelsen att som sanning tala om att: Unga som bjuds på alkohol hemma - oftare blir
alkoholister än de som inte bjuds. Trots att det inte finns EN ENDA undersökning i världen som isolerat just den parametern. Oftast inte ens
formulerat frågan. Dvs den verkliga situationen innehåller så enormt många felkällor och så många andra orsaker än just "bjuda", att den borde gjorts laboratoriemässigt för att kunna ge svar. Men det låter sig ju inte ens göras. Knepigt att låta någon växa upp i en laboratoriekonstruerad miljö, utan
att det ställer till stora etiska problem...

Ljud är faktiskt mycket lättare

[darkg]

Mmmm... förutom metodfrågor och -förvirring tror jag att en hel del av diskussionerna och frustrationen i diskussionerna kring testande beror på att vi har olika kärnfrågor vi betraktar som relevantast! Det kan också vara en delförklaring till att det aldrig blir något av initiativen till undersökningar.Det är alltför lätt att ta för givet att Min fråga är Frågan

[Svante]

Resultaten från de som misslyckas är inte intressanta och behöver inte ens noteras.

Jo! Det är mycket viktigt. Säg att jag testar 20 personer. En av dessa 20 personer lyckas med en serie med 5% felrisk. Har jag då lyckats bevisa att det hörs en skillnad? Detta är en av de saker som jag tror kan vara problemet med MQA-studien, det finns tecken som tyder på att de har gjort fler lyssningar än de som de redovisar, och då faller statistiken på det.

[Svante]

För min del är det närmast ointressant vad andra kan höra skillnad på i andra anläggningar annat som en viss väldigt vag vägledning.
Om jag skall testa något för köp vill jag göra det själv i min anläggning. Ibland går inte det och då får man väga in om det är värt att möjligen köpa fel.

/Harryup

...samtidigt så finns det ju en stor styrka i att många lyssnar och utbyter erfarenheter.

[Svante]

Det är ju väldigt ofta det stora kruxet - att lyckas isolera just den parameter man vill undersöka. Vilket gäller i alla studier, undersökninger och tester.

Sant!

Jag ser det där ofta i utbildningen och i vetenskapliga sammanhang. Dialogen kan vara ungefär så här:

-Vad vill du testa?
-Jag vill se vilken som är bäst.
-Hur ska du testa det?
-Ja, det tänkte jag att du skulle hjälpa mig med.
-Ok, men vad menar du med "bäst" då?
-Ja, alltså vilken som är bäst, vilken jag ska använda.
-Det beror på vad du ska göra.
-Ja, alltså det vet jag inte riktigt, vad krångligt det blev.

...lite lätt raljerande.

Det är påfallande ofta som man söker svar utan att ha en fråga.

[sprudel]

@Svante. Kul att du lyfter just aspekten av icke-detektion.
Det kan alltså finnas en viss möjlighet under andra omständigheter men möjligheten begränsas i sin sannolikhet av de olika tester som görs som visar något annat, icke-detektion. Det är ju precis så som vår naturvetenskapliga världsbild fungerar, inga direkta sanningar utan sannolikheter och så kör vi på de teorier vi inte falsifierat. De tycks fungera, tills vi får ny information.
Man får då nöja sig med att inte veta, men nästan veta, med sannolikheten som grund.

[hcl]

Trevligt med många intressanta synpunkter! Med rätt miljö (anläggning/uppkoppling) avsåg jag inte att man (var och en) måste testa i sin egen anläggning, utan bara det att det behöver göras i en fullt ut korrekt (d.v.s. efter bästa förmåga, på bästa sätt optimerad) installerad anläggning. Det duger inte att addera en förmodat icke påverkande komponent (omkopplare el. dyl.).

En väsentlig fråga som jag ändå hävdar är att om man testar utifrån målet att det man ösnakr få svar på är relevant ur ett musikupplevelse perspektiv så måste man testa med musik.

[Bill50x]

-Ja, alltså vilken som är bäst, vilken jag ska använda.

Lite luddighet kring värdeskalorna "sämst - bäst" finns alltid så länge man inte sätter siffror på enskilda parametrar. Och då blir bedömningen genast mer fyrkantig. Du skriver ju själv att det är enklare att höra skillnader (på tex programmaterial) på en bra anläggning än en dålig. Redan där hamnar vi i diskussionen, vad är en bra anläggning?

För övrigt menar jag att man ska lyssna med musik. Huvudsakligen. För vissa specialändamål kan man köra med testsignaler, lokomotiv och spårvagnar. Men det är ju som allra oftast man använder sin anläggning till att spela musik, inte att spela fågelkvitter.

Var hemma hos en kamrat och jämförde två cd-spelare. Frekvensgången hos cd-spelare brukar vara exemplarisk och de båda spelarna lät också mycket lika. Ändå var det så att när vi spelade en gammal jazzplatta som jag aldrig hört förut så lät det helt OK i den första spelaren men kaosartat i den andra. Min kamrat som mera fokuserade på hur cymbalerna lät och om basisten hördes tydligt och dessutom kände plattan väl, han uppfattade inte alls kaoset.

Nu är ju inte kaos en speciell distform utan snarare ett resultat av flera samverkande parametrar, kanske rentav en ganska komplex sak. Tror du att jag hade hört detta om jag lyssnat på något annat än musik?

/ B

[sportbilsentusiasten]

Där bör vi kanske till och med undvika musik - eftersom den subjektivt färgar upplevelsen. En bra låt, som man gillar, låter ju bättre än en dålig

Jag brukar rekommendera att lyssna på musik man tidigare inte hört = få bort alla referenser hur det "borde" låta. Det gör det lättare att höra skillnader i en testsituation. För många.

[sportbilsentusiasten]

Det är ju väldigt ofta det stora kruxet - att lyckas isolera just den parameter man vill undersöka. Vilket gäller i alla studier, undersökninger och tester.

Sant!

Hur kan du då referera till testet med ADDA? Där finns ju massa parametrar som inte överensstämmer med hur en dig fil/CD spelas upp i hemmet.

[RogerJoensson]

Resultaten från de som misslyckas är inte intressanta och behöver inte ens noteras.

Jo! Det är mycket viktigt. Säg att jag testar 20 personer. En av dessa 20 personer lyckas med en serie med 5% felrisk. Har jag då lyckats bevisa att det hörs en skillnad? Detta är en av de saker som jag tror kan vara problemet med MQA-studien, det finns tecken som tyder på att de har gjort fler lyssningar än de som de redovisar, och då faller statistiken på det.

Innan man tittar på andelen som klarar detektion, så kanske man först ska försöka hitta någon som klarar detektion över huvud taget. Givet tidigare undersökningar i ämnet så lär det inte bli lätt att hitta avvikarna som klarar höra skillnad i en väl utförd blindtest.
Jag menar att det är bättre att gå vidare och göra större och säkrare test med/på det fåtal som faktiskt kunnat eller råkar peka ut en skillnad, om man vill veta om det överhuvudtaget finns dom som klarar det. Att först rensa ogräset och koncentrera sig på de som kanske har förmågan och se om de verkligen har förmågan eller om det var tur i först föröket. Om man inte går den vägen är risken att man inte hittar den eller de med de speciella förmågorna eftersom de drunknar i bruset från miljoner andra som misslyckas detektera något.
Om man ska hitta en på miljonen så är det inte särkilt effektivt att om och om igen testa hela massan slarvigt. Mycket bättre att leta efter möjliga avvikare först, som verkar ha rätt egenskaper och sedan lägga energin på att undersöka dessa.

Att bara titta på den stora bilden är precis vad läkemedelsindustin gör när det börjar upptäckas biverkningar efter godkännande och lansering av mediciner, man ser dem inte (eller väljer att inte se dem) eftersom de inte syns i bruset. Samma läkemedelsbolag utbildar läkarna som går på den officiella informationen och ofta avfärdar även allvarliga biverkningar som psykiska eller beroende på något annat och inget rapporteras uppåt och vidare hamnar in i ny uppdaterad statistk. -Vilket skulle kunnat lett till åtgärder som skulle kunna skyddat ytterligare personer att drabbas. Det är så det kan fungera i praktiken. Jag har mer än ett fall i min närhet som visar på det. Jag skriver detta eftersom du tidigare använde tester av nya mediciner för att visa på god vetenskaplig metodik, vilket det är, fast ibland bara på pappret och då kan det i praktiken istället bli till rätt värdelös vetenskap.
Det är m a o förbaskat lätt att missa saker om man inte tittar efter dem specifikt eller väljer att inte titta efter dem.

[Piotr]

Det är ju väldigt ofta det stora kruxet - att lyckas isolera just den parameter man vill undersöka. Vilket gäller i alla studier, undersökninger och tester.

Sant!

Jag ser det där ofta i utbildningen och i vetenskapliga sammanhang. Dialogen kan vara ungefär så här:

-Vad vill du testa?
-Jag vill se vilken som är bäst.
-Hur ska du testa det?
-Ja, det tänkte jag att du skulle hjälpa mig med.
-Ok, men vad menar du med "bäst" då?
-Ja, alltså vilken som är bäst, vilken jag ska använda.
-Det beror på vad du ska göra.
-Ja, alltså det vet jag inte riktigt, vad krångligt det blev.

...lite lätt raljerande.

Det är påfallande ofta som man söker svar utan att ha en fråga.

Ja det där ser man ofta. Det var det jag ville belysa i min argumentation med sprudel i MQA-tråden nyligen.. det gick inte så bra. Jag var måhända mer raljerande.

[sprudel]

Det är ju väldigt ofta det stora kruxet - att lyckas isolera just den parameter man vill undersöka. Vilket gäller i alla studier, undersökninger och tester.

Sant!

Jag ser det där ofta i utbildningen och i vetenskapliga sammanhang. Dialogen kan vara ungefär så här:

-Vad vill du testa?
-Jag vill se vilken som är bäst.
-Hur ska du testa det?
-Ja, det tänkte jag att du skulle hjälpa mig med.
-Ok, men vad menar du med "bäst" då?
-Ja, alltså vilken som är bäst, vilken jag ska använda.
-Det beror på vad du ska göra.
-Ja, alltså det vet jag inte riktigt, vad krångligt det blev.

...lite lätt raljerande.

Det är påfallande ofta som man söker svar utan att ha en fråga.

Ja det där ser man ofta. Det var det jag ville belysa i min argumentation med sprudel i MQA-tråden nyligen.. det gick inte så bra. Jag var måhända mer raljerande.

Du var i hög grad kaxig, och dessutom hade du fel.

[music4ever]

Problemet är att de som ifrågasätter tidig empiri gör det på öppna tester. Tills de kan framföra kritik eller argumentation som baserar sig på blindtester, så känns kritiken tämligen meningslös.

[Harryup]

För min del är det närmast ointressant vad andra kan höra skillnad på i andra anläggningar annat som en viss väldigt vag vägledning.
Om jag skall testa något för köp vill jag göra det själv i min anläggning. Ibland går inte det och då får man väga in om det är värt att möjligen köpa fel.

/Harryup

...samtidigt så finns det ju en stor styrka i att många lyssnar och utbyter erfarenheter.

Trist dock om dom som tror att dom har erfarenheter faktiskt saknar erfarenheter. *duckar*

mvh/Harryup

[Svante]

Resultaten från de som misslyckas är inte intressanta och behöver inte ens noteras.

Jo! Det är mycket viktigt. Säg att jag testar 20 personer. En av dessa 20 personer lyckas med en serie med 5% felrisk. Har jag då lyckats bevisa att det hörs en skillnad? Detta är en av de saker som jag tror kan vara problemet med MQA-studien, det finns tecken som tyder på att de har gjort fler lyssningar än de som de redovisar, och då faller statistiken på det.

Innan man tittar på andelen som klarar detektion, så kanske man först ska försöka hitta någon som klarar detektion över huvud taget. Givet tidigare undersökningar i ämnet så lär det inte bli lätt att hitta avvikarna som klarar höra skillnad i en väl utförd blindtest.
Jag menar att det är bättre att gå vidare och göra större och säkrare test med/på det fåtal som faktiskt kunnat eller råkar peka ut en skillnad, om man vill veta om det överhuvudtaget finns dom som klarar det. Att först rensa ogräset och koncentrera sig på de som kanske har förmågan och se om de verkligen har förmågan eller om det var tur i först föröket. Om man inte går den vägen är risken att man inte hittar den eller de med de speciella förmågorna eftersom de drunknar i bruset från miljoner andra som misslyckas detektera något.
Om man ska hitta en på miljonen så är det inte särkilt effektivt att om och om igen testa hela massan slarvigt. Mycket bättre att leta efter möjliga avvikare först, som verkar ha rätt egenskaper och sedan lägga energin på att undersöka dessa.

Ja och nej kan man väl säga. Det beror som sagt på vad frågan är. Om frågan är "finns det alls någon som hör den här apparaten" så bör man absolut göra det flerstegstest du beskriver. Om frågan är "hur stor andel av befolkningen hör apparaten" så måste man testa ett slumpmässigt urval.

Frågan är viktig att veta innan man ger ett svar.

[Svante]

För min del är det närmast ointressant vad andra kan höra skillnad på i andra anläggningar annat som en viss väldigt vag vägledning.
Om jag skall testa något för köp vill jag göra det själv i min anläggning. Ibland går inte det och då får man väga in om det är värt att möjligen köpa fel.

/Harryup

...samtidigt så finns det ju en stor styrka i att många lyssnar och utbyter erfarenheter.

Trist dock om dom som tror att dom har erfarenheter faktiskt saknar erfarenheter. *duckar*

mvh/Harryup

Nu gör du mig till mer oerfaren än jag är. Men jag bjuder på det.

[Svante]

-Ja, alltså vilken som är bäst, vilken jag ska använda.

Lite luddighet kring värdeskalorna "sämst - bäst" finns alltid så länge man inte sätter siffror på enskilda parametrar. Och då blir bedömningen genast mer fyrkantig. Du skriver ju själv att det är enklare att höra skillnader (på tex programmaterial) på en bra anläggning än en dålig. Redan där hamnar vi i diskussionen, vad är en bra anläggning?

För övrigt menar jag att man ska lyssna med musik. Huvudsakligen. För vissa specialändamål kan man köra med testsignaler, lokomotiv och spårvagnar. Men det är ju som allra oftast man använder sin anläggning till att spela musik, inte att spela fågelkvitter.

Var hemma hos en kamrat och jämförde två cd-spelare. Frekvensgången hos cd-spelare brukar vara exemplarisk och de båda spelarna lät också mycket lika. Ändå var det så att när vi spelade en gammal jazzplatta som jag aldrig hört förut så lät det helt OK i den första spelaren men kaosartat i den andra. Min kamrat som mera fokuserade på hur cymbalerna lät och om basisten hördes tydligt och dessutom kände plattan väl, han uppfattade inte alls kaoset.

Nu är ju inte kaos en speciell distform utan snarare ett resultat av flera samverkande parametrar, kanske rentav en ganska komplex sak. Tror du att jag hade hört detta om jag lyssnat på något annat än musik?

/ B

Nja, testet du beskriver har en hög validitet, men en katastrofalt dålig reliabilitet. Det är dessutom dåligt dokumenterat och orsakerna som nämns är tämligen spekulativa .

[Bill50x]

Nja, testet du beskriver har en hög validitet, men en katastrofalt dålig reliabilitet. Det är dessutom dåligt dokumenterat och orsakerna som nämns är tämligen spekulativa .

"Testet" låter så seriöst. Säg en trevlig lyssning på kvällskvisten efter en bit mat och några pilsner

Har jag spekulerat i några orsaker? Jag bara framförde en åsikt om vad jag hörde. Jag kallar det inte fakta, inte ens relativa fakta

/ B

[Svante]

Nja, testet du beskriver har en hög validitet, men en katastrofalt dålig reliabilitet. Det är dessutom dåligt dokumenterat och orsakerna som nämns är tämligen spekulativa .

"Testet" låter så seriöst. Säg en trevlig lyssning på kvällskvisten efter en bit mat och några pilsner

Har jag spekulerat i några orsaker? Jag bara framförde en åsikt om vad jag hörde. Jag kallar det inte fakta, inte ens relativa fakta

/ B

Det framfördes ju som ett argument i om hur man bör testa, så jag tänkte att det var ett test du beskrev. Sen tyckter jag att du hade någon teori med kaos som skulle förklara något, men den kanske var kaoset i inspelningen du pratade om?

Fast igen då, frågan är hur ska man testa, men man måste också bestämma vad man vill uppnå. Man kan hitta aldeles utmärkta argument för att testa precis så som ni gjorde om målet är att ha det trevligt.

[Svante]

Det är ju väldigt ofta det stora kruxet - att lyckas isolera just den parameter man vill undersöka. Vilket gäller i alla studier, undersökninger och tester.

Sant!

Hur kan du då referera till testet med ADDA? Där finns ju massa parametrar som inte överensstämmer med hur en dig fil/CD spelas upp i hemmet.

Hmm, nu är jag inte säker på vad du menar, men menar du lyssning på en FE-lyssning på en ADDA-kedja som man inte har lyckats detektera trots duktiga försök? Om syftet är att visa hur lite en sådan kedja påverkar ljudet har man ju lyckats.

Sen använder man inte en DAC på det sättet, typiskt. Men det gör liksom inget. Med testet har man undersökt DACen (tillsammans med en ADC) och inte lyckats detektera den. Det betyder förmodligen att DACen är rätt ok. Man har alltså isolerat DACen och undersökt den.

En sak till, parametrar/felkällor bör inte i första hand räknas, utan man bör bedöma hur stora de är. Man kan mycket väl ha tio felkällor som tillsammans är mindre än en stor. Det är förmodligen mycket mindre illa att koppla in tio olika sladdar i kedja (varför man nu skulle göra det) än att lyssna öppet. Typ.

[Harryup]

Sant!

Hur kan du då referera till testet med ADDA? Där finns ju massa parametrar som inte överensstämmer med hur en dig fil/CD spelas upp i hemmet.

Hmm, nu är jag inte säker på vad du menar, men menar du lyssning på en FE-lyssning på en ADDA-kedja som man inte har lyckats detektera trots duktiga försök? Om syftet är att visa hur lite en sådan kedja påverkar ljudet har man ju lyckats.

Sen använder man inte en DAC på det sättet, typiskt. Men det gör liksom inget. Med testet har man undersökt DACen (tillsammans med en ADC) och inte lyckats detektera den. Det betyder förmodligen att DACen är rätt ok. Man har alltså isolerat DACen och undersökt den.

En sak till, parametrar/felkällor bör inte i första hand räknas, utan man bör bedöma hur stora de är. Man kan mycket väl ha tio felkällor som tillsammans är mindre än en stor. Det är förmodligen mycket mindre illa att koppla in tio olika sladdar i kedja (varför man nu skulle göra det) än att lyssna öppet. Typ.

Och trots det så reagerar folk med ryggmärgen så fort som det pratas om digitala filter och då skall det varnas, trots att ingen har hört filtren ifrån och trots att ingen ens har testat olika filter mot varandra. Men det kan alltså finnas skäl till att tro att det mesta är ohörbart om det är vettigt gjorda AD/DA i filtren.

/Harryup

[Svante]

Hur kan du då referera till testet med ADDA? Där finns ju massa parametrar som inte överensstämmer med hur en dig fil/CD spelas upp i hemmet.

Hmm, nu är jag inte säker på vad du menar, men menar du lyssning på en FE-lyssning på en ADDA-kedja som man inte har lyckats detektera trots duktiga försök? Om syftet är att visa hur lite en sådan kedja påverkar ljudet har man ju lyckats.

Sen använder man inte en DAC på det sättet, typiskt. Men det gör liksom inget. Med testet har man undersökt DACen (tillsammans med en ADC) och inte lyckats detektera den. Det betyder förmodligen att DACen är rätt ok. Man har alltså isolerat DACen och undersökt den.

En sak till, parametrar/felkällor bör inte i första hand räknas, utan man bör bedöma hur stora de är. Man kan mycket väl ha tio felkällor som tillsammans är mindre än en stor. Det är förmodligen mycket mindre illa att koppla in tio olika sladdar i kedja (varför man nu skulle göra det) än att lyssna öppet. Typ.

Och trots det så reagerar folk med ryggmärgen så fort som det pratas om digitala filter och då skall det varnas, trots att ingen har hört filtren ifrån och trots att ingen ens har testat olika filter mot varandra. Men det kan alltså finnas skäl till att tro att det mesta är ohörbart om det är vettigt gjorda AD/DA i filtren.

/Harryup

Hmm, mer som jag inte är säker på om jag förstår. Jag menar alltså att om man efter idogt sökande inte lyckas höra en viss fin ADDA-kedja så har man dels hyfsat bevis på att DACen är ok, men även att digitalmediet är ok vid den samplingsfrekvensen. Andra ADDA-kedjor kan vara sämre och hörbara och min uppfattning är att det beror på digitalfiltren. Det att några sämre kedjor är hörbara innebär dock INTE att digitalmediet är dåligt, utan bara att det finns dåliga ADDA-kedjor.

Var det svar på frågan? Var det en fråga, förresten?

[Piotr]

Ja det där ser man ofta. Det var det jag ville belysa i min argumentation med sprudel i MQA-tråden nyligen.. det gick inte så bra. Jag var måhända mer raljerande.

Du var i hög grad kaxig, och dessutom hade du fel.

Med tanke på dina tjuvnyp och "roligheter" ser det lite löjligt ut att gnälla om att jag var kaxig. Om du inte vill ha pastan serverad al dente, be då inte om det.

Du får gärna berätta vad jag hade fel i. Säga att jag är kaxig och har fel utan att öht vidröra sakfrågan är inte konstruktivt.. det är snarare provocerande och trolligt.

Jag försökte med mitt inlägg ovan igen belysa problemet med ditt tidigare resonemang (vi är flera som ser problematiken nämligen), du hade nu chansen att ta till dig det och vara konstruktiv, men i stället trollar du på.

[shifts]

sadistisk signifikans

Om detta är medvetet eller omedvetet uttryckt spelar ingen roll, det är ändå lika roligt. Det är nog många som känner så.

[Laila]

Jag tror att det för länge sedan var som så att Svante av misstag skrev statistisk signifikans.
Numera är han jäligt mån om att inte upprepa sitt misstag . . . typ.