Vaddå vinnare? Ranking som bedömningsmetod.

[RogerGustavsson]

Tycker detta var en rätt slående kommentar!

Det är som man hör anläggningen när man lyssnar på den ensam (utan ett jämförelseobjekt) som man kommer att höra den (eller rättare sagt som man kommer att höra musiken genom den) under alla år framöver som man äger den, när man använder anläggningen helt normalt.

Ligger lite i linje med det där om "långtidslyssande". Att snabbt välja mellan två lyssningar kanske är bra vid F/E-lyssning där man vill veta just skillnaden men mindre lämpligt när det gäller högtalare?

[zartok]

Men det går väl inte objektivt att bestämma vilken metod somnär bäst för individen?

[AndreasArvidsson]

Men det går väl inte objektivt att bestämma vilken metod somnär bäst för individen?

Beror ju på vad som menas med "bäst".

Att kunna fastställa hur olika metoder påverkar en testgrupp människor och dess utfall går ju, men vad du personligen tycker är trevligast att använda är ju något helt annat.

[matså]

Tycker detta var en rätt slående kommentar!

Det är som man hör anläggningen när man lyssnar på den ensam (utan ett jämförelseobjekt) som man kommer att höra den (eller rättare sagt som man kommer att höra musiken genom den) under alla år framöver som man äger den, när man använder anläggningen helt normalt.

Ligger lite i linje med det där om "långtidslyssande". Att snabbt välja mellan två lyssningar kanske är bra vid F/E-lyssning där man vill veta just skillnaden men mindre lämpligt när det gäller högtalare?

Där kom det igen, ja de är inte lata av sig

[Martin]

Tycker detta var en rätt slående kommentar!

Det är som man hör anläggningen när man lyssnar på den ensam (utan ett jämförelseobjekt) som man kommer att höra den (eller rättare sagt som man kommer att höra musiken genom den) under alla år framöver som man äger den, när man använder anläggningen helt normalt.

Ligger lite i linje med det där om "långtidslyssande". Att snabbt välja mellan två lyssningar kanske är bra vid F/E-lyssning där man vill veta just skillnaden men mindre lämpligt när det gäller högtalare?

Men varför just högtalare?

Är det för att det mest demonstrerar hur dåliga högtalarna är, alltså fokuserar på bristerna hos respektive objekt när man byter?

I så fall är det ju en dålig metod om målet är att bestämma sig för att skaffa någon av högtalarna, men en bra metod om man bara vill undersöka vad som kan förbättras i dem. Jag bygger ju egna högtalare och köper inte färdiga. För mig så är målet alltså inte att avgöra om man kan leva med ett par färdiga utan hur man kan förbättra dem. Identifiera bristerna.

Jämförelsemetoden kanske är bra på att sälja högtalare om någon av högtalarna har väldigt lite brister?

[MichaelG]

Om någon annan tycker något annat, har jag överhuvudtaget inga problem med detta och finner ingen som helst anledning att göra mig lustig över det heller.

Hej! Läs igen vad du skrev igår eftermiddag.
Jag fick onekligen det intrycket
Du är inte den enda iof men du svarade på mitt inlägg...

När jag läser det jag skrivit i denna tråd (eller andra) ser jag inte att jag ger uttryck för att jag har problem med att det finns de som har andra erfarenheter, eller uppfattningar än jag. Jag ser inte heller att jag gjort mig lustig över dem som tycker annat än jag.

Däremot tycker jag det är spännande att samtala/diskutera/utbyta åsikter med människor som har andra erfarenheter och kunskaper än jag själv. För mig är det ett sätt att lära och utvecklas.

Om någon skriver något jag inte förstår, eller håller med om bryr jag mig oftast inte. Men när jag bryr mig så försöker jag ofta fråga hur personen menar eller beskriva hur jag ser på saken. Ofta fungerar detta bra. Man utbyter argument och erfarenheter, kommer till koncensus i vissa fall, blir förvirrad på en högre nivå i vissa fall och blir ense om att man är oense i vissa fall.

Däremot vet jag inte riktigt hur jag ska förhålla mig till när någon raljerar över det jag skriver, eller omtolkar de argument eller erfarenheter jag framför (alltså bemöter något annat än det jag skrivit). Förmodligen är det enklast att skita i vederbörande, men det är ju inte riktigt respektfullt tycker jag.

Hälsn. Michael

[DQ-20]

Har inte för avsikt att försöka dra igång en tråd som blivit låst, men däremot blev jag insprirerad att veva igång en käpphäst som jag känner att jag sällan får speciellt mycket respons på:

Tråden som jag faktiskt INTE har någon avsikt att återuppliva är den om IS och Ino.
(Ber om överseende ifall versaler och gemener är fel i varunamnen ovan.)

Vad jag däremot vill resonera (filosofera) kring är detta - för mig onödiga och därför intresanta - fokus på huruvida en pryl är bättre än en annan pryl.
Exempelvis ett antal olika högtalare:

Det jämförs detaljparametrar
Det ges "totalpoäng"
Man kanske ger olika parametrar olika vikt(ighet)
Det diskuteras kanske även hur viktigheten skall rankas?..
...Innan slutsatsen dras - och vinnaren utses.

Min enkla - och som jag upplever det ofta förbisedda - fundering är:
Var någon av kombattanterna överhuvudtaget BRA?

ÄR EN SAK BRA BARA FÖR ATT DEN ÄR BÄST?


Var kommer den personliga värderingen, det egna omdömet in i bilden?

Har jag missat något - som är så självklart att det sällan nämns kanske?

PS
Jag tycker inte att det finns anledning att applicera ovanstående funderingar på just IS eller Ino.
Det jag vill att vi funderar kring är om ABSOLUTVÄRDEN kommer i skymundan, i fokuset på ranking och positionering.

Bedömning via ranking är ganska väl utrett inom testmetodik. Vad man i "korthet" kan säga är:

1. Ranking mäter relationer mellan olika objekt när det är omöjligt eller opraktiskt att mäta absoluta nivåer. Ett relativt "bäst av" är alltså inte detsamma som "bra" i en absolut mening. Men "absolut" menar jag här en mätskala som har minst ett "ankarvärde".

2. Om man mäter flera olika aspekter och viktar ihop dem kommer slutresultatet att vara beroende på viktningen. I forskningssammanhang måste man ha en teoretiskt eller empiriskt motiverad viktning. Att lägga ihop de oviktade värdena till ett gemensamt sk. index är inget sätt att klara sig undan detta. Hur man än gör kommer det att ske en viktning. Ett sammanvägt värde måste också korrelera med andra mätskalor som mäter samma sak. Om vi skulle ta högtalare som exempel, bara så där på kul, så kanske vi rankar olika aspekter på "frekvensgång", "perspektivåtergivning" och "förmåga att försvinna i ljudbilden". Men om ett sammanvägt värde av dessa faktorer inte korrelera med "vilken högtalare föredrar du" så är det sammanvägda värdet meningslöst eftersom det inte korrelerar med någon meningsfull yttre storhet.

3. Inom forskning är man dock sällan intresserad av värdena i sig utan vad som påverkar värdena. Att en viss person är lång är inte särskilt intressant ur forskningens perspektiv utan snarare varför en viss person är lång. Detta talar i sig för att det är de relativa skillnaderna som är intressanta och inte nödvändigtvis de absoluta. Men ibland är även absolutvärdena intressanta förstås.

3. Ranking är en skala där skillnaderna mellan två skalsteg är odefinierade. När man kodar resultaten kan man alltså inte tänka att mätetalen har samma egenskaper som en tumstock där varje skalsteg är lika stort och där 20 centimeter är dubbelt så långt som 10 centimeter. Detta minskar de formella möjligheterna till att göra matematiska beräkningar på värdena från en rankning även om man ofta med gott resultat kan betrakta dem "som om" stegen mellan värden var lika stora. Detta gäller i synnerhet som man har skalor med många diskreta värden (tumregel: >10 olika värden).

4. Om man inte är intresserad av förklaringar utan främst av värden i sig (t.ex. "vilken högtalare är bäst") finns det skäl att använda ranking eftersom det efterliknar en valsituation för en konsument: vi har ett bestämt antal alternativ som vi inte kan påverka och vår uppgift är att göra ett optimalt val. Frågan är bara varför man skulle låta en formaliserad beslutsmodell med olika viktade faktorer ersätta en "klinisk" bedömning (typ: den här gillar jag mest).

Fast, det var väl ungefär vad du sa...

EDIT: Det är superviktigt att komma ihåg att om resultaten av en test skall vara användbara under andra förhållanden än de som rådde under testet så måste tillräcklig många parametrar vara gemensamma. När det gäller subjektiva uppfattningar som "vilken högtalare är bäst" så verkar det vanskligt. I den i övrigt olämpliga jämförelsen med vinprovning så är subjektiva omdömena svåra att tolka. Man får försöka sålla fram en person som har liknande preferenser som man själv och vars val man historiskt sätt vet sammanfaller med ens egna.

/DQ-20

[zapanasta]

Lyssna på högtalare på olika ställen och sen försöka bedömma vilket par man tyckte bäst om är ju en sak..(Inga konstigheter)

Men vilket av paren låter bäst hemma hos dig om man ämnar köpa nåt av paren?Då blir det konstigheter,för vilket av rummen var bäst när du lyssnade på paren och hur låter dom du tyckte lät bäst hemma hos dig?

För här på faktiskt.se kan det bli ett jä ståhej om nån häver ur sig nåt negativt om nån specifik modell,det blir gärna prat om dåliga lyssningsrum osv osv att det var därför dom lät dåligt osv.

Men ibland går det tydligen alldeles utmärkt att lyssna på olika ställen,lite dubbelmoral tycker jag..

Ska man kunna bedömma vilken modell som låter bäst ska dom testas i samma rum med samma elekronik,givetvis ett bra rum acustiskt sett då.

Både en och en och a+b,rättvisare än så här kan det väl inte bli eller

[Objektivisten]

Låter högtalaren dåligt hemma får man bygga om eller flytta.

[MichaelG]

Låter högtalaren dåligt hemma får man bygga om eller flytta.

Jag valde att flytta och det hjälpte faktiskt. Dessutom fick vi större hus, vacker utsikt och massa annat på köpet! Jag kan verkligen rekommendera en flytt om högtalarna låter dåligt. (Enda nackdelen är att familjen ibland klagar över den långa backen. Eftersom jag kör familjens bil, tycker jag dock inte att det är något särskilt stort problem.)

[KarlXII]

.

Varför är detta överhuvudtaget ett problem för dig?


Vh, iö

Problem? För mig?
Var har du fått det ifrån?

[Harryup]

.

Varför är detta överhuvudtaget ett problem för dig?


Vh, iö

Problem? För mig?
Var har du fått det ifrån?

Är man så gammal så duger väl vad fasen som helst.
Hur mycket diskant hör man efter 300 år?

mvh/Harryup

[matså]

Låter högtalaren dåligt hemma får man bygga om eller flytta.

Jag valde att flytta och det hjälpte faktiskt. Dessutom fick vi större hus, vacker utsikt och massa annat på köpet! Jag kan verkligen rekommendera en flytt om högtalarna låter dåligt. (Enda nackdelen är att familjen ibland klagar över den långa backen. Eftersom jag kör familjens bil, tycker jag dock inte att det är något särskilt stort problem.)

nja men är det en högtalare som inte är av ett visst märke så säger de genast oh så kass den är, de säger inte att om de haft den i ett annat rum så hade det låtit kanske bättre.

[MichaelG]

nja men är det en högtalare som inte är av ett visst märke så säger de genast oh så kass den är, de säger inte att om de haft den i ett annat rum så hade det låtit kanske bättre.

Nu skojar du nog till det igen. Jag tror att under mina år på Faktiskt har jag ALDRIG stött på någon som sågat en högtalare för att den inte är av ett visst fabrikat.

Det motsatta har jag dock sett - att en högtalare sågas för att den är av ett visst fabrikat.

[zapanasta]

Är det ingen som tycker som jag att det finns fällor även med att lyssna på högtalare på olika ställen? (Precis som med a+b testandes)

Betänk att man är intresserad av 2 olika par som står i olika rum,man lyssnar på dom och bestämmer sig för ena paret..

Men det kan ju hända att andra paret egentligen var bättre,men stod i ett mkt sämre rum

Skulle jag få för mig att byta högtalare,så skulle jag inte köpa ett par om jag inte fick lyssna på dom i mitt eget rum där dom ska stå först eller ta med mig mina och lyssna på båda paren i det rum dom jag är intresserad av står..

Menmen,det är jag det,har andra metoder som passar bättre så är väl det jättebra

[zartok]

Men det går väl inte objektivt att bestämma vilken metod somnär bäst för individen?

Beror ju på vad som menas med "bäst".

Att kunna fastställa hur olika metoder påverkar en testgrupp människor och dess utfall går ju, men vad du personligen tycker är trevligast att använda är ju något helt annat.

Ja, det är det jag menar. Vad är bäst för individen måste ju vara upp till individen själv då vi alla har lite olika preferenser och referenser i olika frågor. Herr öhman har ju ett väldigt bra argument i att man ska vara iintryckstom eftersom det inte färgar individens åsikt om högtalaren, liksom att man påbörjar ett minnestest med tomt arbetsminme. På så sätt får man ju det renaste och minst färgade resultatet.

Men om det är rätt sätt för alla individer är ju snarare en smaksak tänker jag. Jag hör gärna olika saker för att jämföra även fast jag vet att jämförelsen blir färgad av det som varit innan. Men när jag gör denna jämförelse så kan jag å andra sidan veta säkert vilken jag föredrar eftersom jag inte behöver förnimma mig om hur en viss högtalare lät då vårt ljudminne (och rätta mig om jag har fel) är tämligen dåligt i jämflrelse med ex vårt semantiska minne.

[IngOehman]

-Hur lät högtalarna?
- Åh, de lät ljuvligt, helt fantastiskt!

Två veckor senare:
-Hur lät de andra högtalarna?
- Åh, de lät ljuvligt, helt fantastiskt!
-Aha, vad roligt. Vilka av dem ska du köpa?

Varför är detta överhuvudtaget ett problem för dig?


Vh, iö

Problem? För mig?
Var har du fått det ifrån?

Du frågade vilken man skulle välja. Ingen annan är du frågade.

Och jag undrar därför - varför är det valet ett problem för dig,
givet de primisser du själv satta upp, således att du måste fråga
vilken man skall välja?

Och framför allt - det är ju ett hypotetiskt exempel du kom
med, där ingen annan än du kan veta något annat än det du
berättade om. Så DU är den enda som kan veta mera, och DU
är den andra som känner dina preferenser med avseende på
allt det som du inte inkluderade i frågeställningen, så varför
frågar du?

Det du skriver (med avsikt måste jag förmoda) är ju två saker
som du presenterar på exakt samma sätt.

Ett sådant val borde vara väldigt oproblematiskt för den som
ställs inför det - om båda alternativen låter "underbart bra"
i dina öron (eller hur du nu formulerade dig) så går det väl
bra att välja vilken som, för dig. Det vill säga du får väl göra
ditt val baserat på några andra egenskaper, som ingen kan
veta eftersom du inte berättat om några andra egenskaper!

Så igen - vad är problemet (som du med din fråga vill ha hjälp
med)?


Vh, iö

[phloam]

.

Varför är detta överhuvudtaget ett problem för dig?


Vh, iö

Problem? För mig?
Var har du fått det ifrån?

Don't go there......

[MichaelG]

Är det ingen som tycker som jag att det finns fällor även med att lyssna på högtalare på olika ställen? (Precis som med a+b testandes)

Jo absolut. "Fällan" är ju att bara för att de låter bra (eller dåligt) där de står just nu, så vet jag ju inte med säkerhet hur de kommer att prestera hemma. Dock - ett par högtalare som låter bra i ett sammanhang ger mig ändå den informationen att de kan låta bra. Och beroende på rummets akustiska egenskaper och högtalarnas uppställning, kan jag kanske dra vissa slutsatser om hur det kan funka hemma. Det är värre med ett par högtalare som låter dåligt. Jag har varit med om högtalare som presterat förfärligt i fel sammanhang, men låtit riktigt bra i ett annat.

Hälsn. Michael

[matså]

nja men är det en högtalare som inte är av ett visst märke så säger de genast oh så kass den är, de säger inte att om de haft den i ett annat rum så hade det låtit kanske bättre.

Nu skojar du nog till det igen. Jag tror att under mina år på Faktiskt har jag ALDRIG stött på någon som sågat en högtalare för att den inte är av ett visst fabrikat.

Det motsatta har jag dock sett - att en högtalare sågas för att den är av ett visst fabrikat.

ha ha Micke är du ståupp komiker?

Vi tar ett märke som kostar 500 000 kr mässrummet är kasst o då låter det tyvärr kasst. Vissa galer jävla skit! Men skulle ett heligt märke som hyllas här så skulle sägas, ja det lät för jävligt men det beror på rummet inte högtalarn.

[_Fredrik_]

Jag försöker hålla mig till testvinnare, blir nästan alltid bra ljud då. Det finns ju hifitidningar som hjälper konsumenten att sålla bort testförlorare, vilket gör hela processen avsevärt lättare! Dessutom tror jag de som bedömer högtalare i tex Hifi & Musik har extremt bra koll på det, dom jobbar ju trots allt med det. Ibland köper jag hifitidningar trots att jag inte ska köpa högtalare, mest för en stunds avkoppling och mys i soffan med en god kopp te.

[sportbilsentusiasten]

Som jag ser det som är A-B alltid en jämförelse, A relativt B. Inget annat, inget "test", ingen rangordning eller utvärdering. Man kan använda informationen från en jämförelse till sådant så länge man är medveten om/tydlig med att informationen är relativ.

En utvärdering kan omfatta att man testar vissa parametrar m h a A-B-jämförelse. Jämförelsen skapar en bild av skillnaderna - men detta behöver ju inte innebära att man "testar" nåt speciellt(absolut), om man säger så...! (t.ex. vilken som har mest bas under 100Hz o dyl)

A-B är i sig alltid relativt - men sen kan man använda detta i ett "absolut" test

Förstår inte hur du tänker nu.
Förklara mer.

två exempel där A/B är allt annat än relativt, A/B där A = verkligheten B = inspelning av verkligheten.

A/B mäts med något. Voltmeter, PCprogram etc

[Svante]

Jag anar två intressanta frågor i den här tråden, dels vilket som är intressantast av det relativa respektive absoluta, dels hur det relativa kan färga av sig på uppfattningen om det absoluta.

En relativ jämförelse är ofta intressant, men man ska ha klart för sig att den är just relativ. Jag har gjort studier som visar att man blir duktigare att ordna lyssningsupplevelser på en ordinalskala om man får hjälp med att välja rätt jämförelser, jämfört med om man bedömer varje stimulus separat.

Men. Om det kommer in en bedömning av "bäst" i experimentet så är risken överhängande att vad man tycker är bäst färgar av sig mellan stimuli. Att lyssna på något tonkurverakt strax efter att ha lyssnat på något diskanthöjt är klassikern, det tonkurveraka låter diskantsänkt.

Så man kan visst göra relativa lyssningstest, men man ska ha klart för sig att de är just relativa. Den ena kan ha mer diskant än den andra, men det är ytterst svårt att veta vilken som är tonkurverakt. Ska relativa test användas för absolut utvärdering då behöver man referenser, ankarstimuli, som man vet vad de har för egenskaper. Gör man så så får man det relativa testets noggrannhet, med det absoluta testets absolutism .

Sen kan det vara väldigt svårt att hitta relevanta ankarstimuli.

Bra där Svante!
Bra att någon han höja blicken och inse att BÄGGE sätten att jämföra har sin plats.
Tyckte det i vanlig ordning var en ensidig debatt, och ville med mitt första inlägg i tråden påtala det.
Bra att du förstod och dessutom utvecklade resonemanget.

MEN, jag vill yterligare lyfta frågan och påstå att tråden blandar ihop TESTFÖRFARANDE med hur man UTVÄRDERAR.
Även det du skriver drar åt det hållet...då man får intrycket att det du menar med relativ utvärdering är A/B-test.

Tex en A/B-test kan anser jag både vara relativ och absolut - beroende på vald.UTVÄRDERINGSMETOD

Så att dissa A/Btest pga fel utvärderingsmetod känns inte klockrent...

Nja, ett relativt test kan förstås vara ett A/B-test, men här avsåg jag faktiskt en metod med flera stimuli. Ett A/B/C/D/E/F...-test kanske man kan kalla det . Det gick ut på att man gav varje stimulus en ikon på skärmen och så fick man rangordna dem efter någon valfri parameterskala. Man blev jekligt duktig på att sortera dem i rätt ordning, mycket bättre än om man bedömde dem var för sig. De relevanta jämförelserna uppstod liksom av sig själva när man lade ikonerna i ordning.

Men som sagt, ett test är ett test och det säger vad det säger. Det finns alltså ingen anledning att såga vare sig relativa eller absoluta tester, men båda kan vara fel val för ett visst syfte.

[Conan]

Ni som gillar att jämföra och rangordna: om ni ser en kvinna på stan, måste ni då jämföra henne med en bild föreställande en annan kvinna för att kunna göra bedömningen av om hon ser bra ut eller inte?

[Svante]

Eller har du verkligen gjort uppföljningsstudier som visar att den rangordning
man gjorde verkligen var rätt, i betydelsen relevant för det långa lyssnings-
perspektivet?

Det behövs inte om man har facit.

Alla tester handlar inte om upplevd ljudkvalitet. Här handlade det om mängd högfrekvens i en signal (jag har för mig att det var en syntetisk röst).

[Svante]

Tycker detta var en rätt slående kommentar!

Det är som man hör anläggningen när man lyssnar på den ensam (utan ett jämförelseobjekt) som man kommer att höra den (eller rättare sagt som man kommer att höra musiken genom den) under alla år framöver som man äger den, när man använder anläggningen helt normalt.

Ligger lite i linje med det där om "långtidslyssande". Att snabbt välja mellan två lyssningar kanske är bra vid F/E-lyssning där man vill veta just skillnaden men mindre lämpligt när det gäller högtalare?

Snabba växlingar är bra för att detektera små skillnader. Lång lyssning till endast ett system kan ha åtminstone två konsekvenser; dels kan man "upptäcka" fel som man inte märkte först, sen finns en grad av tillvänjning också, att man blir blind för felen med tiden. Det senare är nog nära förknippat med begreppet "inspelning". Jag har upplevt båda fenomenen många gånger.

[Svante]

Men det går väl inte objektivt att bestämma vilken metod somnär bäst för individen?

Nej, men kanske för syftet.

Innan man vet vad syftet är, klart och tydligt formulerat så kan man inte veta vilken testmetod man ska använda.

[Objektivisten]

Ni som gillar att jämföra och rangordna: om ni ser en kvinna på stan, måste ni då jämföra henne med en bild föreställande en annan kvinna för att kunna göra bedömningen av om hon ser bra ut eller inte?

Sitter man isolerad med en kvinna 'på landet' så har hon en tendens att bli attraktivare än hon är i stan. Kanske samma sak med hifi?

[Svante]

-Hur lät högtalarna?
- Åh, de lät ljuvligt, helt fantastiskt!

Två veckor senare:
-Hur lät de andra högtalarna?
- Åh, de lät ljuvligt, helt fantastiskt!
-Aha, vad roligt. Vilka av dem ska du köpa?

Varför är detta överhuvudtaget ett problem för dig?


Vh, iö

Problem? För mig?
Var har du fått det ifrån?

Du frågade vilken man skulle välja. Ingen annan är du frågade.

KXII beskriver en dialog, vilket väl gör att det måste vara minst en person till inblandad?

[sprudel]

Nja, ett relativt test kan förstås vara ett A/B-test, men här avsåg jag faktiskt en metod med flera stimuli. Ett A/B/C/D/E/F...-test kanske man kan kalla det
Men som sagt, ett test är ett test och det säger vad det säger. Det finns alltså ingen anledning att såga vare sig relativa eller absoluta tester, men båda kan vara fel val för ett visst syfte.

Vi gjorde ett himla trevligt test i Oban, Skottlands västkust för den oinsatte om det finns någon här. I en hotellbar som hade hyfsat med whisky bestämde vi oss för att rangordna dem från minst rökigast till mest.
Bartendern sprang till slut, njae ramlade för vi bjöd honom då och då, ner i källaren för att hämta fler flaskor då vi gått igenom de i hyllorna presenterade. Vi har bestämt oss för att åka till Dunstaffnage Marine Laboratory igen för vi har ingen aning om resultatet, ingen av oss, men det var ett väldigt lyckat test. 1pund per glas var priset, det kommer jag ihåg.