Blindtesters tillförlitlighet...

av **pinnen** » 2014-02-03 16:09

IngOehman skrev:

Själv har jag
användt den mycket längre än så, typ 40 år (eller det är nog mer, tiden
går...).

Mäktigt. Du tänkte ut och jobbade med dessa saker som 8-12 åring??

En annan var mest ute och skitade ner sig på fotbollsplaner eller byggde kojor i skogen vid den åldern

av **Thomas_A** » 2014-02-03 16:23

Om ett fynd ska bekräftas av andra så måste experimentet upprepas, vilket kräver dokumentation om hur det gått till. Saknas dokumentation, "materials and methods" så blir det alltid en svårighet eftersom både material och metoder alltid bör vara så lika som det bara går.

Ta exemplet JND för infraområdet. Finns det en konsensus av oberoende tester som visar entydigt samma sak? Om inte så blir den enkilda rapporten en fallrapport snarare än en vedertagen gränsnivå. Enskilda (fall)rapporter är alltid svagare rent vetenskapligt jämfört med resultat som bekräftats av oberoende källor.

av **DQ-20** » 2014-02-03 17:03

Thomas_A skrev:Om ett fynd ska bekräftas av andra så måste experimentet upprepas, vilket kräver dokumentation om hur det gått till. Saknas dokumentation, "materials and methods" så blir det alltid en svårighet eftersom både material och metoder alltid bör vara så lika som det bara går.

Ta exemplet JND för infraområdet. Finns det en konsensus av oberoende tester som visar entydigt samma sak? Om inte så blir den enkilda rapporten en fallrapport snarare än en vedertagen gränsnivå. Enskilda (fall)rapporter är alltid svagare rent vetenskapligt jämfört med resultat som bekräftats av oberoende källor.

Ja. Replikation är en av grundstenarna inom forskningen. Det är därför det är så viktigt med en tydligt metodbeskrivning, precis som du skriver. Det andra skälet till en tydlig metodbeskrivning är tilltro till den enskilda studien. Genom att noggrant beskriva hur studien gått till gör man läsaren till ett "virtuellt vittne".

/DQ-20

av **Morello** » 2014-02-03 17:10

Varför skriver ni JND då man kan skriva göra sig förstådd genom att skriva hörtröskeln?
:roll:

av **PerStromgren** » 2014-02-03 17:10

Jag personligen håller också falsifieringen högt i dessa sammanhang. En tes eller teori som inte går att falsifiera är inte något värd. Den som hävdar en tes behöver alltså också berätta vilket experimentresultat som skulle visa att hon har fel. Ofta är det rätt uppenbart, men inte alltid!

av **PerStromgren** » 2014-02-03 17:12

Morello skrev:Varför skriver ni JND då man kan skriva göra sig förstådd genom att skriva hörtröskeln?

Brukar man inte med hörtröskel mena ljudtrycksnivå? Jag har aldrig sett det användas på annat sätt.

av **Laila** » 2014-02-03 17:14

Morello skrev:Varför skriver ni JND då man kan skriva göra sig förstådd genom att skriva hörtröskeln?

Kan man ju enkelt räkna ut med hjälp av en räknedosa . . . typ. :wink:

av **Laila** » 2014-02-03 17:17

PerStromgren skrev:
Morello skrev:Varför skriver ni JND då man kan skriva göra sig förstådd genom att skriva hörtröskeln?

Brukar man inte med hörtröskel mena ljudtrycksnivå? Jag har aldrig sett det användas på annat sätt.

Morello kanske menar detektionströskeln . . . typ ?

av **Thomas_A** » 2014-02-03 17:26

Morello skrev:Varför skriver ni JND då man kan skriva göra sig förstådd genom att skriva hörtröskeln?

Jag uppfattar hörtröskel som nivå då ljudet blir hörbart vid given frekvens. Det kanske också innefattar "precis noterbar skillnad" mellan två nivåer av samma frekvens, men det är inte vad jag förstått. Har aldrig sett någon svensk översättning av JND.

*Dessutom är JND vidare i bemärkelsen att det inte behöver vara hörseln som noterar skillnaden.

av **DQ-20** » 2014-02-03 17:36

IngOehman skrev:Jag menar dock att det är bäst att vila mot vetenskapsprinciperna.

Problemet är att det blir ett cirkelbevis. Vetenskapliga principer är sociala konstruktioner som får effekt först när ett större antal människor betraktar dem som sanna. I den mån det finns universella principer så beror det på att de har fått universellt stöd från människor. Vetenskapens historia handlar inte om upptäckter av sedan länge dolda naturlagsliknande principer utan om en dialog om vad som är möjligt att veta och hur man kan nå kunskap om detta. Rationalitet som en ledande princip för mänsklig verksamhet är ganska ny och det har varit en kamp och är det fortfarande.

IngOehman skrev:Och jag tycker det är bra att minnas att dessa inte är synonyma med akademisk praxis för vad kräver för att se något som vetenskapligt arbete.

Det beror på vad man menar med praxis. Praktik skall ju t.ex. inte blandas samman med praxis. Min erfarenhet är för övrigt att forskare sällan talar om vetenskap utan om just forskning, där det senare begreppet anger arbete för vidgning av den gemensamma kunskapsfronten.

IngOehman skrev:T ex kan man bestämma att saker är vetenskapliga om de granskats, men om de innehåller otilllåtet dragna slutsatser så ifrågasätter jag ju benämningen vetenskaplig, oavsett.

Hur ser du på sådant?

Jag ser det som så att något annat sätt är inte möjligt. NÅGON måste fälla ett omdöme om vad som är "tillåtet" och dessa omdömen ibland kan strida mot gällande konventioner om vad som är acceptabelt (se hur jag skyr ordet "rätt" som pesten). Det är ju mänskligt att fela. Inom den akademiska/högskole/universitet/fria forskningen granskar man varandras arbeten. Det handlar ABSOLUT inte om auktoritetstro som du varit inne på tidigare. Begreppet som används är "blind peer review", dvs. granskning av likar. De som granskar är de som gruppen forskar själva tycker är dugliga och omdömesgilla, har specialkunskaper inom ett visst ämne och har visat sig kapabla genom att själva kunna tillämpa vetenskapliga metoder på viktiga (nåja) problem. De bästa forskarna är ofta ovanligt ödmjuka inför en granskning. Det faktum att de är legender inom sitt område får dem inte att idiotförklara sin anonyme granskare utan de svarar efter bästa förmåga på den kritik de får och skickar in för en ny granskning. Utan dialog och ömsesidig granskning - inget vetenskapligt projekt.

Mycket (mest?) forskning drivs utanför den akademiska världen. Men de synsätt som tillämpas har traderats från akademin genom utbildning därtill tillhörande indoktrinering. Universiteten är bärare och förvaltare av de synsätt som kallas vetenskapliga, dels genom sitt utbildningsmonopol, dels genom att det främst är där som den öppna dialogen förs.

/DQ-20

av **Nattlorden** » 2014-02-03 17:37

DQ-20 skrev:Ja. Replikation är en av grundstenarna inom forskningen. Det är därför det är så viktigt med en tydligt metodbeskrivning, precis som du skriver. Det andra skälet till en tydlig metodbeskrivning är tilltro till den enskilda studien. Genom att noggrant beskriva hur studien gått till gör man läsaren till ett "virtuellt vittne".

Där får man väl anse att MoLT lyckas väldigt väl jämfört med andra tidningar; på gränsen till att vara tjatiga i överdrift om man läst några av deras tester innan...

av **DQ-20** » 2014-02-03 17:40

Morello skrev:Varför skriver ni JND då man kan skriva göra sig förstådd genom att skriva hörtröskeln?

JND är kortare? Hörtröskel leder i alla fall mig att tänka på hörselkontroller, dvs den absoluta hörtröskeln vid olika frekvenser. Det känns helt enkelt inte som "minsta hörbara skillnad" är synonymt med hörtröskel. Men vad vet jag?

/DQ-20

av **DQ-20** » 2014-02-03 17:44

Nattlorden skrev:
DQ-20 skrev:Ja. Replikation är en av grundstenarna inom forskningen. Det är därför det är så viktigt med en tydligt metodbeskrivning, precis som du skriver. Det andra skälet till en tydlig metodbeskrivning är tilltro till den enskilda studien. Genom att noggrant beskriva hur studien gått till gör man läsaren till ett "virtuellt vittne".

Där får man väl anse att MoLT lyckas väldigt väl jämfört med andra tidningar; på gränsen till att vara tjatiga i överdrift om man läst några av deras tester innan...

Nej, vi talade om försök av replikation av studiens resultat, dvs. att flera "forskargrupper" testar samma sak. Exempel: MoLt misslyckas med att detektera en apparat i F/E-lyssning och så gör Stereophile om studien på liknande sätt och lyckas detektera den.

Vad ska man då tro?

/DQ-20

av **DQ-20** » 2014-02-03 18:02

hevi skrev:Man bör också skilja på "vetenskap" och "vetenskapliga metoder".

Visst är det olika begrepp men jag vet inte om det är lönt att skilja dem åt. Vetenskapen (forskningen) definieras ju till stor del av sin praktik, dvs. sina metoder. Om man vill veta vad vetenskapen (forskningen) ÄR i sinnevärlden måste man ju studera den vetenskapligt. Vad övrigt är, är metafysik.

/DQ-20

av **Naqref** » 2014-02-03 18:42

Thomas_A skrev:
Morello skrev:Varför skriver ni JND då man kan skriva göra sig förstådd genom att skriva hörtröskeln?

Jag uppfattar hörtröskel som nivå då ljudet blir hörbart vid given frekvens. Det kanske också innefattar "precis noterbar skillnad" mellan två nivåer av samma frekvens, men det är inte vad jag förstått. Har aldrig sett någon svensk översättning av JND.

*Dessutom är JND vidare i bemärkelsen att det inte behöver vara hörseln som noterar skillnaden.

JND inbegriper mer än nivå. Vid vilken fördröjning av ett ljud kommer detta bli hörbart? Kanske inte bara som en tokurve- eller nivåförändring men som en positionsförflyttning i rummet? För att ta ett exempel.

av **Laila** » 2014-02-03 18:45

DQ-20 skrev:.... Exempel: MoLt misslyckas med att detektera en apparat i F/E-lyssning och så gör Stereophile om studien på liknande sätt och lyckas detektera den. Vad ska man då tro?
/DQ-20

Att MoLts tekniksektion består av ett gäng odugliga charlataner alt. hade knäck i öronen
under lyssningen . . . typ

?

av **Objektivisten** » 2014-02-03 19:00

Laila skrev:
DQ-20 skrev:.... Exempel: MoLt misslyckas med att detektera en apparat i F/E-lyssning och så gör Stereophile om studien på liknande sätt och lyckas detektera den. Vad ska man då tro?
/DQ-20

Att MoLts tekniksektion består av ett gäng odugliga charlataner alt. hade knäck i öronen
under lyssningen . . . typ ?

Det här är ju inte ett helt osannolikt scenarium, och det skulle ju vara förödande för trovärdigheten i metoden.

av **paa** » 2014-02-03 19:14

Objektivisten skrev:
Laila skrev:
DQ-20 skrev:.... Exempel: MoLt misslyckas med att detektera en apparat i F/E-lyssning och så gör Stereophile om studien på liknande sätt och lyckas detektera den. Vad ska man då tro?
/DQ-20

Att MoLts tekniksektion består av ett gäng odugliga charlataner alt. hade knäck i öronen
under lyssningen . . . typ ?

Det här är ju inte ett helt osannolikt scenarium, och det skulle ju vara förödande för trovärdigheten i metoden.

Ja så är det nog. Eller så inte.
Vem vet innan Stereophile byggt färdigt sin F/E-rigg?

av **petersteindl** » 2014-02-03 19:21

Inom psykofysiken använder man uttrycket JND som betyder Just-Noticable Difference. JND=Skillnaden mellan två stimuli som under ordentligt kontrollerade experimentella förhållanden upptäcks lika ofta som det inte upptäcks. JND är således att betraktas som ett statistiskt värde.

Ett annat uttryck för tröskelvärden är Difference Limen.

Limen är tröskelvärde för ett upplevt stimuli och difference är skillnaden. Det blir då tröskelvärdet för skillnaden mellan två närliggande stimuli.

Dessa tröskelvärden kan mätas på flera olika sätt. Man kan ha ett referensstimuli och stega sig mot detta referensstimuli som är still. Man kan också ha två identiska stimuli och stega det ena stimulit från referensen som är still. Dessa två olika försöksuppställningar ger två helt skilda resultat.

Ytterligare skillnader i resultat fås beroende på hur försöksledaren väljer att göra försöken T.ex. när subjekten skall svara. Svar kan ges då subjektet tror sig höra skillnad eller tro sig inte längre höra skillnad beroende på om man stegar från eller mot referensen. Men svar kan också ges då subjektet hör tydlig skillnad eller då den tydliga skillnaden upphör.

Testet kan varieras ytterligare med olika resultat som följd.

Konsekvensen blir också att om olika testresultat skall jämföras så måste man veta exakt hur testet är genomfört och villka villkor som gäller för försökspersonerna då de skall rapportera.

Det är helt essentiellt att försöken dokumenteras så noggrannt som möjligt om resultaten skall anses ha relevans.

Mvh
Peter

av **petersteindl** » 2014-02-03 19:25

Naqref skrev:
Thomas_A skrev:
Morello skrev:Varför skriver ni JND då man kan skriva göra sig förstådd genom att skriva hörtröskeln?

Jag uppfattar hörtröskel som nivå då ljudet blir hörbart vid given frekvens. Det kanske också innefattar "precis noterbar skillnad" mellan två nivåer av samma frekvens, men det är inte vad jag förstått. Har aldrig sett någon svensk översättning av JND.

*Dessutom är JND vidare i bemärkelsen att det inte behöver vara hörseln som noterar skillnaden.

JND inbegriper mer än nivå. Vid vilken fördröjning av ett ljud kommer detta bli hörbart? Kanske inte bara som en tokurve- eller nivåförändring men som en positionsförflyttning i rummet? För att ta ett exempel.

JND kan även vara frekvens. 1 000 Hz kontra 1 001 Hz t.ex. För frekvensdifferenser blir det däremot svårt att göra tester på eftersom man måste kunna utesluta svävningar då frekvenserna närmar sig varandra.

Mvh
Peter

av **Svante** » 2014-02-03 19:27

Jag är nog ganska färgad av akademin i min ryggmärgskänsla för vad vetenskap är, och menar nog att akademins förfaringssätt är en garanti för att arbetet som utförs är vetenskapligt. Nu är det ju så med alla garantier att det kan bli fel ändå, men om man klagar med en god motivering så rättas felen till.

Precis som hos elgiganten alltså.

Det är väl lite det som är grundbulten i vetenskapligt arbete att man exponerar sina metoder så att andra kan granska dem, och för vetenskapliga publikationer har man en väl utvecklad apparat med peer review som ska stå för den där garantin.

Man kan argumentera för att "medlemskap" i akademin inte alls är något krav för att bedriva vetenskapligt arbete, och så är det nog. Men ofta brister sådant vetenskapligt arbete just i dokumentationen och redovisningen av metoder. Det betyder inte att man inte kommer fram till bra resultat, men de blir svårgranskade. Och är de svårgranskade är det svårt att veta om resultaten är bra.

Akademin skolar ju sina elever ganska hårt i just vetenskaplig metodik, så det är inte så konstigt om det är lite bättre ställt med den där.

Därmed inte sagt att all akademisk forskning är bra, men det går åtminstone att granska den eftersom arbetet som regel är väl beskrivet.

Jag skulle tex inte kalla mina publikationer i MoLt för vetenskapliga publikationer, trots att de ofta innehåller material på en nivå över civilingenjörens. Anledningen till det är att MoLt inte har någon peer-reviewprocess. Populärvetenskapliga publikationer skulle jag nog kalla dem dock.

av **Svante** » 2014-02-03 19:36

pinnen skrev:IngOehman skrev:
Själv har jag
användt den mycket längre än så, typ 40 år (eller det är nog mer, tiden
går...).

Mäktigt. Du tänkte ut och jobbade med dessa saker som 8-12 åring??

En annan var mest ute och skitade ner sig på fotbollsplaner eller byggde kojor i skogen vid den åldern

Ja, ibland har nog den där matematiken slutat med 4 år, har jag för mig. Alltså, jag tror* att det där är en efterhandskonstruktion. Den drabbar oss alla i olika grad. Jag trodde tex länge att jag begrep diffekvationer när jag var 17. Så här i efterhand har jag begripit hur lite jag egentligen begrep av dem då, men det var första gången jag kom i kontakt med dem. Med tiden så kändes det som jag lärde mig allt jag kunde om diffekvationer just då, men i verkligheten byggde jag på min kunskap hela tiden.

Det där gick upp för mig bara för några år sedan. Minnet av gamla händelser är inte alltid så bra.

*Jag kan förstås inte annat än tro, jag var ju inte med, men det är alldeles sant att jag tror det. Och man ska väl inte skiva något annat än det som är sant?

av **Svante** » 2014-02-03 19:40

Morello skrev:Varför skriver ni JND då man kan skriva göra sig förstådd genom att skriva hörtröskeln?

JND betyder inte hörtröskeln. Hörtröskeln är det svagaste ljud man kan höra. JND betyder "just noticeable difference" och kan vara många olika saker, det kan tex vara minsta hörbara frekvensändring och då mäts den i Hz eller cent.

av **Svante** » 2014-02-03 19:47

DQ-20 skrev:.... Det handlar ABSOLUT inte om auktoritetstro som du varit inne på tidigare. Begreppet som används är "blind peer review", dvs. granskning av likar. De som granskar är de som gruppen forskar själva tycker är dugliga och omdömesgilla, har specialkunskaper inom ett visst ämne och har visat sig kapabla genom att själva kunna tillämpa vetenskapliga metoder på viktiga (nåja) problem. De bästa forskarna är ofta ovanligt ödmjuka inför en granskning. Det faktum att de är legender inom sitt område får dem inte att idiotförklara sin anonyme granskare utan de svarar efter bästa förmåga på den kritik de får och skickar in för en ny granskning. Utan dialog och ömsesidig granskning - inget vetenskapligt projekt.

Mycket (mest?) forskning drivs utanför den akademiska världen. Men de synsätt som tillämpas har traderats från akademin genom utbildning därtill tillhörande indoktrinering. Universiteten är bärare och förvaltare av de synsätt som kallas vetenskapliga, dels genom sitt utbildningsmonopol, dels genom att det främst är där som den öppna dialogen förs.

Faen vad vacker skrivet DQ, man blir ju nästan tårögd.

Just det där med att de största namnen ofta är väldigt ödmjuka kändes väldigt ... acceptabelt.

av **Svante** » 2014-02-03 19:50

Jag har fö varit med och gjort en vetenskaplig studie i JND för tempodrift. Fast reviewerna gillade den inte så den är faktiskt inte publicerad ännu, 10 år efter att den gjordes. Eller, den hamnade i en doktorsavhandling, men det räknas nog faktiskt inte.

av **Svante** » 2014-02-03 19:51

av **Thomas_A** » 2014-02-03 21:16

Naqref skrev:
Thomas_A skrev:
Morello skrev:Varför skriver ni JND då man kan skriva göra sig förstådd genom att skriva hörtröskeln?

Jag uppfattar hörtröskel som nivå då ljudet blir hörbart vid given frekvens. Det kanske också innefattar "precis noterbar skillnad" mellan två nivåer av samma frekvens, men det är inte vad jag förstått. Har aldrig sett någon svensk översättning av JND.

*Dessutom är JND vidare i bemärkelsen att det inte behöver vara hörseln som noterar skillnaden.

JND inbegriper mer än nivå. Vid vilken fördröjning av ett ljud kommer detta bli hörbart? Kanske inte bara som en tokurve- eller nivåförändring men som en positionsförflyttning i rummet? För att ta ett exempel.

Håller med och handlar bara om "precis noterbar skillnad" oavsett vad det handlar om. Jag jämförde det dock ovan med hörtröskel och dB.

av **Svante** » 2014-02-03 21:36

Thomas_A skrev:"precis noterbar skillnad"

"Precis märkbar skillnad" vore nog en bättre översättning, kanske?

av **PerStromgren** » 2014-02-03 21:44

Svante skrev:
Thomas_A skrev:"precis noterbar skillnad"

"Precis märkbar skillnad" vore nog en bättre översättning, kanske?

Jag också! "Minsta märkbara skillnad" är mitt förslag. Men, det här begreppet är väl rätt gammalt, har det inte en vedertagen svensk översättning?

av **Svante** » 2014-02-03 21:49

PerStromgren skrev:
Svante skrev:
Thomas_A skrev:"precis noterbar skillnad"

"Precis märkbar skillnad" vore nog en bättre översättning, kanske?

Jag också! "Minsta märkbara skillnad" är mitt förslag. Men, det här begreppet är väl rätt gammalt, har det inte en vedertagen svensk översättning?

Hmm, jag gillar din bättre språkligt, men tycker att det är en nyansskillnad. Med "precis..." är man liksom PÅ gränsen, med "minsta..." är man strax över. Tror jag att jag tycker.