Endast för statistikkunniga (F/E-statistik)

[Svante]

Ja, i den här tråden vill jag endast ha svar av de som förstår sig på statistik.

Jag vill veta vad nedanstående tester ger för konfidens. Om det inte går eller är för svårt att räkna ut, tala gärna om vad som krävs för att beräkningen ska gå att utföra om ni vet det. Antag en F/E-lyssning. En person som inte deltar i lyssningen sitter och växlar mellan F och E och antecknar resultaten.

Exempel 1:
Antag att en person lyssnar och får 7 rätt i rad. Med hur stor konfidens har man visat att objektet har en hörbar ljudpåverkan?

Exempel 2:
Antag att en person lyssnar och får 8 fel i rad. Med hur stor konfidens har man visat att objektet har en hörbar ljudpåverkan?

Exempel 3:
Antag att fyra personer lyssnar samtidigt och ropar när de tror sig veta om F eller E är inkopplat. När en person har ropat avbryts växlingen och även de andra får avge ett svar om de vill (med kunskap om vad den först personen sagt). En person får 9 rätt i rad. Vid det laget har de tre andra avgivit 1, 3 respektive 5 svar med spridda skurar av rätt och fel. Med hur stor konfidens har man visat att objektet har en hörbar ljudpåverkan?

Exempel 4:
Samma som 3, men den första personen får i stället 9 fel i rad.
Med hur stor konfidens har man visat att objektet har en hörbar ljudpåverkan?

Exempel 5:
Samma förutsättningar som i 3, men nu avger endast två av personerna svar, de två andra avstår. De båda första får 7 rätt i rad, vardera. Med hur stor konfidens har man visat att objektet har en hörbar ljudpåverkan?

Exempel 6:
Antag att en person lyssnar. Han gör flera test, en med basrik musik och två med diskantrik musik. I bastestet och får han 9 rätt i rad, de andra två ger spridda skurar. Med hur stor konfidens har man visat att objektet har en hörbar ljudpåverkan?

Ja, hur blir det? Frågan är högaktuell om nu någon inte trodde det.

[PerStromgren]

Har vi inte diskuterat detta förut? ..... Jo, just det, i maj var det:

http://www.faktiskt.se/modules.php?name=Forums&file=viewtopic&t=11616

Och då skrev jag, vilket jag fortfarande står för:
"När jag själv irrade runt på KTH som fjunig teknolog fanns där en hel institution med experter på matematiskt statistik, har ni sparkat ut dom? Om inte har du ju en källa att ösa ur som inte sinar i brådrasket. "

och du skrev:
"Men visst, jag borde knacka på hos dem, det har du nog rätt i."

De var sura och ville inte hjälpa dig? Eller det är mycket skojsigare med oss hifinördar?

[dimitri]

Ja, i den här tråden vill jag endast ha svar av de som förstår sig på statistik.

En utmanande inledning på frågan. Jag har inga anspråk på att (verkligen) behärska statistiken vilket dock inte hindrar mig att tillämpa olika metoder i min forskning och kasta mig livsföraktande in i din fråga.

Nåväl:
Exempel 1. 7/7 rätt. Underförstått att inga missar har skett innan eller efter. Dvs att sekvensen 7/7 inte är en delsekvens i ett längre försök. I så fall (om man jämför med 3 rätt och 4 fel):
Ger Fisher's exakt 1-tailed p=0,035, 2-tailed 0,070.

Om man däremot jämför med 4 rätt och 3 fel så blir p=0,19, 2-tailed.
Det förefaller helt klart att 7 lyckade (gissningar?) i rad är för få för att dra några växlar gränsande till några växlar.

Exempel 2. 8/8 fel. En kul frågeställning. Först en enkel Fisher exact: vad är det för sannolikhet för att göra 8 fel i rad (gissa fel apparat)
p=0,077 2-tailed, jämfört med att ha 4 fel och 4 rätt.

Lite kul med att ha 7/7 rätt ger lägre p-värde jämfört med den ena av de mest slumpmässiga fördelningar (3/7) jämfört med 8/8 fel jämfört med 4/8 fel. Det här är förstås de små talens fel. 7/7 eller 8/8 eller tom 11/11 kan däremot vara en aptitretare till att anordna en större test.

Är 8/8 fel annorlunda än 8/8 rätt? Ja, om en jägare tar fel 8/8 gånger på vem som är en jaktkompis och en älg. Men om man gissar fel klave eller krona 8/8 så är det ingen skillnad jmfr med att gissa rätt.
Så om en person gissar fel 8/8 gånger i abx test hur kan detta tolkas? På något sätt har personen varit 100% konsekvent. Han skulle kanske gissa fel 32 av 32. Personen uppvisar förmågan att höra något och gör det konsekvent. Han har kanske missuppfattat instruktionerna, kanske utgår felaktigt ifrån att objektet a egentligen är b eller något annat.

Nåväl jag nu trasslat in mig och avslöjat min djupare okunskap, vassego och hugg i!
Måste gå nu. Återkommer.

[silvervarg]

Jag är inte någon mästare på statistik, men jag håller nog inte helt med Dimitri utan gör ett försök till lekmannatolkning från en som för länge sedan till slut klarade av matstat-kursen.
Antingen så förstås jag inte helt Dimitris svar eller så anser jag att han verkar ha fel eftersom sannorlikheterna verkar alldeles för låga.

Precis som Dimitri så antar jag att det är hela sekvensen som angetts och inga delsekvenser samt att man på förhand har bestämt sekvensens längd.

Exempel 1: 7/7 rätt bör ge 1-0.5^7, dvs ca 99.2% konfidens.

Exempel 2: 8/8 fel. Borde egentligen ge lika stor konfidens som x/x rätt, men om man tar detta i beaktande så sänker man konfidensen för samtliga tester med en faktor 2. Av denna anledning måste man ha med detta innan testet börjar i formlerna.
Således bör man ta en diskussion om exakt vad man har hört och dra lärdom för att sedan kunna göra om testet. Jag anser alltså inte att man har någon användbar information.

Exempel 3: Eftersom de uppenbarligen påverkar varandra genom att få veta varandras svar så kan rimligen bara ett svar per test anses vara användbart, dvs det första svaret. Om vi antar att det första svaret gav 9/9 rätt så har vi 1-0.5^9 i konfidens.

Exempel 4: Samma resonemang som exempel 2.

Exempel 5: Samma resonemang som exempel 3. Dvs 1-0.5^7.

Exempel 6: Jag anser att vi får se dessa som 2 eller möjligen 3 helt separata test. Test 1 har man valt musik som avslöjar problemen i anläggningen, och detta räcker i sig för att ge hög konfidens. Dvs 1-0.5^9.

[Lazyworm]

För några år sedan gjorde jag en liten lösning till Johan Holmsäters Hälsoplan studie, denna innebär att personer från ett företag får svara på ca 50st frågor rörande allt från matvanor till rörelsevanor och göra några klassiska tester såsom kolesterol, blodtryck mm mm.

Efter detta så läser Johan av svaren i en rapport över företaget och ser
vilka "kluster" som behöver påverkas och sätter in lämpliga åtgärder.

Ca: 6mån senare gör man om samma test och sen beräknar man med signifikans (T-Test) om det blev en verklig påverkan av gruppen för att motverka långtidssjukskrivningar.

Jag sökte lite nu och läste följande om t-test
"(I en äldre bok använde man t-test på krona och klave, alltså 1 och 0, vilket går utmärkt då antalet är mer än ca: 10 st."

Det borde ju innebära att man kan implementera T-test på F/E lyssningen och beräkna ifall utslaget med signifikans kan bestämmas?

Isf. skulle jag kunna se ifall jag hittar mina gamla SP som skötte uträkningarna så kanske vi kan implementera en liten LTS databas som håller i statistikunderlag ifall detta inte finns redan.

Edit:
Via Johan Holmsäter har jag även haft kontakt med Bengt Saltin som är Professor vid Karolinska sjukhuset och som med en hel del kött på benen skulle kunna svara på vad du är Ute efter ang. statistiken till F/E testningar. Även om hans styrka är inom Fysiologin.

[Morello]

Naj, T-fördelningen är inte tillämpbar. Det äör fråga om binomialfördelning. Själva frågan gäller dock inte fördelningen, utan handlar mer om testmetodik och hur resultaten skall tolkas.

[Svante]

Naj, T-fördelningen är inte tillämpbar. Det äör fråga om binomialfördelning. Själva frågan gäller dock inte fördelningen, utan handlar mer om testmetodik och hur resultaten skall tolkas.

I förlängningen ja, men just nu vill jag faktiskt veta om det går att räkna ut konfidensen med ovanstående exempel och hur stor den är i sådana fall.

Alltså, givet en att vi antar att vart och ett av exemplen påvisar en hörbar skillnad, hur stor är risken att det i verkligheten inte finns någon skillnad alls.

...och så ett minus det.

...och så är jag förstås intresserad att veta om det finns några förutsättningar som måste vara uppfyllda för att man ska kunna räkna som ni föreslår.

[Morello]

Men vi är väl överens om att det fråga om binomialfördelning?

Några reflektioner:

1. Att godta såväl fel som rätt ger en faktor 2 fler utfall som godkännes. Det måste beaktas.

2. Korrelationen mellan lyssnare som uppstår vid exempel tre är olycklig eftersom man endast genom att anteckna vem som svarade först kan säkerställa att en serie de facto kommer från en och samma person.

[Svante]

Men vi är väl överens om att det fråga om binomialfördelning?

Jadå, men T-testet förutsätter väl normalfördelning och de blir ju rätt lika för stora n, så hemskt olika är de ju inte.

[Morello]

Men vi är väl överens om att det fråga om binomialfördelning?

Jadå, men T-testet förutsätter väl normalfördelning och de blir ju rätt lika för stora n, så hemskt olika är de ju inte.

Japecis, men n är väl inte särskilt stort i vår tillämpning?

[Svante]

Men vi är väl överens om att det fråga om binomialfördelning?

Jadå, men T-testet förutsätter väl normalfördelning och de blir ju rätt lika för stora n, så hemskt olika är de ju inte.

Japecis, men n är väl inte särskilt stort i vår tillämpning?

Sant...

[IngOehman]

Ja, i den här tråden vill jag endast ha svar av de som förstår sig på statistik.

Jag vill veta vad nedanstående tester ger för konfidens. Om det inte går eller är för svårt att räkna ut, tala gärna om vad som krävs för att beräkningen ska gå att utföra om ni vet det. Antag en F/E-lyssning. En person som inte deltar i lyssningen sitter och växlar mellan F och E och antecknar resultaten.

Exempel 1:
Antag att en person lyssnar och får 7 rätt i rad. Med hur stor konfidens har man visat att objektet har en hörbar ljudpåverkan?

Först och främst är det viktigt att notera att "ljudpåverkan" är inte synonymt med "kunna höra vilket alternativ som är E (eller F)" - bara "kunna skilja E från F.

Frågan om skillnad kan påvisas genom att gissa konsekvent, vilket kan ske på två sätt; alla rätt eller alla fel!

7 av 7 ger då 98,4375%

[SS = 1-0,5^(7-1), eller om man föredrar den rakare formeln: 1-(2/2^7)]

Exempel 2:
Antag att en person lyssnar och får 8 fel i rad. Med hur stor konfidens har man visat att objektet har en hörbar ljudpåverkan?

Med samma motivation som föregående svar: 99,21875%

Exempel 3:
Antag att fyra personer lyssnar samtidigt och ropar när de tror sig veta om F eller E är inkopplat. När en person har ropat avbryts växlingen och även de andra får avge ett svar om de vill (med kunskap om vad den först personen sagt). En person får 9 rätt i rad. Vid det laget har de tre andra avgivit 1, 3 respektive 5 svar med spridda skurar av rätt och fel. Med hur stor konfidens har man visat att objektet har en hörbar ljudpåverkan?

Nu börjar det bli mera komplicerat att utvecka svaret på frågorna, och det enklaste svarer på frågan är, att beskrivningen ovan inte innehåller tillräckligt mycket information för att man skall kunna svara. Vad betyder exempelvis "spridda skurar"? Är det 1/9 rätt svar, 2/9?, 3/9?... Vem var det som fick 9 rätta svar? Var de en person som svarade först varje gång?

Frågan kan därtill tolkas på olika sätt.

Är frågan om just personen med 9 rätta svar hört skillnad eller bara haft tur?

Är frågan om det är påvisat att någon kan höra skillnaden?

Och så vidare.

Beroende på allt detta kan signifikansen vara allt från hygglig till dålig.

Utan att veta den utelämnade informationen är det orimligt att se utfallet som något annat än en indikation på att man bör fortsätta testen med bara den lyssnare som gissat 9 rätt rad, eller fortsätta för att få mera statistik att räkna på.

Exempel 4:
Samma som 3, men den första personen får i stället 9 fel i rad.
Med hur stor konfidens har man visat att objektet har en hörbar ljudpåverkan?

Samma svar som 3.

Exempel 5:
Samma förutsättningar som i 3, men nu avger endast två av personerna svar, de två andra avstår. De båda första får 7 rätt i rad, vardera. Med hur stor konfidens har man visat att objektet har en hörbar ljudpåverkan?

Även här saknas en massa information, men konfidensen blir mellan 98,4375% och 99,9878%, beroende på hur det hela utspelade sig i detalj.

Exempel 6:
Antag att en person lyssnar. Han gör flera test, en med basrik musik och två med diskantrik musik. I bastestet och får han 9 rätt i rad, de andra två ger spridda skurar. Med hur stor konfidens har man visat att objektet har en hörbar ljudpåverkan?

Information saknas igen. Vad betyder spridda skurar?

Att redovisa resultatet bör ske med utgångspunkt från programmaterialen. Det är nästan nödvändigt att också göra en intelligent bedöming av hur mycket studierna har med varandra att göra. Om exempelvis det använda programmaterialet är båda bas- och diskantrikt, och är samma i alla tre fallen (eller extremt snarlikt) och man bara bett lyssnaren att lyssna efter skillnader i olika register i de två första mot det sista, är testet så klantigt genomfört att det blir praktiskt taget omöjligt att bedöma signifikansen på testen.

Är det helt isolerade företeelser däremot, är det rimligt att ange att skillnad specifikt i basområdet detekterades med en signifikans om 99,609375.

Det är alltid viktigt att minnas att sigifikans är signifikans, och inget annat. Inte ens en signifikans om 99,9999% betyder att det man registrerat behöver vara sant, bara att det är ett sällsynt (en på en miljon) tillfälle, om det inte är det.

Det är också viktigt att minnas varför man gör en studie. Gör man den för att etablera en kunskap kan man ofta ställa helt andra krav på studien, än om man gör den för att kunna publicera sig, kanske för att visa att man behövstar statistiken. I det förstnämnda fallet är det exempelvis rimligt att inkludera inte bara den statistiska signifikansen i bedömningen, utan också felets storlek och korrelation med vad som kan förväntas från överiga iakttagelser.

Om man exempelvis skall undersöka om det går att skilja två lampors färg från varandra, och testen läggs upp således att det bakom en dyker upp en av två glödlampor, och de båda två har brunaktiga nyanser, varav en är aningen mera grönaktig, och den andra aningen mera rödaktig, är det av yttersta vikt att hålla på testen tills tillfyllest (beroden på vilket krav man ställt) signifikant erhållits. Visar det sig att test-tittaren tittar förvånat på testledaren och säger att den ena ju är klargrön, medan den andra är klarröd, kanske det - om endast kunskap är målet - är rimligt att bedöma det meningslöst att fortsätta studien.

Som alltid gäller det att göra intelliganta bedömningar, och så länge studierna görs blint (vilket lamp-exemplet, tro det eller ej, var!*) kan man faktiskt göra oerhört bra bedömnngar innan en statistisker blir nöjd. Blindtestförfarnadet är dock rimligt att inte överge, eftersom man utan detta är potentiellt utsatt för svårbedömbart stark suggestion.


Vh, iö

- - - - -

*Detta sagt till de utan vetenskaplig skolning. Blint betyder ju bara "utan tillgång till facit", inte att man inte ser, i synnerhet inte när studien handlar om vad man ser.

Överkurs: Det finns massor av saker som man kan addera till sådan här studier för att öka detektionschansen utan att förstöra signifikansen.

En av dem är att avbryta tester halvvägs och berätta hur väl folk har gissat hittills.

Ett annat sätt är att starta studien med att lyssna helt öppet, och gärna uppmana alla lyssnare att berätta för varandra vad det upplever sig höra. Inte sällan kan de hjälpa varandra att höra saker som de hade missat om de int fått det påpekat för sig av de som noterade det först.

Som testledare är det naturligtvis viktigt att hålla koll på förloppet under testet, så att signifikansen kan bedömas på ett säkert sätt. Minst lika viktigt är det förstås att inte göra några irrelevant beräkningar i efterhand, såsom att exempelvis beräkna statistiken horisontellt.

En väl upptränad intuition för vilken signifikans olika utfall ger, tillsammans med ett testförfarande som är så "trevligt" för lyssnarna att man kan förlänga testerna ordentligt och således ta höjd med jättemarginaler, för tänkbara testförlopp - är av godo.

Viktligast av allt är att aldrig glömma att det är kunskap man söker. Glömmer man det är det oerghört lätt att åstadkomma fantastisk signifikanta studier, helt utan värde.


Vetenskapens "första tes" (som jag väl nämnt till leda genom åren, och som egentligen inte är en tes, utan en definition/ett axiom) som lyder:

Man kan i bästa fall i ett experiment påvisa kända eller okända egenskaper - men man kan aldrig bevisa frånvaron av okända egenskaper.

Denna tes är oerhört viktig att minnas, men den har många bottnar. Den inte bara berättar om vikten av att inte dra slutsatser från nollresultat (jag har nu bevisat att man inte kan...), den säger också hur viktigt det är att anstränga sig för att undvika nollresultat, genom för oskarpa metoder.

Det är alltför lätt att formulera testsituationer som är publicistiskt och statistiskt godtagbara, men som är bortkastad tid om det är kunskap man är ute efter att framskaffa.

[Morello]

Vetenskapens första test

Vad är det för test?

[DQ-20]

Jag sökte lite nu och läste följande om t-test
"(I en äldre bok använde man t-test på krona och klave, alltså 1 och 0, vilket går utmärkt då antalet är mer än ca: 10 st."

Det borde ju innebära att man kan implementera T-test på F/E lyssningen och beräkna ifall utslaget med signifikans kan bestämmas?

Man kan i större urval approximera binominalfördelningen med t-fördelningen. Det var viktigare förr när man inte hade datorer. Det är en dåligt tillämpning använda t-fördelningen i detta fall efter a) n är litet vilket ger felskattningen, b) n är så litet att man med miniräknare med lätthet kan räkna ut binominalfördelningen.

/D

[DQ-20]

Naj, T-fördelningen är inte tillämpbar. Det äör fråga om binomialfördelning. Själva frågan gäller dock inte fördelningen, utan handlar mer om testmetodik och hur resultaten skall tolkas.

I förlängningen ja, men just nu vill jag faktiskt veta om det går att räkna ut konfidensen med ovanstående exempel och hur stor den är i sådana fall.

Man kan inte säga "i förlängningen", om du med det avser att renodla kalkylen från tolkningen. Redan innan du börjar räkna måste du bestämma vad det är du räknar på. 5 päron + 3 stövlar=8 stycken. Visst, men 8 stycken vaddå? Räkna kan man ju alltid göra.

Har läst igenom Öhmans svar och håller med. Jag skulle dessutom vilja veta varför vi ombetts kommentera dessa muggiga experiment.

/D

[Morello]

Pojkar, nu tycker jag vi lämnar T-fördelningen och återgår till spörsmålet enligt trådens första inlägg.

[PerStromgren]

Med en dåres envishet:

Statistics for experimenters : an introduction to design, data analysis, and model building / George E. P. Box, William G. Hunter, J. Stuart Hunter finns i KTHs bibbla, ledig för utlåning.

[DQ-20]

Pojkar, nu tycker jag vi lämnar T-fördelningen och återgår till spörsmålet enligt trådens första inlägg.

Hurså, känner du dig förfördelad?

/D

[Svante]

Ja, ska jag ge mina egna förslag, då:

Exempel 1:
Antag att en person lyssnar och får 7 rätt i rad. Med hur stor konfidens har man visat att objektet har en hörbar ljudpåverkan?

Om man i förväg har bestämt att man bara ska lyssna 7 ggr och dessutom har bestämt att man bara godtar rättsvar, blir konfidensen 1-1/2^7~99,2%. Har man i förväg bestämt att man även får svara alla fel blir signifikansen 1-2/128~98,4%. (Vad man har bestämt i förväg spelar alltså roll, här och i de kommande exemplen.)

Exempel 2:
Antag att en person lyssnar och får 8 fel i rad. Med hur stor konfidens har man visat att objektet har en hörbar ljudpåverkan?

Om man i förväg har bestämt att man bara ska lyssna 8 ggr och dessutom har bestämt att man bara godtar rättsvar, blir konfidensen ointressant låg. Har man i förväg bestämt att man även får svara alla fel blir signifikansen 1-2/256~99,2%.

Exempel 3:
Antag att fyra personer lyssnar samtidigt och ropar när de tror sig veta om F eller E är inkopplat. När en person har ropat avbryts växlingen och även de andra får avge ett svar om de vill (med kunskap om vad den först personen sagt). En person får 9 rätt i rad. Vid det laget har de tre andra avgivit 1, 3 respektive 5 svar med spridda skurar av rätt och fel. Med hur stor konfidens har man visat att objektet har en hörbar ljudpåverkan?

Den här är knepig. Uppenbart har man inte i förväg bestämt hur många lyssningar som ska göras. Inte heller har man bestämt vems serie som ska räknas. Men om vi är lite (för) välvilligt inställda så kan vi se det som att man har bestämt sig i förväg för att lyssna 9 ggr, och att man har kört 4 upprepade försök (de 4 personerna). Förmodligen skulle man ha godtagit även 9 fel i rad. Det enskilda testet som gav 9 av 9 ger då 1-2/2^9=99,6% signifikans. Eftersom testet har körts av 4 personer men de tre andra har misslyckats, så blir totala signifikansen 0,996^4~98,4%.

Det är dock mycket tveksamt att räkna så här. Kanske hade man fortsatt testet om personen hade fått ett felsvar bland de riktiga. Det kostar signifikans. Troligen är alltså signifikansen lägre än 98,4% men det är omöjligt att veta hur mycket lägre.

Exempel 4:
Samma som 3, men den första personen får i stället 9 fel i rad.
Med hur stor konfidens har man visat att objektet har en hörbar ljudpåverkan?

Ja, som jag beskrev det ovan blir det samma som i 3, om man antar det jag gjorde där.

Exempel 5:
Samma förutsättningar som i 3, men nu avger endast två av personerna svar, de två andra avstår. De båda första får 7 rätt i rad, vardera. Med hur stor konfidens har man visat att objektet har en hörbar ljudpåverkan?

Förmodligen är signifikansen högre än i 3, men hur mycket? Det vet man inte, eftersom man inte har bestämt förutsättningarna i förväg.

Exempel 6:
Antag att en person lyssnar. Han gör flera test, en med basrik musik och två med diskantrik musik. I bastestet och får han 9 rätt i rad, de andra två ger spridda skurar. Med hur stor konfidens har man visat att objektet har en hörbar ljudpåverkan?

Konfidensen att objektet har en hörbar påverkan i det enskilda testet är 1-2/2^9~99,6% (godtagande även "alla fel", antagande att man har bestämt i förväg att man ska lyssna just 9 ggr). De tre testerna tillsammans gör att konfidensen faller till 0,996^3~98,8%.

Har läst igenom Öhmans svar och håller med. Jag skulle dessutom vilja veta varför vi ombetts kommentera dessa muggiga experiment.
/D

Ja, det kan man undra. Skönt att du säger att det är ett muggigt experiment (som jag antar betyder att du inte gillar designen). Om vi fokuserar på exempel 3-5 så är upplägget väldigt likt det som LTS använder i sina F/E-lyssningar. Man bestämmer alltså INTE före testet hur många lyssningar som ska göras, man tillåter samtidiga svar, och man lyssnar enkelblint. Jag har försökt påtala att detta är dålig försöksdesign eftersom man inte vet vad det ger för konfidens, och eftersom det knappast skulle tillåtas passera i vetenskapliga sammanhang, tex i reviewprocessen till en vetenskaplig tidskrift.

Jag har också försökt få testmetodiken nerskriven så att man kan referera till den och så att alla kan se hur det går till, men fått till svar att han inte vill ha en skendebatt om metodiken (i stället för resultaten, antar jag). Det är vetenskaplig öppenhet, det.

Jag har nu stångat mig såpass blodig mot Ingvars tvärvägran att förändra testet att jag har avsagt mig vidare uppdrag i LTS styrelse. Jag kan inte ställa mig bakom testmetodiken. Jag vill alltså deklarera att LTS F/E-tester inte är Svantegodkända, vad nu det har för värde.

Edit: Jag bara måste visa hur min browser såg ut efter att jag hade skrivit det här inlägget. Titta högst upp...

[Thomas_A]

En allmän kommentar är att styrkan i ett binomialtest med n=7 inte är stark. 6/7 rätt ger p=0.062 medans 7/7 rätt ger p=0.008. Med endast ett diskret steg mellan icke signifikant till signifikant blir den statistiska styrkan svag.

I ett test bör man ju först träna och sedan välja en person som tycks kunna höra en skillnad i öppet test för en given musik/testsnutt. Den personen får sedan givet exempelvis minst 15 omgångar som kan vara fördelade valfritt i tiden.

I en grupp av fyra, förutsatt att lyssningarna är oberoende måste man summera deras resultat. För att veta om någon i gruppen avviker från slumpen måste man tillgripa någon sorts post-hoc test eller kanske ett fishers exakt test på gruppens resultat med post hoc.

Behöver fräscha upp lite i mina kunskaper märker jag.

[Haakan_W]

svante hur vill du att lyssningen/testet ska gå till?

[Svante]

svante hur vill du att lyssningen/testet ska gå till?

Här är förslaget som totalsågades av Ingvar

http://user.faktiskt.io/svante/Forslag_till_LTS_testmetodik.htm

...med inledningen

Huga, nej det där ser inget vidare ut.
Det bygger på en massa antagnaden som i flera fall är direkt felaktiga.

...osv, ni kan väl stilen vid det här laget.

[Thomas_A]

Får jag föreslå att ha ett minimum på 25 försök för ett tvåsvansat test. Detta för att Fisher's exakta test ger signifikant skillnad mellan 25/0 till 20/5 i en fyrfältstabell (p=0.05), medans alla svar från 21/4 och bättre inte är signifikant skilt från 25/0 (<p0.05).

[PerStromgren]

Svante,

Jag håller helt med dig, metoden måste dokumenteras innan den används, om den ska kunna litas på. Du gör helt rätt som skriver ned den, och granskar den så att alla kan bli överens. Om IÖ inte gillar vad som står där, be om exakta förändringsförslag, inte bara kommentarer om att det är fel.

Det vore synd om LTS styrelse ska behöva bli av med en duktig ledamot av en sådan anledning.

[n3mmr]

Jag har nu stångat mig såpass blodig mot Ingvars tvärvägran att förändra testet att jag har avsagt mig vidare uppdrag i LTS styrelse. Jag kan inte ställa mig bakom testmetodiken. Jag vill alltså deklarera att LTS F/E-tester inte är Svantegodkända, vad nu det har för värde.

Edit: Jag bara måste visa hur min browser såg ut efter att jag hade skrivit det här inlägget. Titta högst upp...

Att metodiken inte är Svantegodkänd har ett stort (negativt) värde.

Jag har själv deltagit i tester enligt LTS, och kände mig alltid oerhört besviken över bristen på överensstämmelse mellan den dubbelblinda teorin och den enkelblinda och slarviga verkligheten.

Man slutade inbjuda mig efter ett tag, och jag känner mig lite ledsen över att metodiken inte förbättrats.

N.B. Det var inte så att man slutade inbjuda mig p g a att jag bråkade om metodiken: mina statistikkunskaper var inte sådana att jag tog en debatt om metodik med folk som varit med förr. Snarare var det tillfälligheter, och ev att jag inte hörde skillnader så fort som den mest snabbtjoande.

[Thomas_A]

Jag tänkte mig ett "sign test", där man approximerar en normaldistribution från den diskreta binomialfördelningen (n*pi>5), n>10 för pi=0.5 (slump).

Om svaren är 9/10 blir z´= (0.9-0.5)-(1/(2*10)/sqr((0.9*(1-0.9)/10))=
=3.689; ->p<0.001

Dock för sample size mindre än eller lika med 10 blir p=0.004

Konfidensintervall för den sanna proportionen vid 95% är
0.9+/- 1.96*sqr(0.9*(1-0.9)/10)=
= 0.9 +/- 0.19

Dvs vi kan med 95% sannolikhet säga att den sanna proportionen ligger mellan 0.71-1.09, med förbehållet att proportionen inte kan bli större än 1.

Vet inte om det är riktigt korrekt men jag vill bara poängtera att "sample size" bör vara tillräckligt stort.

[Morgan]

Svante, kan du inte vara snäll att ge en exakt beskrivning av hur F/E-lyssningarna går till istället? Som det är nu målar man liksom upp en skräckbild för sitt inre baserad på de halvkvädna visor som du kvider och det är liksom omöjligt att bedöma om testerna görs vettigt eller ovettigt!

Ingvars svar ovan är ju insiktsfullt, men samtidigt så är det mycket oroväckande om man begår vissa "standardfel" som att inte på förhand bestämma vilka lyssningsserier man skall använda och vilka utfall som skall tolkas som positiva eller negativa. Därför svävar man i ovisshet om huruvida det är en ansvarsfull statistisk analys och ett vettigt testförfarande eller inte!

[berma]

Det är alltför lätt att formulera testsituationer som är publicistiskt och statistiskt godtagbara, men som är bortkastad tid om det är kunskap man är ute efter att framskaffa.

Om en testsituation inte är publicistiskt och statistiskt godtagbar kan den ifrågasättas, det är ju liksom därför man använder sig av vetenskapliga metoder dvs. för att resultaten inte ska kunna ifrågasättas.

Om upplägget verkligen är som jag gissar:
Att testledaren hela tiden vet vad som är F och E, att testpanelen sitter tillsammans och lyssnar, att växling mellan F och E sker godtyckligt till dess någon i testpanelen påstår sig "höra" något, och då kan kamraterna i testpanelen välja att hålla med eller inte. Och om det inte finns någon förutbestämd testserie.

Med det upplägget kan testerna manipuleras, dvs. om testledaren och någon i panelen vill ha ett visst resultat så kan man troligen också få det. Detta kan också ske omedvetet om testledaren och någon i panelen på förhand gillar eller ogillar ett testobjekt.

Observera att jag inte säger att någon oegentlighet förekommit, men för en 3:e person, vi som bara kan lita på resultaten är det viktigt att testerna sker på ett vederhäftigt och väl beskrivet sätt.

Om så inte är fallet blir ju testerna värdelösa! (för mig)

mvh.

[Thomas_A]

Exempel 3:
Antag att fyra personer lyssnar samtidigt och ropar när de tror sig veta om F eller E är inkopplat. När en person har ropat avbryts växlingen och även de andra får avge ett svar om de vill (med kunskap om vad den först personen sagt). En person får 9 rätt i rad. Vid det laget har de tre andra avgivit 1, 3 respektive 5 svar med spridda skurar av rätt och fel. Med hur stor konfidens har man visat att objektet har en hörbar ljudpåverkan?

Om man ropar när man tror sig veta, och sedan skriftligen anger vad som är vad (utan övrigas insyn) så kan de vara oberoende från varandra. Samtligas resultat ska summeras där n=n´, dvs svar som ej är angivet skall ignoreras. Om de spridda skurarna (n´= 8 ) antas ges 4 korrekta svar blir proportionen totalt:

p=13/17=0.7647

Eftersom n´>10 approximeras normalfördelningen för uträkning av p.

H0=0.5 ger z´= (0.7647-0.5)-(1/(2*17)/sqr((0.7647*(1-0.7647)/17))=
=2.287; ->p=0.025

Trots att några förmodligen gissade blev p<0.05, vilket är gångbart.

Konfidensintervallet vid 95% blir

0.76+/- 1.96*sqr(0.7647*(1-0.7647)/17)=
= 0.76 +/- 0.23

Svante skrev:


Exempel 5:
Samma förutsättningar som i 3, men nu avger endast två av personerna svar, de två andra avstår. De båda första får 7 rätt i rad, vardera. Med hur stor konfidens har man visat att objektet har en hörbar ljudpåverkan?



Förmodligen är signifikansen högre än i 3, men hur mycket? Det vet man inte, eftersom man inte har bestämt förutsättningarna i förväg.

Här kan man bortse från de som inte angivit svar; n=n´

(Liksom man kan bortse från alla andra ute på stan som inte angivit svar.) Är svaren oberoende, alltså att de inte påverkar varandra kalkyleras den utifrån 14 försök, annars endast 7.

Såg att Svante hade n=9 på de spridda skurarna, jag räknade dock på n=8. Principen var viktigast, det är bara att räkna igen.

[Morello]

Om man ropar när man tror sig veta, och sedan skriftligen anger vad som är vad (utan övrigas insyn) så kan de vara oberoende från varandra.

Ja, så skulle man kunna göra, dvs rapportera skriftligt för att undvika korrelation mellan lyssnarna.

En annan lösning skulle kunna vara ett system där varje lyssnare har en knappdosa, som kopplas till gemensam dator eller dyl. för datainsamling och vidare statistisk analys.

[Svante]

Svante, kan du inte vara snäll att ge en exakt beskrivning av hur F/E-lyssningarna går till istället? Som det är nu målar man liksom upp en skräckbild för sitt inre baserad på de halvkvädna visor som du kvider och det är liksom omöjligt att bedöma om testerna görs vettigt eller ovettigt!

"halvkvädna visor..." Jaja...

Ingvars svar ovan är ju insiktsfullt, men samtidigt så är det mycket oroväckande om man begår vissa "standardfel" som att inte på förhand bestämma vilka lyssningsserier man skall använda och vilka utfall som skall tolkas som positiva eller negativa. Därför svävar man i ovisshet om huruvida det är en ansvarsfull statistisk analys och ett vettigt testförfarande eller inte!

En person som inte deltar i lyssningen sitter och växlar mellan F och E och antecknar resultaten.
Flera, tex fyra, personer lyssnar samtidigt och ropar när de tror sig veta om F eller E är inkopplat. När en person har ropat avbryts växlingen och även de andra får avge ett svar om de vill (med kunskap om vad den först personen sagt).

...är nog en hyfsat bra beskrivning av lyssningssituationen. Försöksledaren skriver ner avgivna svar i kolumner, en per person, och sedan utvärderas lappen under gång av försöksledaren och testet avbryts när man tycker att tillräcklig signifikans uppnåtts. Eventuellt fortsätter man om någon tycker att man ska det.

[Thomas_A]

Exempel 6:
Antag att en person lyssnar. Han gör flera test, en med basrik musik och två med diskantrik musik. I bastestet och får han 9 rätt i rad, de andra två ger spridda skurar. Med hur stor konfidens har man visat att objektet har en hörbar ljudpåverkan?

Har man 3 x 9 omgångar = 27 där en omgång ger 9/9 och de andra antas ge 9/18 blir proportionen

18/27=0.666

H0=0.5 ger z´= (0.666-0.5)-(1/(2*27)/sqr((0.666*(1-0.666)/27))=
=1.6248; ->p=0.1

Dock har testet ett inbyggt fel eftersom om man gör en AB mellan en 1 kHz och 2 kHz ton och sedan bygger på detta med ett test på nivåskillnadsdetektion av 0.001 dB så jämför man äpplen med päron.

[Thomas_A]

Svante, kan du inte vara snäll att ge en exakt beskrivning av hur F/E-lyssningarna går till istället? Som det är nu målar man liksom upp en skräckbild för sitt inre baserad på de halvkvädna visor som du kvider och det är liksom omöjligt att bedöma om testerna görs vettigt eller ovettigt!

"halvkvädna visor..." Jaja...

Ingvars svar ovan är ju insiktsfullt, men samtidigt så är det mycket oroväckande om man begår vissa "standardfel" som att inte på förhand bestämma vilka lyssningsserier man skall använda och vilka utfall som skall tolkas som positiva eller negativa. Därför svävar man i ovisshet om huruvida det är en ansvarsfull statistisk analys och ett vettigt testförfarande eller inte!

En person som inte deltar i lyssningen sitter och växlar mellan F och E och antecknar resultaten.
Flera, tex fyra, personer lyssnar samtidigt och ropar när de tror sig veta om F eller E är inkopplat. När en person har ropat avbryts växlingen och även de andra får avge ett svar om de vill (med kunskap om vad den först personen sagt).

...är nog en hyfsat bra beskrivning av lyssningssituationen. Försöksledaren skriver ner avgivna svar i kolumner, en per person, och sedan utvärderas lappen under gång av försöksledaren och testet avbryts när man tycker att tillräcklig signifikans uppnåtts. Eventuellt fortsätter man om någon tycker att man ska det.

Genom att dela ut lapparna till försökspersonerna blir det bättre. Icke angivna svar ignoreras. Antar man 4 i panelen och i snitt 5/10 svar per person skulle det bli n´=20.

[Thomas_A]

By the way:

http://web.archive.org/web/200402232344 ... layers.htm

Double-blind test of two CD players reveals audible difference

John Stalberg, Thomas Akerlund, and Mikael Sundman

Background

The purpose of this test was to investigate whether modern CD players sound different or not.
This is a controversial issue as there is little or no scientific evidence that CD players are
audibly different. A previous test have shown that the first CD player imported to the US,
the 14-bit Phillips CD player CD100, was audibly different to a Sony player
(www.oakland.edu/?arlst/abx_cd.htm). The score was 67% correct guesses with a p lower
than 0.005. Other modern CD players did not show any audible difference.
These results were published in PSACS Sound Bytes Vol. 7 No. 1, 1996.
The Swedish Sound Audio Technical Society has previously been able to distinguish CD players
in blind tests, but the result has not been confirmed in any double blind test.
The result from the present study showed that there indeed is a significant and
audible difference between two specific CD players. Thus, the notion that all CD players
sound the same is not correct. Another conclusion is that changing CD players in an upgrade
path indeed may have a purpose Рi.e. to get a better sounding system.
However, there is little information of which CD players that sound poor and which sound good,
and for the consumer to know this, an extensive testing must be performed.


Material and methods

Reference system. The reference system consisted of Sentec SC9 pre-amplifier,
four NAD 208 Power amplifers (2 x 280 Watt/8 Ohm for each amplifier), INO Audio r 56 speakers
and 4 INO Audio profundus Z-4 subs, and Sentec DiAna DA converter.
Each item has been selected as be the most audible transparent for music and test signals
(i.e. uncoloured sound) using a Ңefore-afterӠtest(i.e. signals pass trough without
audible change of the pattern/waveform). The listening room is damped for early reflections,
and reproduce a frequency response of 20-20000 Hz within 1 dB limits (at listening position).
Max SPL is around 137 dB at 17 Hz.

Test objects. A Denon DCD 655 and a Harman Kardon HD7600 CD player with variable analogue output
were chosen as test objects. The output level of the Harman Kardon CDP was adjusted
to match the Denon at a dB level of ?0.01 dB using a oscilloscope and a 1 kHz Hz test signal,
as measured from the output of the pre-amplifier.
Listeners. Thomas Akerlund (1), Mikael Sundman (2) John Stalberg (3).
Both persons 2 and 3 are musicians and audio recording specialists and are very well trained
listeners, and familiar with both the reference system and the test objects.
Person 1 has limited or no previous experience of the reference system or the test objects.

Test procedure. All listeners were given a training session for about one to two hours.
First, the Harman Kardon CD player was auditioned and compared against the reference DA converter
and its character was noted. After a positive result in blind conditions with the
two different tests objects, they were chosen. Starting the DBT, one person (3)
tossed a coin ten times and wrote down the order on a paper, while the other two persons were
in another room. He made all the switches and was not visible or made any noise to the
test persons during the entire test. The CD players and the back of the preamplifier were
hidden with blankets. The test signal was two identical (verified by data analysis) copies
of a drum session. Each of these was set on repeat on the CD players, with exact matching of
length. For each test, one person made the switching and the other person made the listening
test. The switcher started to switch from CD (neutral) to either Aux 2 (CD player X) or
Aux 3 (CD player Y), without saying anything to the listener. Then the test was continued
with 5-10 seconds of listening at each input with about 1 second delay at neutral,
i.e. a test order of e.g. X - neutral РY Рnetrual РX etc. Since the sound of the CD players
were not synchronised the length of the listening period varied randomly during the test.
This procedure did cause some confusion, since it was not always obvious if a switching had
occurred and made it more difficult for the listener. Nevertheless, when the listener decided
which sound that related to which test object, the switcher noted which input he had chosen,
and the test result was written down. One person (1) conducted six listening trials,
and there was a switch between these two for the remaining four test, i.e. person 1 became
the switcher and person 2 the listener. After ten trials the result was compared to the written
scheme as made from person 3. After this, a second listening test with three trials was conducted
with person 3 as listener, 1 as switcher and 2 as the coin flipper.

Results and discussion

Training session. In the initial training session all listeners concluded that the Harman Kardon
CD player was very similar to the DiAna reference DA converter. A somewhat higher impact in drums
and a little brighter sound than the DiAna was noted.
When the Denon CD player was tested against the Harman Kardon, it became evident that the
Denon CD player had a brighter sound as noted on drums and background noise from the
recording(the noise produced by the CD players was never at audible levels).
Test person 1 was not as familiar with critical listening as person 2 and 3,
and had no previous listening experience with the test objects, although he also noted a
difference when these were tested. The listening session was ended with single blind guesses,
in which most cases were correct (Ÿ0%).

DBT session. The final result from the DBT tests was that 11 out 13 trials were correct.
This corresponds to 85% (p=0.01) correct choices, which is significantly different from
random choice. The two faulty choices came from person 1, who was not as familiar with the system
and had less training than the other two. Also, person 1 suffered from some listening fatigue
after the training session, and may have scored better with a different outlay of the experiment.
For example, listener 1 could have borrowed and listened to the CD players for a while,
before the test was done. The conclusion was however, that there is a 99% probability that the
CD players were audibly different.

[Thomas_A]

För ovanstående test är det några missar, bla att vi borde gjort det med en extern D/A kopplad för att unvika synkproblemet.

Vi gjorde detta dock för en amerikans publik och vi hade en person på g från USA för att medverka, men så blev det inte. Därav ville vi använda "kända" spelare och inte Sentec DiAna som inte direkt är välkänd där borta.

Nummer 2 är att vi borde gjort fler omgångar, minst 20.

T

[Thomas_A]

Till sist skulle jag vilja tillägga att ett bygge av en ABX-komparator inte borde vara så svårt och att det skulle vara mycket enklare att genomföra testerna. I LTS regi kanske den skulle heta FEX-komparator.

[Morello]

I dagsläget finns en FE-testutrustning(som jag byggde under sommaren 2006) som innehåller allt man behöver för test (försteg, differentiell ingång, trimpottar osv). På fronten finns en vippomkopplare(som driver ett relä) med vilken man väljer F eller E-signal. På bakpanelen finns ett 1/4"-tele-uttag för extern trigger, vilket kan vara en slumpgenerator tex.

Är det något sådant du tänker på?

[Thomas_A]

Låter som en sån apparat, dock har en ABX tre omkopplingar. Den kända A, den kända B (vilket kan vara F och E) samt en okänd X (som slumpmässigt är antingen A/B eller om man så vill F/E mellan varje omgång).

Fördelen att en vridomkopplare med X i mitten samt A och B ovan/nedan är att man snabbt kan skifta mellan X-A och X-B för direkta jämförelser. Stora nackdelar med AB:

1. I ett AB-test är båda okända och man har ingen direkt jämförelse under testets gång vad som är vad. Det kan leda till att en eller flera gör 8 fel istället för 8 rätt vid en ev hörselskillnad, vilket gör att den summariska statistiken från fler testpersoner blir en soppa.

2. Hörselminnet är kort. Det kan leda till förvirring under testet där enskilda av misstag blandar ihop hur A och B en gång lät och byter så att säga sin preferens för vad som är A och B. Blir också en soppa.

[PerStromgren]

F/E-lyssningen är väl utformad som en A/B-lyssning, inte en A/B/X-lyssning, väl? Jag tror att X:et skulle tillföra en massa även i F/E-fallet.

[IngOehman]

Har precis upptäckt hur den här tråden har utvecklat sig efter att jag gjorde ett inlägg i den (som ingen i sak tycks kritisera med avseende av de statstiska signifikanserna).


Blir förstås ledsen över att se att den testmetod som använts genom alla år presenteras på ett förvrängt sätt här i en tråd på faktiskt, där väl det värsta är att det antyds att så korta serier som i exemplen har använts. Inte i det ursprungliga inlägget, men senare...


Blir ledsen även över att se att mitt inlägg misstolkas, således att någon (berma) försöker få det att verka som om jag menat att vetenskaplighet inte är viktigt , när det jag skrev bara var att om man har att välja mellan antingen:

1. En komplicerad modell som ger snabba resultat, är enkel att använda och som ger fantastisk detektionsförmåga, men som är svår att beskriva,

och:

2. En enkel modell att beskiva, som ger dålig detektionsförmåga,

(både ger samma statistika signifikans)

så bör man välja den förstnämnda när man primärt är ute efter att skaffa sig kunskap om testobjektet.


Nollresultat är förvisso vetenskapligt korrekt på alla sätt, men det ökar inte ens kunskaper om testobjektet, och att testmetodiken är svår att beskriva spelar ingen roll när syftet med testerna inte är att beskriva dem metodologiskt, utan att knna beskriva apparaterna som undergått dem.

Att fokusera på att möjliggöra för alla i F/E-lyssningen inblandade att prestera sitt yttersta, är därför fundamentalt. Att göra det lätt att beskriva en procedur, som dock allför ofta eller rent av alltid ger nollresultat, är att helt missa målet. Verkligheten ligger förstås alltid någonstans mitt emellan dessa ytterligheter, men ambitionen bör alltid (enligt min uppfattning) vara att göra testen meningsfull.


Allra tristast tycker jag det är att se att innehåll i ett email jag skickat i en intern diskussion inom styrelsen (som inte ens borde ha skett vie email, utan på ett möte) läggas ut på en diskussiontråd, dessutom klippt ur sitt sammanhang!


Oavsett vilket har jag ställt min plats till förfogande i LTS.

Det skall vara kul att hålla på, annars kan det kvitta, sjöng galenskaparna.

Att bli offentligt avrättat för den insats man försökt bidra med genom åren för att göra testerna både vetenskapliga och kraftfulla detektionsmässigt, är inte kul. Att det dessutom sker baserat på schablonartade framställningar med korta serier och antydningar om att det inte säkerställts tillräcklig signifikans (vilket inte alls överensstämmer med hur det gått till i verkligheten) är INTE kul alls, och då kan det, som nämnts, kvitta.

Det måste vara kul - och om inte själva arbetet är det, så i varje fall måste det finnas en känsla av att det arbete man lägger ned uppskattas.

Det känslan får inte jag när till och med styrelsemedlemmar lämnar den interna diskussionen, och går istället till angrepp på offentliga internetfora.


Vh, iö

[IngOehman]

Till sist skulle jag vilja tillägga att ett bygge av en ABX-komparator inte borde vara så svårt och att det skulle vara mycket enklare att genomföra testerna. I LTS regi kanske den skulle heta FEX-komparator.

Det är just försök med dylik metod som resulterade i att jag valde en annan.

Det skiljde en del på detektionströskeln.

De allra skickligaste lyssnarna, när de hade sina bästa dagar, förmådde nå ned till ungefär samma tröskel med FEX - men "lika bra" är sämre än bättre. I synnerhet när det bara är ibland.

Dessutom tar ett FEX-test (där bara en lyssnare i taget kan lyssna, om det utförst på normalt sätt) oerhört mycket längre tid att genomföra. Det är redan som det är svårt att hinna med allt vi vill testa.


Vh, iö

[berma]

Blir ledsen även över att se att mitt inlägg misstolkas, således att någon (berma) försöker få det att verka som om jag menat att vetenskaplighet inte är viktigt , när det jag skrev bara var att om man har att välja mellan antingen:

1. En komplicerad modell som ger snabba resultat, är enkel att använda och som ger fantastisk detektionsförmåga, men som är svår att beskriva,

och:

2. En enkel modell att beskiva, som ger dålig detektionsförmåga,

(både ger samma statistika signifikans)

Vh, iö

Kan ni inte beskriva hur ni gör eller hur ni räknar så kan ju ingen utomstående bedöma eller upprepa era tester, då landar det ju bara i er trovärdighet, eg. att ni lovar att det har skett på ett vederhäftigt sätt.

Det känns faktiskt inte särskilt vetenskapligt.

mvh.

[IngOehman]

Underligt citat du fick till där... Du klippte innan jag avslutat meningen.


Men visst, självklart bygger det på förtroende. Så är det ju nästan alltid
när man väljer någon till en post. Saknas det förtroendet - alltså att jag
säkerställer att en tillfyllest signifikans hålles - så bör jag inte få behålla
det ansvaret.

Konsekvensen är att jag bör avgår - vilket redan skett.

Ok? Problem fixed!


Vh, iö

- - - - -

PS. Det här funkar ju precis som inom politiken - sänk någons
förtroende med hjälp av offentlig kritik, och hoppas på att det
får dem att tappa lusten så till den milda grad att de inte orkar
försvara sig, utan väljer att avgå istället.

[Morgan]

Underligt citat du fick till där... Du klippte innan jag avslutat meningen.


Men visst, och saknas det förtroendet - att jag säkerställer att en tillfyllest
signifikans hålles - så bör jag inte få det ansvaret.

Konsekvensen är att jag bör avgår - vilket redan skett.

Ok?


Vh, iö

Vilken trist utveckling det blev på den här tråden!

Det är skittrist att det bara kommer en massa halvkvädna antydningar om hur metoden ser ut, som av allt att döma är konstruerade för att överdriva eventuella problem bortom alla proportioner.

Jag är säker på att alla skulle ha fullt förtroende för att metoden ger en signifikansnivå som är tillfyllest, om bara metoden redovisades i sin fulla glans! Det bör till sist inte handla om förtroende för enskilda personer, utan om förtroende för att den valda metoden är bra, anser jag.

Det finns ett enkelt sätt att ställa saker tillrätta: Redovisa metoden öppet (ett krav jag tycker är rimligt att alltid ställa - när det gäller LTS eller Stereophile eller Astra Zeneca eller vem som helst som hävdar något) och visa med hjälp av kall matematisk statistik att metoden är tillfyllest!

Varför redovisas inte metoden öppet?

[IngOehman]

Det finns inget hemligt med "metoden", men exakt hur det går till är svårt både att förklara och att inse utan att närvara själv. I varje fall om man har ambitionen att absolut ingen skall missförstå något. Dessutom är inte någon specifik metod fastslagen. Den kan variera inom vida ramar, med målet att minimera detektionströskeln.

Att försöka beskriva den i varje liten psykologisk detalj (för det är ju till stor del sådant som är poängen - detektionströsklarna påverkas otroligt av vilken testsituation lyssnarna tvingas in i. Trivselaspekternas analys är kruxet med att få en riktigt bra testmetod) och orsaken till dem, det känns dödsförraktande, minst sagt.

Inte minst när man ser vilka debatter som uppstår till och med när de som rimligtivs borde veta hur det går till (Svante) är inblandade.


Detta är ett typfall av sådana frågor som inte lämpar sig för "hantering medels internet-diskussion". Avsevärt mycket mer än hälften (eller >90%?) av kritiken är baserad på felaktig information, som i sin tur sprungar ur korrekt information (verkligheten själv rent av) som förvrängts på grund av sin svårbegriplighet!

Att tro att det går att förklara något med bokstäver, som tydligen är så svårt att begripa att det missförstås av dem som varit med och haft förstahandsinformation, är minst sagt optimistiskt...

Genom att dela ut lapparna till försökspersonerna blir det bättre. Icke angivna svar ignoreras. Antar man 4 i panelen och i snitt 5/10 svar per person skulle det bli n´=20.

Även det är provat, och det är orsaken till att vi inte gjort så.


Vh, iö

[berma]

Underligt citat du fick till där... Du klippte innan jag avslutat meningen.


Men visst, självklart bygger det på förtroende. Så är det ju nästan
alltid när man väljer någon till en post. Saknas det förtroendet - att
jag säkerställer att en tillfyllest signifikans hålles - så bör jag inte få
behålla det ansvaret.

Konsekvensen är att jag bör avgår - vilket redan skett.

Ok?


Vh, iö

- - - - -

PS. Det här funkar ju precis som inom politiken - sänk någons
förtroende med hjälp av offentlig kritik, och hoppas på att det
får dem att tappa lusten så till den milda grad att de inte orkar
försvara sig, utan väljer att avgå istället.

Nja, altså jag har respekt för din kompetens och ävern LTS's integritet, dvs. jag tror fortfarande på de resultat ni kommit fram till.

men, om ni har en metod som är bättre an ABX tester så är det väl intressant för alla om den beskrivs. Och det är just för att behålla trovärdigheten det är viktigt att testmetoderna redovisas öppet.

Jag är inte med i LTS och kan ju egentligen inte ha någon åsikt om du ska avgå eller sitta kvar, men jag tycker det tråkigt om det måste gå så långt.

mvh.

[DQ-20]

Kan ni inte beskriva hur ni gör eller hur ni räknar så kan ju ingen utomstående bedöma eller upprepa era tester, då landar det ju bara i er trovärdighet, eg. att ni lovar att det har skett på ett vederhäftigt sätt.

Det känns faktiskt inte särskilt vetenskapligt.

mvh.

Problemet kan väl sammanfattas med: det är inte lönt att förklara något för någon som ingenting begriper. Att utveckla testmetoder som utnyttjar fackkunskap och erfarenhet hos testledare och försökpersoner och att utveckla metoder som alla kan använda om man bara läser bruksanvisningen på paketet är två skilda saker. Förlitar man till viss del på fackkunskap så blir det svårt att förklara för utomstående på grund av det stora hoppet i kunskapsnivå. Det är t.e.x därför det är skillnad på personlighetstest som personalassistent kör på sin dator och på personlighetstest som det sitter en forskare i psykologi och bedömer. Det är därför vi får träffa en doktor och inte ett vårdbiträde med ett datorprogram. Fackkunskap kan inte läggas på burk hur som helst. Jag tycker att hela sifferexercisen leder fel. Jag kan ha vissa invändningar i om detaljer i det statistiska tänkandet men bara för att jag själv använder statistik i arbetet betyder ju inte att jag kan sätta upp "state of the art" lyssningstester om så mitt liv hängde på det. Det svåra är att utveckla själva metoden för insamling av data, inte att beräkna signifikans. Det gäller allt från medicinska studier till lyssningstest: som man ropar får man svar. Och just vad gäller datainsamling råder det här en fullständig obalans i diskussionen.

Vetenskap förutsätter visserligen någon form av kritiskt förhållningsätt, men det handlar också om att kunna lita på varandra. Även om vi här skulle kunna komma fram till olika statistiska beräkningsmetoder och testförfaranden så finns det få som är i stånd att bedöma helheten. Jag föreställer mig att det finns många faktorer som kan påverkar känsligheten i ett lyssningstest liksom olika felkällor. Jag har ingen aning. Och det är här fackkunskapen kommer in. Lång erfarenhet och träning kan inte enkelt traderas utan förblir ofta "tyst" kunskap. Diskusioner om 7 eller 11 i rad blir ytliga och missar mer grundläggande frågor om själva mätinstrumentet. Det är som att mäta med en voltmeter som hela tiden ger olika värde och sedan föra in detta i ett diagram och sedan utropa: jag är till 95 % säker att det är över 200 volt i ledningen. Men man måste mäta 25 gånger i rad annars kan man inte vara riktigt säker. Bzzzt.

Den mycket förbryllande animositeten mellan Svante och Ingvar tycker jag för övrigt kan utredas via andra kanaler än foruminlägg. Har aldrig fungerat för känsligt läge och kommer aldrig att göra det heller.

/Dahlqvist

[IngOehman]

Jag håller nog med om varenda liten detalj av det ovanstående!
(Om jag förstod allt alldeles rätt, vilket jag i varje fall upplevde att jag gjorde.)

Kan tillägga att jag håller Svante för en av de trevligaste personer jag känner. Det är delvis därför det här offentlig-angreppet förbryllar mig.

Nja, altså jag har respekt för din kompetens och ävern LTS's integritet, dvs. jag tror fortfarande på de resultat ni kommit fram till.

Tack. Skönt att det finns en person som har förtroende.

men, om ni har en metod som är bättre an ABX tester så är det väl intressant för alla om den beskrivs.

Om jag trodde att det var möjligt utan att drabbas av en oänligt lång diskussion som drivs av missförstånd, ja - då hade det varit det.

Och det är just för att behålla trovärdigheten det är viktigt att testmetoderna redovisas öppet.

Ja, kanske i teorin, men när jag drabbas av missförtroende till och med från delar av tekniska sektionen, från någon som deltagit i testerna, så känns det inte som om förtroende handlar om information.

Jag kan inte nog informera hur jag har betraktat statistiken, och sett till att ta höjd för alla de osäkerhetsfaktorer (som inte är alls så osäkra som man kan tro, det handlar bara om att se helheten) som riskerar att nagga på marginalerna. Jag har klargjort proportionerna som behövs för att kunna tillåta långa och elastiska serier (det vill säga maximal frihet i exekverandet av testerna), men mötts av misstroende.

Trots kontrollräkningar från invändaren, har det visat sig att mina redovisningar av nödvändiga marginaler (för att säkerställa statistisk signifikans vid flexiblare utförande av testet) har hållit granskningen (vilket förstås inte var någon överraskning för mig). Signifikansen sjunker inte alls till 50% (eller "till noll", som han sade ) när man tar höjd för att kunna fortsätta en initial serie om 8 lyssningar, om man inte lyckas träffa in en rimlig serie. Som jag hävdade, handlar det om några enstaka extra konsekventa svar för att ta höjd för "fri fortsättning".

Hursomhelst: När man misslyckas med att falsifiera saker, brukar man upphöra med kritiken, i varje fall ur just den angreppsvinkeln. Det hade jag väntat mig även i detta fall.

Jag är inte med i LTS och kan ju egentligen inte ha någon åsikt om du ska avgå eller sitta kvar, men jag tycker det tråkigt om det måste gå så långt.

Det tycker jag också, men att stanna kvar känns ännu tråkigare.

Som sagt: Det skall vara kul - annars kan det kvitta.


Vh, iö

[grannilsson]

IngOehman skrev:
Oavsett vilket har jag ställt min plats till förfogande i LTS.
Det skall vara kul att hålla på, annars kan det kvitta, sjöng galenskaparna.

Vore tråkigt Ingvar om det blev så, hoppas verkligen inte det blir en realitet,
jag är i varje fall den andra på att skriva under på att jag har fullt förtroende för din kompetens inom Audio området såväl tekniskt som praktiskt här på Faktiskt och inom LTS vilket har/är en ynnest att ta del av.
Vh Göran Nilsson

[Thomas_A]

Till sist skulle jag vilja tillägga att ett bygge av en ABX-komparator inte borde vara så svårt och att det skulle vara mycket enklare att genomföra testerna. I LTS regi kanske den skulle heta FEX-komparator.

Det är just försök med dylik metod som resulterade i att jag valde en annan.

Det skiljde en del på detektionströskeln.

De allra skickligaste lyssnarna, när de hade sina bästa dagar, förmådde nå ned till ungefär samma tröskel med FEX - men "lika bra" är sämre än bättre. I synnerhet när det bara är ibland.

Dessutom tar ett FEX-test (där bara en lyssnare i taget kan lyssna, om det utförst på normalt sätt) oerhört mycket längre tid att genomföra. Det är redan som det är svårt att hinna med allt vi vill testa.


Vh, iö

Ingvar, jag vet inte om det är du eller jag som missförstår. Ett före och eftertest kan ju göras med följande:

1. Inlyssning.
2. Randomiserad ordning F och E, där båda är okända för lyssnarskaran.

eller

1. Inlyssning.
2. Randomiserad ordning på X, med kända F och E för varje omgång. Valfritt antal jämförelser mellan X och de kända F och E innan bestämmer vad som är X.

Båda metoderna kan användas för en stor lyssnarskara om man önskar.

Thomas_A skrev:
Genom att dela ut lapparna till försökspersonerna blir det bättre. Icke angivna svar ignoreras. Antar man 4 i panelen och i snitt 5/10 svar per person skulle det bli n´=20.

Även det är provat, och det är orsaken till att vi inte gjort så.

Om det är själva nedskrivandet som är problemet/distraktionen istället för att direkt säga resultatet så kan man istället låta någon annan göra det, men då blir det ju en och samma person som ska svarat. Att låta andra svara efter det att någon hört den första tar ju bort oberoendet. Jag förstår iofs inte varför det ska skilja i detektionströskel om man säger svaret resp skriver det.

[BACH]

Det här var verkligen väldigt tråkigt!

Jag har stort förtroende för både Svante och Ingvar och jag tycker inte att någon av dem skall hoppa av från LTS!!!




Vh

[nolimitsoya]

+1 BACH.

[PerStromgren]

Men vi som inte har några personliga intressen, såsom kompis till Svante eller Ingvar, kan inte vi få reda på hur F/E-lyssning är tänkt att fungera? Är det bara Ingvar som bestämmer hur metoden fungerar?

Jag är (inte längre) medlem av LTS, men har ändå intresse av denna metod. Var kan jag få reda på hur den fungerar? Är det hemligt? Troligen inte. Måste man stryka någon medhårs för att få reda på detta?

Jag får en otäck känsla av att kontrahenterna samlar poäng genom att ge upp offentligt. Hoppas att jag har fel.

[Svante]

Jag ska sammanfatta varför jag lade ut det här på forumet. Jag inser att det kan tolkas som ett desperat utfall av en rättshaverist. Men jag ska försöka förklara.

Jag har ända sedan mitt första F/E-testet i LTS haft synpunkter på hur det utförs. Jag har försökt framföra det vid ett flertal diskussioner vid och efter de möten vi har haft. Inför den senaste lyssningen trodde jag att vi hade en överenskommelse om hur testet skulle ändras för att bli mer vetenskapligt, men det visade sig att jag hade tokfel. Alltför mycket tid togs från lyssningen till metoddiskussioner och vi enades till sist om att göra på det gamla sättet och ta diskussionen vid ett annat tillfälle.

Efter lyssningen skrev jag ihop förslaget till ny metod, den som jag länkade till ovan, men Ingvar tog fram yxan (och då vet ni hur det kan låta). Jag blev både förbannad och ledsen över tonen och andemeningen i den sågningen. Det är sällan jag blir riktigt arg på någon, men här blev jag det.

Mitt intryck är att Ingvar inte vill att någon ska peta i metoderna som han har utvecklat under x år (och därför måste vara perfekta (?)). Att jag också har ägnat mig åt blindtester, både yrkesmässigt och privat, spelar liksom ingen roll. F/E-lyssningen som den görs i LTS är en helig ko för honom som han vill ha full kontroll över. Det fick mig att fundera på vad jag egentligen kan bidra med i LTS, och kvar blev intet om jag inte får vara med och förändra. Min enda funktion skulle vara som alibi för LTS vetenskaplighet och det kan jag som ni förstår inte ställa upp på.

I och med det så känner jag mig också tvungen att berätta offentligt att jag inte står bakom den statistiska behandling som görs vid F/E-lyssningarna. Att jag inte kan fungera som alibi. Och ska jag berätta det med någon trovärdighet så måste jag ju berätta hur lyssningarna går till. Det är så ruskigt synd att Ingvar vägrar att ta det där sista lilla steget som skulle göra metoden acceptabel. Det är skitsnack att det skulle vara svårt att förklara hur det går till, det är bara en dålig ursäkt för att slippa redovisa det. Det är rätt enkelt att beskriva, egentligen. Det enda som är svårt är att få reda på vilken signifikans det egentligen blev.

[patrikf_inaktiv]

Svante, kan du be Jesper Jerkert att kika på detta, om ni har nån kontakt?
Han brukar vara bra på att reda ut sånt här.

[Sanny_X]

Svante

Hade det inte varit bätre att ta detta på ett LTS-möte eller på något annat sätt lösa tvisten inom föreningen? Detta gynnar inte föreningen.

[nolimitsoya]

Jag tycker nog det är bättre att visa öppet att man är oense, om man är det.

[Harryup]

Jag tycker att svagheten med metoden inte är testförfarandet utan andrahandstolkningen. Många säger att den apparaten är inte bra för den färgar ljudet utan att ha en aning om hur färgningen lät eller om den ens skulle vara upptäckbar på en mer normal anläggning vid normal lyssningsnivå. Färgat kontra ofärgat vid testögonblicket borde inte graderas som kasst eller godkännt om man inte har förståt under vilka omständigheter felet kan detekteras under vanlig musiklyssning.

[Sanny_X]

Öppet för föreningens medlemmar, det håller jag med om.

Men för utomstående...? Testerna görs ju för medlemmarna.

[Svante]

Svante

Hade det inte varit bätre att ta detta på ett LTS-möte eller på något annat sätt lösa tvisten inom föreningen? Detta gynnar inte föreningen.

Du ska veta att jag har försökt.

[Sanny_X]

OK, mer än jag visste.

[Thomas_A]

En sista kommentar ang. signifikanser. P-värdet för 9 rätt av 9 möjliga är 0.002, vilket innebär att av 1000 försök kommer detta resultat i snitt uppkomma 2 gånger.

I en grupp försök på 100 uppkommer den i snitt 0.2 gånger, och i en grupp på 10 0.02 gånger. Ur en grupp på 5 människor är sannolikheten att den uppkommer 0.01.

Fortfarande under 0.05 alltså.

För 7/7 blir värdet 0.008, ur en grupp med 5 personer som gör ett test blir det 0.04. Dvs den börjar gränsa det som är vetenskapligt acceptabelt.

[n3mmr]

Låter som en sån apparat, dock har en ABX tre omkopplingar. Den kända A, den kända B (vilket kan vara F och E) samt en okänd X (som slumpmässigt är antingen A/B eller om man så vill F/E mellan varje omgång).

Fördelen att en vridomkopplare med X i mitten samt A och B ovan/nedan är att man snabbt kan skifta mellan X-A och X-B för direkta jämförelser. Stora nackdelar med AB:

1. I ett AB-test är båda okända och man har ingen direkt jämförelse under testets gång vad som är vad. Det kan leda till att en eller flera gör 8 fel istället för 8 rätt vid en ev hörselskillnad, vilket gör att den summariska statistiken från fler testpersoner blir en soppa.

2. Hörselminnet är kort. Det kan leda till förvirring under testet där enskilda av misstag blandar ihop hur A och B en gång lät och byter så att säga sin preferens för vad som är A och B. Blir också en soppa.

Det ska väl knappast vara preferenser man letar efter?? Se mer i nästa inlägg..

[Svante]

Svante, kan du be Jesper Jerkert att kika på detta, om ni har nån kontakt?
Han brukar vara bra på att reda ut sånt här.

Haha, ja Jesper har ju intresserat sig en hel del för pseudovetenskap, men inte är det så illa i det här fallet. Alltså, man ska inte jämföra LTS F/E-tester med tarotkort eller nåt annat sånt om nu nån trodde att jag menade det. De är bättre än de flesta tester som görs, förmodligen bättre än samtliga andra hifiblaskor. Det är lätt att tappa proportionerna i såna här debatter.

[patrikf_inaktiv]

Svante, jag tänkte mest på att JJ verkar vara bra på att hitta brister i metodik och statistiska resonemang samt att han verkar engagera sig när det finns tveksamheter.

[n3mmr]

Så vitt jag förstått IÖ så söker han helst svaret på flera frågor.

Inldeningsvis vill han veta

1. Kan man (eller någon) höra skillnad mellan F och E? (Dvs egentligen nöjer han sig med svaret på "Hur troligt är det att det finns en hörbar förändring".)

omedelbart kommer steg

2. Hur svårt är det att höra skillnaden?


Sen vill han gärna föra detta vidare genom att söka samma svar för olika ljud med klokt vald karakteristik, så att man täcker in "en hel del olika ljud man brukar se som olika typer", men viktigast "En hel del olika ljud vars särskillnad underlättar detektion, karakterisering och identifikation av skillnadens egenskaper".

Han vill idealiskt kunna säga nåt i stil med en lista av påståenden som "skillnaden yttrade sig som <förändring> i <del av ljud>".
T ex "Det blev lite ljusare", "det bler lite brusigare" eller vad man kan komma på att lyssnarna upptäcker.

så det tillkommer frågan:

3. Vad är det för skillnader man hör?

och kanske i förlängningen

4. Hur allvarlig är färgningen p g a skillnaden? och i idealfallet

5. Vad ska man tro på för anledning till skillnaden, och hur åtgärdar man den?

(Nästa inlägg tar upp hur svaret på fråga 1 söks)

[Svante]

1. Kan man (eller någon) höra skillnad mellan F och E? (Dvs egentligen nöjer han sig med svaret på "Hur troligt är det att det finns en hörbar förändring".)
2. Hur svårt är det att höra skillnaden?
3. Vad är det för skillnader man hör?
4. Hur allvarlig är färgningen p g a skillnaden? och i idealfallet
5. Vad ska man tro på för anledning till skillnaden, och hur åtgärdar man den?

Jajustdet, och den här tråden/mina anmärkningar handlar enbart om 1.

Ska man vara noga så är allt annat OT.

Mina invändningar gäller att man inte riktigt vet hur stor risken är att man finner en skillnad som inte finns, egentligen.

De övriga punkterna är också viktiga och bör, liksom den första, behandlas med så stor omsorg som man har ork/förmåga till.

[dimitri]

Svante, jag tänkte mest på att JJ verkar vara bra på att hitta brister i metodik och statistiska resonemang samt att han verkar engagera sig när det finns tveksamheter.

två frågeställningar.
A: metoden i sig
B: Utvärderinen av metoden.

Båda aspekterna är viktiga. Metoden kan vara hur bra som helst men om den statistiska utvärderingenn fallerar (eller anses fallera) så bör den rättas till.

Frågan är således
Är f/e metoden något att bygga vidare på?
om ja; kan utvärderingeringen skärpas?

Utvärderingen kan ALLTID skärpas.
1: är det nödvändigt?
2: är det önskvärt?

Låt mig säga så här:
LTS och dess f/e metodik är den enda, DEN ENDA, nu tillgängliga objektiva metodiken att värdera apparater. Nyktert och utan jäv.
Den måste bestå-utvecklas-förbättras.
Det kan vara så att metodiken har en större chans att få hifiallmänhetens tilltro utan Svante och Ingvar vid spakarna. OAVSETT hur rätt i sak dessa två må ha i sak.




Jag är inte medlem. Icke desto mindre tycker jag att LTS tillför en befriande (och nödvändig) frisk fläkt i den inhemska debatten.

Jag har också ett stort förtroende för Svante och Ingvar.
Det hindrar emellertid inte att det kan vara uppfriskande, förnyande, konstruktivt att nya krafter kommer in. De gamla krafterna ska inte känna sig kastade på soptippen.

[n3mmr]

F/E-lyssning söker alltså svaret på

1. Kan man (eller någon) höra skillnad mellan F och E? (Dvs egentligen nöjer han sig med svaret på "Hur troligt är det att det finns en hörbar förändring".)

omedelbart kommer steg

2. Hur svårt är det att höra skillnaden?

Lyssnaren bör då ges två signaler om vilka han vet att antingen är båda F eller också är den ena F och den andra E.

Intutivt tycker jag det borde vara egalt om fallet "samma signal" alltid är "Båda är F" eller om det också kan vara "Båda är E".

Sen kan det ju vara lättare i ett enskilt fall att höra skillnad om E kommer efter F eller kanske tvärtom. Men ordningen kan ju fås att vara E->F omväxlande med F->E i alla fall, om man lyssnar lite fram och tillbaka.

Det borde vara enklare, och helt OK för undersökningen om man alltid vet att "detta är F" om den ena signalen.

Om den andra signalen skall man då inte veta om den är F eller E.

Dvs in i apparaten som väljer (kan ju vara IÖ med en omkopplarlåda... och munkavle.... ) skickas F resp E. I apparaten liksätts nivåerna från F och E så noga det bara går. Ur apparaten kommer en F-signal, och en X-signal, där X på slump är F eller E.

Sen ombeds lyssnaren avgöra om X är samma som F eller inte.

Är detta rätt?

[Thomas_A]

Låter som en sån apparat, dock har en ABX tre omkopplingar. Den kända A, den kända B (vilket kan vara F och E) samt en okänd X (som slumpmässigt är antingen A/B eller om man så vill F/E mellan varje omgång).

Fördelen att en vridomkopplare med X i mitten samt A och B ovan/nedan är att man snabbt kan skifta mellan X-A och X-B för direkta jämförelser. Stora nackdelar med AB:

1. I ett AB-test är båda okända och man har ingen direkt jämförelse under testets gång vad som är vad. Det kan leda till att en eller flera gör 8 fel istället för 8 rätt vid en ev hörselskillnad, vilket gör att den summariska statistiken från fler testpersoner blir en soppa.

2. Hörselminnet är kort. Det kan leda till förvirring under testet där enskilda av misstag blandar ihop hur A och B en gång lät och byter så att säga sin preferens för vad som är A och B. Blir också en soppa.

Det ska väl knappast vara preferenser man letar efter?? Se mer i nästa inlägg..

Håller med om att ordvalet var fel, men i ett sådant test måste ljudminnet komma ihåg hur skillnaden yttrade sig vid inlyssningen. Är skillnaden mycket liten är det alltid bra att få möjlighet till en omedelbar repetition av hur F och E låter, inbyggt och helt valbart i varje omgång. Att jag skrev "preferens" har att göra med att 30-60 minuter eller längre efter inlyssning fortfarande måste ha skillnaden "i huvudet".

När Ingvar skrev om F/E så avsågs vad jag förstår i första hand att den är känsligare pga av man jämför före och eftersignal och inte två apparater med varandra. Man testar alltså en apparats färgningsegenskaper, och dessutom kan man testa apparater vid både hög och låg belastning eller utnivå och samtidigt ha en behaglig lyssningsnivå vid testet. Det kan man inte vid en konventionell A/B.

Om själva testningsförfarandet (ABX, AB) vid ett F/E har det inte skrivits så mycket om här, och heller inte om dessa skulle ha signifikant olika detektionsgrad. Jag har inte alls svårt att förstå F/Es fördelar jämfört med A/B, men jag har inte hört några direkta argument för att FEX skulle vara sämre än F/E. FEX borde vara känsligare, med de argument som framförts. Motargument kanske finns men jag vet inte om några.

[Svante]

Låt mig säga så här:
LTS och dess f/e metodik är den enda, DEN ENDA, nu tillgängliga objektiva metodiken att värdera apparater. Nyktert och utan jäv.
Den måste bestå-utvecklas-förbättras.
Det kan vara så att metodiken har en större chans att få hifiallmänhetens tilltro utan Svante och Ingvar vid spakarna. OAVSETT hur rätt i sak dessa två må ha i sak.

Ja, håller med till fullo. Jag hoppas att kvarvarande styrelsen fortsätter testa apparater och utveckla metoden.

Och alla andra, faktiskt. Det är inte svårt att F/E-testa, speciellt inte om LTS kunde göra en liten manual på hur deras tester går till.

[n3mmr]

1. Kan man (eller någon) höra skillnad mellan F och E? (Dvs egentligen nöjer han sig med svaret på "Hur troligt är det att det finns en hörbar förändring".)

Jajustdet, och den här tråden/mina anmärkningar handlar enbart om 1.

Ska man vara noga så är allt annat OT.

Njae, jag håller med dig men ändå inte: Det är ev inte OT, därför att IÖ förefaller mig hävda att hur svaret på 1 söks och hur diskussionen kring detta sökande bedrivs kan påverka vilka möjligheter man har att veta nåt om vad man hörde.

Jag håller inte med honom om det.

Men att han hävdar det gör övriga frågor till on-topic, t v.

Jag tycker att en korrekt designad presentationsutrustning med en korrekt designad datainsamlingsteknik borde underlätta sökandet av "den underliggande verkligheten".
I den designen ingår rimligen en vetenskaplig diskussion, i första steg, och ständigt återkommande efter varje ny erfarenhet av metoden.

Sen vill jag påminna IÖ om hans egenproklamerade insikt om att det inte alltid är tvås fel att två träter.

[Svante]

Men att han hävdar det gör övriga frågor till on-topic, t v.

Ja, ok, det är kanske dumt av mig att försöka hindra tråden från att sväva bort från det jag ville, nämligen konfidens i F/E-tester och varför jag inte kan stå bakom LTS metod (för att räkna ut konfidensen). Jag bara ser hur ämnet kan komma att drunkna i en rökridå av annat. Men jag inser att jag inte kan bestämma det, så kör på.

[Svante]

Jag kanske ska förtydliga en sak i min beskrivning av testerna. I LTS-versionen sitter försöksledaren och växlar på en omkopplare. Signalen är typiskt en kort snutt av en CD-skiva som har visat sig särskilt avslöjande, CD-spelaren sätts på repetering av denna snutt, och i varje repetering växlar försöksledaren på omkopplaren.

Man kan alltså "följa med" ett par växlingar och tänka "före-efter-före-efter..." och se om intrycket stämmer i varje växling för att till sist bestämma sig och ropa till "före" (eller "efter"). Då slutar försöksledaren växla och antecknar om svaret var rätt eller fel.

Sen får, och detta är problematiskt, även andra lyssnare instämma eller motsäga den första som svarade, och även detta antecknas.

[silvervarg]

Svante: ...Alltså, man ska inte jämföra LTS F/E-tester med tarotkort eller nåt annat sånt om nu nån trodde att jag menade det. De är bättre än de flesta tester som görs, förmodligen bättre än samtliga andra hifiblaskor. Det är lätt att tappa proportionerna i såna här debatter.

Först och främst håller jag med Svante om att LTE F/E-tester är de mest trovärdiga tester som jag har sett resultat från. Jag hoppas att de skall förbli minst lika trovärdiga som de hittills har varit.

Svante föreslår förändringar i metoden i ett försök att öka testernas trovärdighet. I och för sig ett lovvärt initiativ om det har goda chanser att lyckas.
Just nu ser det ut som stor risk att både Svante och Ingvar lämnar skeppet i vredesmod. Ett sådant förfarande anser jag skulle skada LTS F/E tester otroligt mycket mer än att fortsätta med nuvarande metod även om den möjligen har brister.
Det gäller att se till helheten och inte bara till detaljerna.
Tester genomförs till stor del pga eldsjälar som utför ideellt arbete. Om man kräver att pressa in saker som gör detta arbete betydligt tråkigare så kommer eldsjälarna försvinna och då blir inget arbete utfört.
Jag jobbar och har jobbat mycket ideellt (dock inte med HiFi anknytning) och har sett liknande problem vid flertalet tillfällen.
Visst måste man sätta gränser om något är totalt galet, och man får gärna försöka påverka (helst med eget arbete och engagemang) för att att förbättra saker. När man däremot ställer hårt mot hårt i en känslomässig situation så bör man vara beredd att ta eventuella konsekvenser på ett ansvarsfullt sätt.

Jag känner varken Svante eller Ingvar och diskussioner på Forum tenderar att missa några viktiga saker, som t.ex. känslor och vill därför inte dra några slutsatser av era utspel i denna tråd. Däremot hoppas jag att ni läser detta inlägg och begrundar vad som är bäst för LTS (som jag tror att ni båda har ett hjärta som klappar för).
Dessutom vill jag uppmana er att prata direkt med varandra (möjligen per telefon) för att försöka lösa eran personliga dispyt i detta ärende.

[Svante]

Ang AB och ABX:

Jag har aldrig förstått poängen med ABX, jag tycker det verkar jobbigt att jämföra två jämförelser med varandra, men inser att en del tycker att det är enklare. Eftersom jag inte heller ser något metodologiskt problem med ABX, annat än att det kräver en aningen annorlunda utrustning, så kan jag inte säga att den ena är bättre än den andra.

Man kan välja det man vill, helt enkelt, tycker jag.

[n3mmr]

Men att han hävdar det gör övriga frågor till on-topic, t v.

Ja, ok, det är kanske dumt av mig att försöka hindra tråden från att sväva bort från det jag ville, nämligen konfidens i F/E-tester och varför jag inte kan stå bakom LTS metod (för att räkna ut konfidensen). Jag bara ser hur ämnet kan komma att drunkna i en rökridå av annat. Men jag inser att jag inte kan bestämma det, så kör på.

Ursäkta, Svante, jag missade smileyn.

Det är OT att ta upp de andra aspekterna annat än i nåt slags "metakonsekvensdiskussion". Det är inte dumt att försöka hindra utsvävningar, i stort ialla fall.

Jag önskar att vi nu kan återgå till att tala om hur konfidensen påverkas av metodval, samt hur man väljer en lämplig metod för just fråga 1 (och kanske delvis fråga 2) med hänsyn till att den inte ska vara för tung, enkel att repetera samt inte hindra kunskapsinhämtning i de övriga avseendena.

(Pust puh, vilket hemskt språk..)

Dessutom hoppas jag att det i framtiden kan bli verkligt dubbelblint.

[n3mmr]

Ang AB och ABX:

Jag har aldrig förstått poängen med ABX, jag tycker det verkar jobbigt att jämföra två jämförelser med varandra, men inser att en del tycker att det är enklare. Eftersom jag inte heller ser något metodologiskt problem med ABX, annat än att det kräver en aningen annorlunda utrustning, så kan jag inte säga att den ena är bättre än den andra.

Man kan välja det man vill, helt enkelt, tycker jag.

Jag har alltid undrat varför man inte faktiskt testar direkt det man säger sig vilja testa, nämligen om det finns en skillnad?

Dvs Spela upp X resp Y. två svar kan ges: X=Y eller X<>Y.

Två fall finns: (X=F, Y=F) resp (X=F, Y=E)

Vari ligger nackdelen med denna metod??

[Thomas_A]

Ang AB och ABX:

Jag har aldrig förstått poängen med ABX, jag tycker det verkar jobbigt att jämföra två jämförelser med varandra, men inser att en del tycker att det är enklare. Eftersom jag inte heller ser något metodologiskt problem med ABX, annat än att det kräver en aningen annorlunda utrustning, så kan jag inte säga att den ena är bättre än den andra.

Man kan välja det man vill, helt enkelt, tycker jag.

Poängen med en ABX är ganska uppenbar eftersom hörselminnet är kort. Att man missar en del skillnader pga av detta är uppenbart, vid musiklyssning är ju upplevelsen i samma stund man hör ljudet.

Att först jämföra A med B hur många gångar jag vill. Vilken är skillnaden och vad ska jag specifikt lyssna till? Sedan A med X, hur mycket man vill. Hör jag samma skillnad? Sedan B med X, hur mycket man vill. Hör jag skillnad? Och sedan kunna repetera det hela hur många gångar man vill, innan man anger vad X är.

I ett AB kan man visserligen detektera skillnaden men det finns en risk för felval då man inte har direkt access till det kända A och B när processen är blindad. ABX ger möjligheten att direkt kontrollera vilken förändring som tillhörde A eller B.

[Svante]

Däremot hoppas jag att ni läser detta inlägg och begrundar vad som är bäst för LTS (som jag tror att ni båda har ett hjärta som klappar för).
Dessutom vill jag uppmana er att prata direkt med varandra (möjligen per telefon) för att försöka lösa eran personliga dispyt i detta ärende.

Jadå, jag läser. Men även om vi skulle lösa just det som har hänt så ser jag ingen återvändo för mig själv till LTS styrelse. Det går liksom inte oavsett om Ingvar låter sig övertalas tillbaka eller inte. Smällen och insikten var för hård. Och jag är både glad och ledsen för det. Jag är glad för att jag äntligen kan berätta öppet om min kritik mot testet, jag har länge velat öppna upp verksamheten men mött motstånd. Jag är ledsen bla för att det kommer att innebära mindre deltagande i hifisverige.

Men det där var OT.

[Svante]

Ang AB och ABX:

Jag har aldrig förstått poängen med ABX, jag tycker det verkar jobbigt att jämföra två jämförelser med varandra, men inser att en del tycker att det är enklare. Eftersom jag inte heller ser något metodologiskt problem med ABX, annat än att det kräver en aningen annorlunda utrustning, så kan jag inte säga att den ena är bättre än den andra.

Man kan välja det man vill, helt enkelt, tycker jag.

Jag har alltid undrat varför man inte faktiskt testar direkt det man säger sig vilja testa, nämligen om det finns en skillnad?

Dvs Spela upp X resp Y. två svar kan ges: X=Y eller X<>Y.

Två fall finns: (X=F, Y=F) resp (X=F, Y=E)

Vari ligger nackdelen med denna metod??

Nackdelen ligger i att man snarare kommer att mäta upp folks benägenhet att lita på sin förmåga. De kan alltid välja att säga att det inte finns någon skillnad. Den som gärna fegar kommer att behöva mer skillnad för att våga säga att den finns.

Om man tvingar folk att välja så gör de så gott de kan och då får man reda på hur bra de kan.

[Svante]

Poängen med en ABX är ganska uppenbar eftersom hörselminnet är kort. Att man missar en del skillnader pga av detta är uppenbart, vid musiklyssning är ju upplevelsen i samma stund man hör ljudet.

Hehe, ja jag vill som sagt inte tvinga någon att använda AB, men det ovanstående tycker jag just är ett argument för AB, inte ABX. I ABX måste man ju jämföra två jämförelser med varandra. Är X likare A än det är likt B?

[n3mmr]

Däremot hoppas jag att ni läser detta inlägg och begrundar vad som är bäst för LTS (som jag tror att ni båda har ett hjärta som klappar för).
Dessutom vill jag uppmana er att prata direkt med varandra (möjligen per telefon) för att försöka lösa eran personliga dispyt i detta ärende.

Jadå, jag läser. Men även om vi skulle lösa just det som har hänt så ser jag ingen återvändo för mig själv till LTS styrelse. Det går liksom inte oavsett om Ingvar låter sig övertalas tillbaka eller inte. Smällen och insikten var för hård. Och jag är både glad och ledsen för det. Jag är glad för att jag äntligen kan berätta öppet om min kritik mot testet, jag har länge velat öppna upp verksamheten men mött motstånd. Jag är ledsen bla för att det kommer att innebära mindre deltagande i hifisverige.

Men det där var OT.

Det där var sorgligt att höra. Du är inte ensam om att ha reagerat på liknande sätt, om det kan vara nån tröst.

Starta en egen vetenskaplig hifi-tidning, vetja! Acta Audiotechnica Scandinavica..

Jag skulle prenumerera, helt klart. Jag skämtar, kanske, men bara lite...

[berma]

Den kritik som jag tycker man kan rikta mot LTS metodik.

1. Testledaren vet hela tiden vad som är F eller E, testledaren kan då medvetet eller omedvetet påverka testpanelen.
2. Testpanelen vet hela tiden vad andra i testpanelen ”hör”, man kan således påverka varandra, medvetet eller omedvetet.
3. Det är inte i förväg bestämt hur eller när man fått ett resultat , dvs. hur långa testserierna ska vara eller vid vilken konfidensnivå man ska stanna.
4. Metoden finns inte beskriven så den går därför inte att kritisera eller ens förbättra,
5. Det finns tydligen inte ens någon av alla accepterad matematik för att utvärdera resultaten.
6. Det finns ingen möjlighet för en utomstående att värdera resultaten pga #4.

Detta bara för att detektera om det finns en hörbar skillnad mellan F och E, om man sedan ska utvärdera VAD det är man hör, ... ja då..

Om metoden i sig ska diskuteras här tycker jag att Svantes förslag är en mycket bra utgångspunkt, och även de inlägg som Tomas_A gjort.

nu ska jag nog inte lägga mig i det här mer.
ha det
och God Jul

[Thomas_A]

Ang AB och ABX:

Jag har aldrig förstått poängen med ABX, jag tycker det verkar jobbigt att jämföra två jämförelser med varandra, men inser att en del tycker att det är enklare. Eftersom jag inte heller ser något metodologiskt problem med ABX, annat än att det kräver en aningen annorlunda utrustning, så kan jag inte säga att den ena är bättre än den andra.

Man kan välja det man vill, helt enkelt, tycker jag.

Jag har alltid undrat varför man inte faktiskt testar direkt det man säger sig vilja testa, nämligen om det finns en skillnad?

Dvs Spela upp X resp Y. två svar kan ges: X=Y eller X<>Y.

Två fall finns: (X=F, Y=F) resp (X=F, Y=E)

Vari ligger nackdelen med denna metod??

Nackdelen ligger i att man snarare kommer att mäta upp folks benägenhet att lita på sin förmåga. De kan alltid välja att säga att det inte finns någon skillnad. Den som gärna fegar kommer att behöva mer skillnad för att våga säga att den finns.

Om man tvingar folk att välja så gör de så gott de kan och då får man reda på hur bra de kan.

Ovanstående metod är inte bra pga av att den inte har någon känd jämförelse. Dock ska man aldrig tvinga någon att svara vid ett test, utan folk svarar endast om de är säkra eller tror sig veta. Bedömer man att man gissar, ska man hoppa över omgången och försöka på nästa. Frågan man ställer sig är hur pass säker man ska vara för att bedöma att man ska svara? Jo man testar och övar helt enkelt för att kunna få ett mått på vad man ska gå efter. Att de som övat också är skickligare är ju vetenskapligt visat.

[Svante]

Ähvafasen...

Jag tar och lägger upp manus till artikeln jag skrev i MoLT nummer 1 i år. Där kan man läsa om hur man gör för att kunna avbryta lyssningsserier i förtid om man får tillräckligt många rättsvar och ändå bibehålla hög konfidens.

http://user.faktiskt.io/svante/om_blindtester.htm

[n3mmr]

Ang AB och ABX:

Jag har aldrig förstått poängen med ABX, jag tycker det verkar jobbigt att jämföra två jämförelser med varandra, men inser att en del tycker att det är enklare. Eftersom jag inte heller ser något metodologiskt problem med ABX, annat än att det kräver en aningen annorlunda utrustning, så kan jag inte säga att den ena är bättre än den andra.

Man kan välja det man vill, helt enkelt, tycker jag.

Jag har alltid undrat varför man inte faktiskt testar direkt det man säger sig vilja testa, nämligen om det finns en skillnad?

Dvs Spela upp X resp Y. två svar kan ges: X=Y eller X<>Y.

Två fall finns: (X=F, Y=F) resp (X=F, Y=E)

Vari ligger nackdelen med denna metod??

Nackdelen ligger i att man snarare kommer att mäta upp folks benägenhet att lita på sin förmåga. De kan alltid välja att säga att det inte finns någon skillnad. Den som gärna fegar kommer att behöva mer skillnad för att våga säga att den finns.

Om man tvingar folk att välja så gör de så gott de kan och då får man reda på hur bra de kan.

Ovanstående metod är inte bra pga av att den inte har någon känd jämförelse. Dock ska man aldrig tvinga någon att svara vid ett test, utan folk svarar endast om de är säkra eller tror sig veta. Bedömer man att man gissar, ska man hoppa över omgången och försöka på nästa. Frågan man ställer sig är hur pass säker man ska vara för att bedöma att man ska svara? Jo man testar och övar helt enkelt för att kunna få ett mått på vad man ska gå efter. Att de som övat också är skickligare är ju vetenskapligt visat.

Har den ju! Man vet ju att X alltid är F.

[Thomas_A]

Poängen med en ABX är ganska uppenbar eftersom hörselminnet är kort. Att man missar en del skillnader pga av detta är uppenbart, vid musiklyssning är ju upplevelsen i samma stund man hör ljudet.

Hehe, ja jag vill som sagt inte tvinga någon att använda AB, men det ovanstående tycker jag just är ett argument för AB, inte ABX. I ABX måste man ju jämföra två jämförelser med varandra. Är X likare A än det är likt B?

Men i ett AB har du inget jämförelsematerial. Du kanske detekterar en skillnad men du kan inte säkert säga vilken som är F och E eftersom hörselminnet glömt detta.

[Thomas_A]

Ang AB och ABX:

Jag har aldrig förstått poängen med ABX, jag tycker det verkar jobbigt att jämföra två jämförelser med varandra, men inser att en del tycker att det är enklare. Eftersom jag inte heller ser något metodologiskt problem med ABX, annat än att det kräver en aningen annorlunda utrustning, så kan jag inte säga att den ena är bättre än den andra.

Man kan välja det man vill, helt enkelt, tycker jag.

Jag har alltid undrat varför man inte faktiskt testar direkt det man säger sig vilja testa, nämligen om det finns en skillnad?

Dvs Spela upp X resp Y. två svar kan ges: X=Y eller X<>Y.

Två fall finns: (X=F, Y=F) resp (X=F, Y=E)

Vari ligger nackdelen med denna metod??

Nackdelen ligger i att man snarare kommer att mäta upp folks benägenhet att lita på sin förmåga. De kan alltid välja att säga att det inte finns någon skillnad. Den som gärna fegar kommer att behöva mer skillnad för att våga säga att den finns.

Om man tvingar folk att välja så gör de så gott de kan och då får man reda på hur bra de kan.

Ovanstående metod är inte bra pga av att den inte har någon känd jämförelse. Dock ska man aldrig tvinga någon att svara vid ett test, utan folk svarar endast om de är säkra eller tror sig veta. Bedömer man att man gissar, ska man hoppa över omgången och försöka på nästa. Frågan man ställer sig är hur pass säker man ska vara för att bedöma att man ska svara? Jo man testar och övar helt enkelt för att kunna få ett mått på vad man ska gå efter. Att de som övat också är skickligare är ju vetenskapligt visat.

Har den ju! Man vet ju att X alltid är F.

Jag menade ett fullständigt jämförelsematerial. Det går ju inte att jämföra F mot E om man så önskar.

[IngOehman]

Men även om vi skulle lösa just det som har hänt så ser jag ingen återvändo för mig själv till LTS styrelse. Det går liksom inte oavsett om Ingvar låter sig övertalas tillbaka eller inte. Smällen och insikten var för hård. Och jag är både glad och ledsen för det. Jag är glad för att jag äntligen kan berätta öppet om min kritik mot testet, jag har länge velat öppna upp verksamheten men mött motstånd. Jag är ledsen bla för att det kommer att innebära mindre deltagande i hifisverige.

Men det där var OT.

Min inställning är, om jag förstår dig rätt, den rakt motsatta:

Jag kan endast tänka mig ett fortsätt deltagandet i LTS' styrelse om vi kan lösa detta och du omvärderar din egen inställning till avhoppet.

Du måste vara med, annars är det helt otänkbart för mig att vara det.

För att jag skall kunna vara med måste det ju finnas ett förtroende, och ett större misstroende än ditt avhopp och kritiken du framför här på faktiskt kan jag knappast tänka mig.


Mest är jag förvånad dock, eftersom vi på förra mötet (efter att du hade räknat på saken) tycktes vara överens om att den höjd jag alltid genom åren taget för att tillse tillfyllset signifikans, hade goda marginaler. Och nu denna massiva kritik?


Vh, iö

[IngOehman]

...därför att IÖ förefaller mig hävda att hur svaret på 1 söks och hur diskussionen kring detta sökande bedrivs kan påverka vilka möjligheter man har att veta nåt om vad man hörde.

Jag håller inte med honom om det.

Bra, det gör nog inte jag heller.

I varje fall om din hypotes om vad jag hävdat är så felaktig som jag uppfattar den.

Eller också missförstår jag dig. Du är inte speciellt tydlig.


Om du menar, att jag menar, att man inte skall be försökspersonerna exempelvis lösa korsord samtidigt som de skall detektera på gränsen till hörbara fel, så har du rätt i att jag menar det - men då förstår jag inte varför du inte håller med mig om det.


Vh, iö

[Kaffekoppen]

Svante och Ingvar,

vi hörs senare idag!

Sov gott.

[Thomas_A]

Ähvafasen...

Jag tar och lägger upp manus till artikeln jag skrev i MoLT nummer 1 i år. Där kan man läsa om hur man gör för att kunna avbryta lyssningsserier i förtid om man får tillräckligt många rättsvar och ändå bibehålla hög konfidens.

http://user.faktiskt.io/svante/om_blindtester.htm

En omedelbar kommentar. Designen att få veta hur många rätt man har under testets gång och sedan bestämma om man vill fortsätta etc förstår jag inte. Det är bättre att bestämma ett antal omgångar och ett antal personer och inte berätta under testets gång hur det går utan rätta svaren efter testet. Då spelar det ingen roll om man har missing data; uteblivna svar ignoreras.

[Svante]

Men även om vi skulle lösa just det som har hänt så ser jag ingen återvändo för mig själv till LTS styrelse. Det går liksom inte oavsett om Ingvar låter sig övertalas tillbaka eller inte. Smällen och insikten var för hård. Och jag är både glad och ledsen för det. Jag är glad för att jag äntligen kan berätta öppet om min kritik mot testet, jag har länge velat öppna upp verksamheten men mött motstånd. Jag är ledsen bla för att det kommer att innebära mindre deltagande i hifisverige.

Men det där var OT.

Min inställning är, om jag förstår dig rätt, den rakt motsatta:

Jag kan endast tänka mig ett fortsätt deltagandet i LTS' styrelse om vi kan lösa detta och du omvärderar din egen inställning till avhoppet.

Du måste vara med, annars är det helt otänkbart för mig att vara det.

Ja, det är just det här manipulativa som gör att jag inte vill vara med. Du lägger bollen (skenbart) hos mig, som om det hänger det på mig om LTS ska fortsätta finnas eller inte. Men svaret är alltså nej. Valet om du ska fortsätta är fortfarande ditt.

Du har ett jobb framför dig att föra in öppenhet i LTS F/E-lyssnande. I det kommer det att uppstå diskussioner och de kommer att vara jobbiga ibland, men när man väl har tagit sig igenom den proceduren, med vilja att förändra, så har man en mycket bättre metod. Det jobbet får du och de andra i styrelsen fixa själva. Ni får gärna fråga mig om det är något ni undrar över, men arbetet är ert.

Jag ser fram emot det metoddokument som beskriver hur LTS framtida F/E-lyssningar ska gå till.

[Svante]

Ähvafasen...

Jag tar och lägger upp manus till artikeln jag skrev i MoLT nummer 1 i år. Där kan man läsa om hur man gör för att kunna avbryta lyssningsserier i förtid om man får tillräckligt många rättsvar och ändå bibehålla hög konfidens.

http://user.faktiskt.io/svante/om_blindtester.htm

En omedelbar kommentar. Designen att få veta hur många rätt man har under testets gång och sedan bestämma om man vill fortsätta etc förstår jag inte. Det är bättre att bestämma ett antal omgångar och ett antal personer och inte berätta under testets gång hur det går utan rätta svaren efter testet. Då spelar det ingen roll om man har missing data; uteblivna svar ignoreras.

Problemet med den approachen är att man tvingas till många fler (sa du 25?) lyssningar än vad som för det mesta behövs. Statistiken i artikeln håller (även om du inte förstår den ), jag har gjort ett program som simulerar metoden (som jag länkade till ovan).

Programmet gör helt slumpmässiga serier och applicerar avbrottskriterierna på dem. Sedan är det bara att räkna hur stor andel av dem som (falskeligen) gav positivt utfall. Gör man en miljon sådana serier i datorn så kommer man mycket nära den verkliga konfidensen.

Det fina med att simulera är att man ser direkt om man har tänkt fel eller inte (tro mig, det har hänt ).

...och det fina med metoden är att man inte tröttar ut lyssnarna i onödan.

[Vee-Eight]

Svante, Öhman:

Är inte det här en diskussion ni två skulle kunna ta över en kaffe istället? Ett forum i allmänhet, detta i synnerhet, är inte rätt ställe för undvikande av missförstånd.

m.v.h.

V8, dubbelnegationernas okrönte.

[Thomas_A]

Ähvafasen...

Jag tar och lägger upp manus till artikeln jag skrev i MoLT nummer 1 i år. Där kan man läsa om hur man gör för att kunna avbryta lyssningsserier i förtid om man får tillräckligt många rättsvar och ändå bibehålla hög konfidens.

http://user.faktiskt.io/svante/om_blindtester.htm

En omedelbar kommentar. Designen att få veta hur många rätt man har under testets gång och sedan bestämma om man vill fortsätta etc förstår jag inte. Det är bättre att bestämma ett antal omgångar och ett antal personer och inte berätta under testets gång hur det går utan rätta svaren efter testet. Då spelar det ingen roll om man har missing data; uteblivna svar ignoreras.

Problemet med den approachen är att man tvingas till många fler (sa du 25?) lyssningar än vad som för det mesta behövs. Statistiken i artikeln håller (även om du inte förstår den ), jag har gjort ett program som simulerar metoden (som jag länkade till ovan).

Programmet gör helt slumpmässiga serier och applicerar avbrottskriterierna på dem. Sedan är det bara att räkna hur stor andel av dem som (falskeligen) gav positivt utfall. Gör man en miljon sådana serier i datorn så kommer man mycket nära den verkliga konfidensen.

Det fina med att simulera är att man ser direkt om man har tänkt fel eller inte (tro mig, det har hänt ).

...och det fina med metoden är att man inte tröttar ut lyssnarna i onödan.

Nej, man måste inte ta till fler, men fler gör att man kan approximera normalfördelning. Man kan räkna på konfidensintervall baserat på detta, dvs inom vilken range den sanna proportionen svar ligger. Om den kalkylerade sanna proprotionsrangen ligger mellan 0.7-1 vid 95% signifikans så innebär det 7-10 rätt av 10 (där de diskreta proportionerna 7/10 och 8/10 i sig inte är signifikanta), medans vid n= 30 ligger den signifikanta svaren inom proportionsgränserna (21-30 rätt av 30).

Men det verkar helt onödigt att sänka signifikansen genom att visa resultaten, tillåta val och avbryta i förtid. Det är bättre att bestämma sig för ett mål, exempelvis 20 svar totalt. Då kan man från 4 personer och 10 omgångar få 20 svar om man räknar med 50% bortfall av svaren. Fler är bättre. Man kan alltid tillåta ett val efter att de 10 omgångarna är körda med frågan om det är någon som vill fortsätta. Utan att visa svaren naturligtvis. Bedömningen om man vill fortsätta eller ej beror ju på personen själv om man känner att man lätt skulle klara några till utan att bli trött etc.

[Frutti]

Svante, Öhman:

Är inte det här en diskussion ni två skulle kunna ta över en kaffe istället? Ett forum i allmänhet, detta i synnerhet, är inte rätt ställe för undvikande av missförstånd.

Bara lite nyfiken. Säger du sånt här som admin eller som dig själv?

[IngOehman]

Men även om vi skulle lösa just det som har hänt så ser jag ingen återvändo för mig själv till LTS styrelse. Det går liksom inte oavsett om Ingvar låter sig övertalas tillbaka eller inte. Smällen och insikten var för hård. Och jag är både glad och ledsen för det. Jag är glad för att jag äntligen kan berätta öppet om min kritik mot testet, jag har länge velat öppna upp verksamheten men mött motstånd. Jag är ledsen bla för att det kommer att innebära mindre deltagande i hifisverige.

Men det där var OT.

Min inställning är, om jag förstår dig rätt, den rakt motsatta:

Jag kan endast tänka mig ett fortsätt deltagandet i LTS' styrelse om vi kan lösa detta och du omvärderar din egen inställning till avhoppet.

Du måste vara med, annars är det helt otänkbart för mig att vara det.

Ja, det är just det här manipulativa som gör att jag inte vill vara med. Du lägger bollen (skenbart) hos mig, som om det hänger det på mig om LTS ska fortsätta finnas eller inte. Men svaret är alltså nej. Valet om du ska fortsätta är fortfarande ditt.

Manipulativt? Jag är bara ärlig, och säger hur jag ser på det.

Tycker du att det är fel att jag berättar hur jag känner? Ja kan tillägga att jag inte tycker att det är helt sjysst att sitta i en styrelse, kritisera sina medarbetare så till den milda grad (offentligt) att de inte tycker det är roligt längre - och sedan själv hoppa av.

Du tycker inte att det blir lite "mission accomplished" av det?

Du har ett jobb framför dig att föra in öppenhet i LTS F/E-lyssnande. I det kommer det att uppstå diskussioner och de kommer att vara jobbiga ibland, men när man väl har tagit sig igenom den proceduren, med vilja att förändra, så har man en mycket bättre metod.

Jag har inga invändningar mot metoden som den varit sedan 1980 ungefär, jag ser ingenting som kan bli bättre med den.

Dessutom är jag inte med i LTS styrelse längre. Om du är det vet jag inte, men det var du när jag hoppade av.

Det jobbet får du och de andra i styrelsen fixa själva. Ni får gärna fråga mig om det är något ni undrar över, men arbetet är ert.

Som sagt, när jag hoppade av verksamheten var du kvar, och om du verkar för andras avhopp så bör du vara beredd att ta över jobbet. Annars är det enda du åstadkommit att ta död på LTS.

Jag ser fram emot det metoddokument som beskriver hur LTS framtida F/E-lyssningar ska gå till.

Ok.

Vi får väl se om något skriver ett sådant.

Hade jag varit kvar i verksamheten så skulle jag prioriterat att skriva artiklar om testobjekten, alltså om olika apparater och hur de beter sig. Tycker det är det som tjänar medlemmarna bäst. Det är en prioritering som känns rimlig tycker jag, för detta är i´´eellt arbete och det är svårt nog att få det gjort.

Det som jag tycker behöver sägas om själva testmetoden är sagt - det är en metod där man i blindlyssning jämför in- och utsignal från en apparat, efter att niväerna har matchats bättre än 0,05 dB. Vi strävar alltid efter en statistisk signifikans bättre än 99%. Utförandet i övrigt är maximalt flexibelt således att testförfarandet kan anpassas och ge lägsta möjliga detektionströskel, vilka fel man än söker.

Vill man veta mera så kan man läsa artikeln om F/E-lyssning som publicerades i jag tror det var MoLt nummer 1-1991.


Vh, iö

[Svante]

Svante, Öhman:

Är inte det här en diskussion ni två skulle kunna ta över en kaffe istället? Ett forum i allmänhet, detta i synnerhet, är inte rätt ställe för undvikande av missförstånd.

m.v.h.

V8, dubbelnegationernas okrönte.

Nja, mitt mål med den här diskussionen är inte att lösa något med Ingvar. Jag ville dels tala om hur LTS F/E-lyssningar går till, vilket är avklarat nu och deklarera min skepsis, sen vill jag ha en diskussion om hur man kan och bör designa en F/E-lyssning.

Det verkar finnas flera alternativ och det är ju spännande.

[Vee-Eight]

Svante, Öhman:

Är inte det här en diskussion ni två skulle kunna ta över en kaffe istället? Ett forum i allmänhet, detta i synnerhet, är inte rätt ställe för undvikande av missförstånd.

Bara lite nyfiken. Säger du sånt här som admin eller som dig själv?

Både som mig själv och admin, på sätt och vis. En känsla jag har är att detta är ett spörsmål man bör diskutera IRL för att undvika missförstånd, annars har vi två avhopp i onödan om de nu inte redan har skett. Det är också trist med upprörda känslor och den irrationalitet som följer därav.

Allt detta är av intresse för mina båda roller.

[Kaffekoppen]

Svante,

Din strävan mot öppenhet och metodbeskrivning stöds helhjärtat av mig.

Din metod för att verka för det stöds inte av mig. Särskilt inte som nyligen avgången styrelsemedlem. Det är förresten oerhört tråkigt att motsättningar i en av styrelsens tillsatta arbetsgrupper offentliggörs, oavsett den goda intentionen. Jag är en person som starkt står för öppenhet och spårbarhet, men just att ta styrelsens interna arbete till offentligheten har ingen större påverkan än att tidigare framkomna resultat kan komma att ifrågasättas.

Det är, som jag ser det, inte din målsättning, utan tvärtom säkerställa att framtida testningar inte på något vis kan ifrågasättas. Det är en målsättning som jag delar och ser som mycket viktig. Jag delar inte Ingvars syn på att det är en fråga om trovärdighet. Testreultaten själva måste stå för den trovärdigheten, även om vi skall verka för att föreningens trovärdighet alltid skall vara klanderfri. Om ett testresultat ifrågasätts måste det vara metoden som ifrågasätts och aldrig de personer som testar!! Ifrågasätts metoden får vi fråga oss hur vi hanterar det då.

Din kunskap och din delaktighet i styrelsen är mycket mer vidsträkt än att begränsas till tekniksektionen. Du kommer vara saknad på en mängd områden. Så saknad att jag hoppas vi kan gå vidare från det här som en stärkt grupp. Motsättningar uppstår och är inte alltid så oöverkommliga som man först tror! Både du och Ingvar har betytt mycket för föreningen, mycket mer än ni själva kanske inser.

Som inadjungerad i styrelsen, och totalt utan något att säga till om annat än som observatör vill jag be dig avstå från fler kommentarer om föreningens interna arbete innan den här frågan är ordentligt utredd. Det här är just nu en situation som resterande styrelse inte varit delaktig i, utan som eskalerade vid senaste testtillfället. Du må anse att så inte är fallet, men det ber jag dig ta internt.

Att styrelsen ibland har gravt skillda åsikter är inte en motsättning för att fungera, utan skapar en dynamik och en strävan framåt som är bra. Det bidrar till att man utvecklas och blir bättre. Att förändra och förbättra strävar vi alla efter, men vi har inte alltid samma ögon. Det är besvärligt att omdana och förändra sig ibland, och ibland går det på tok för långsamt. Det behövs både pådrivare och bromsklossar i en organisation. Båda har sina mycket berättigade kvalifikationer. Nu vill jag inte karaktärisera någon av er för pådrivare eller bromskloss, men det kan nog kännas så ibland för inblandade. Jag har hittills försökt hålla mig relativt passiv, men det finns ett antal punkter jag kommer föra fram som jag tror ytterliggare kommer effektivisera och göra styrelsearbetet mer givande.

Du har en stark poäng i det du påtalar, men vi bör nog nyansera det lite.

Har du i något fall där du deltagit lämnat en testning med funderingar om man vid det enskillda tillfället kommit till en falsifierad slutsats?

Kontentan av det här inlägget är att jag vill påtala din mycket stora betydelse för styrelsen utan att i detalj gå in på det jag observerat. Jag vill lika väl påtala att jag hoppas du tänker om, så som den rationella person du är. Jag hade ett samtal med Ingvar om det här och jag ser, utan problem, att det här som hänt är något vi kan gå stärkta ur. Det är en process som startats nu, osett att det är på ett beklagligt sätt som ger förutsättningar till en diskussion på ett högre plan.

Välkommen tillbaka båda två. Vi är större än det här.

[Svante]

Kaffekoppen:

Det är ett emotionellt initerat, men rationellt fattat beslut.

Jag tar fasta på det där om internt arbete, förutom just min kritik och behandling av LTS F/E-lyssning, den tycker jag måste diskuteras.

Det kommer ett PM.

[Kaffekoppen]

Jag är en person som tycker om att dricka thé och äta en god smörgås Svante. Det kallas fika och är riktigt populärt i andra delar av landet. Jag tycker att vi prövar den metoden! Skicka gärna med lite kontaktinformation i ditt PM!

Det som är rationellt för dig kan vara irrationellt för mig. Hoppas på klarhet i ditt PM.

Och tro, för guds skull inte att jag ger upp dig så här lätt. Det finns fler vägar att gå än just du kan se nu.

[IngOehman]

Nja, mitt mål med den här diskussionen är inte att lösa något med Ingvar.

Det tycker jag är mycket synd.

Mitt förslag är att Svante tar uppdraget som chef för tekniksektionen. Då kan han både ändra testmetodiken, ta ansvar för att tester blir utförda och tillse att de sker i enlighet med hans instruktioner, och förstås även offentligt berätta om hur metodiken ser ut.


Vh, iö

[Kaffekoppen]

Vill bara försiktigt påtala att det aldrig får vara så att testarnas integritet ger legitimitet till uppkomna resultat. Såväl Svante yrkesroll som Ingvars kunskap, liksom övriga i tekniksektionen skall aldrig behöva känna att de som individer är en garant för de resultat som framkommer. Det är resultaten i sig och metodiken som skall stå för legitimiteten. I en perfekt värld.

Det finns vägar dit. Tro mig. Alla inblandade.

[IngOehman]

Ok, jag ser fram emot att lyssna på ditt förslag. Mer än så lovar jag inte.


Vh, iö

[Kaffekoppen]

Nja, mitt mål med den här diskussionen är inte att lösa något med Ingvar.

Det tycker jag är mycket synd.

Mitt förslag är att Svante tar uppdraget som chef för tekniksektionen. Då kan han både ändra testmetodiken, ta ansvar för att tester blir utförda och tillse att de sker i enlighet med hans instruktioner, och förstås även offentligt berätta om hur metodiken ser ut.


Vh, iö

Hur föreningen löser sitt interna arbete och förslag på hur det kan se ut är en fråga vi tar internt.

Att Svante inte vill lösa något med dig här är ju självklart. Hans agenda är att testmetoden förbättras ytterliggare. Det är mer centralt än hur du ser på hans utspel eller reagerar på hans kritik.

Men det är okej, när det gäller SAKFRÅGOR är det okej att ha olika syn och upplevelse. Ni är ju goa gubbar båda två iallafall!

Jag får även be dig Ingvar att ta det fortsatta samtalet internt.

[Kaffekoppen]

Ok, jag ser fram emot att lyssna på ditt förslag. Mer än så lovar jag inte.


Vh, iö

Att lyssna är en förutsättning. Det tackar jag dig för.

[phon]

A propos ingenting, egentligen, när kommer nästa MoLT?

[PekkaJohansson]

Trycks enligt de senaste uppgifterna den här veckan, och är förhoppningsvis i brevlådan i nästa! Kan också meddela, när ämnet ändå är på tapeten, att nr 4 närmar sig färdigstadiet.

Med vänlig hälsning

Pekka

[n3mmr]

[

Jag menade ett fullständigt jämförelsematerial. Det går ju inte att jämföra F mot E om man så önskar.

I vilket läge anser du att man skall använda referensen??

I inledande träning?

Man avbryter testserien (ev berättar man då hur det har gått, ev inte) och använder nästa slumpade val enbart som en "system check" med resulterande träning.
Sen återupptar man testserien och kör den färdigt enligt designvalet?

Nåt annat sätt? T ex atyt ständigt jämföra med båda?

Man kan ju enkelt kombinera en F-X-test enligt min design med avbrott för system check om man har en ABX-box (helst en AXB, menar jag nog) men under testserien bara använder AX (eller XB) med A=F, X=FellerE, B=E

[Thomas_A]

[

Jag menade ett fullständigt jämförelsematerial. Det går ju inte att jämföra F mot E om man så önskar.

I vilket läge anser du att man skall använda referensen??

I inledande träning?

Man avbryter testserien (ev berättar man då hur det har gått, ev inte) och använder nästa slumpade val enbart som en "system check" med resulterande träning.
Sen återupptar man testserien och kör den färdigt enligt designvalet?

Nåt annat sätt? T ex atyt ständigt jämföra med båda?

Man kan ju enkelt kombinera en F-X-test enligt min design med avbrott för system check om man har en ABX-box (helst en AXB, menar jag nog) men under testserien bara använder AX (eller XB) med A=F, X=FellerE, B=E

Man ska använda kända F och E både vid träning (naturligtvis) men också ges möjligheten att när som helst kunna jämföra kända F mot E under hela testproceduren. Alla inskränkningar försvårar för lyssnaren. Om det är ett praktiskt problem att man ska använda papper och penna skulle man som Morello säger använda tryckknappar eller så ropar man svaret och någon annan antecknar. Dock måste svaren från dem som hört den första ignoreras. Annars kan man inte med 100% säga att svaren är obeoende från varandra. Man kan tänka sig att underlätta ytterligare genom att ha både kända F och E och två dolda F och E, för att kunna göra alla möjliga typer av jämförelser.

[phon]

Pecka, tack.

[Sanny_X]

Trycks enligt de senaste uppgifterna den här veckan, och är förhoppningsvis i brevlådan i nästa! Kan också meddela, när ämnet ändå är på tapeten, att nr 4 närmar sig färdigstadiet.

Va? Har det utkommit 2 MOLT under 2006?

Jag har inte fått något ex alls.

Vam är registrator nu?

[Kaffekoppen]

Alexi

Nummer tre kommer strax...

[Sanny_X]

Tack för hjälpen.

Alexi har PM.

[Svante]

Ok, åter till ämnet. Hur ska man göra ett lyssningstest för att både statistiker, lyssnare och frågeställare (= den som söker kunskapen) ska bli nöjda? Bara för att vi ska ha något konkret att utgå ifrån, antag en F/E-lyssning.

Vi har flera frågor som är viktiga. Man kan förstås göra tester utan att utveckla metoden för alla dessa punkter, men jag menar att ju mer man funderar över dem, desto troligare är det att testet visar rätt.

Jag förbereder litegrann och gör varje fråga "bold" redan nu, så blir det lättare att svara.

1. Ska flera personer lyssna samtidigt?
2. Får de avge svar med kunskap om varandras svar?
3. Vem ska växla mellan omkopplarlägena? Hur (AB/ABX)?
4. Hur ska slumpmomentet genereras (=det som gör att testet blir blint)?
5. Hur ska resultatet antecknas? Skriver lyssnaren eller försöksledaren?
6. Bör man få reda på under testets gång, hur det har gått hittills?
7. Hur bestämmer man när testet ska avbrytas?
8. När ska avbrottsvillkoren bestämmas. Före eller efter testet? Får man ändra dem under gång?
9. Hur stor konfidens behövs? Är konfidensen viktig?
10. Hur ska data behandlas för den valda metoden, dvs hur vet man hur stor konfidens man har fått?
11. Är det ok att exkludera misslyckade tester?
12. Vilka konfidenskrav ska man ställa på varje serie om man gör flera; bör de vara högre om man gör flera tester?
13. Hur behandlar man data från flera lyssnare? Tex: om en person svarar rätt hela tiden, men de andra ger spridda skurar, kan man titta på bara den som lyckas? Måste statistiken modifieras i sådana fall?
14. Bör man göra pilotlyssningar, dvs öppna lyssningar före det egentliga testet, som inte räknas? När bestämmer man att de inte räknas?
15. Bör man diskutera upplevda skillnader före testet? Under testet? Efter testet?
16. Vem bestämmer vilken kringutrustning (högtalare, programmaterial, CD-spelare etc) som ska användas?
17. Bör/behöver man söka en förklaring till påvisade hörbara skillnader?
18. Hur noga behöver man matcha triviala skillnader såsom nivå/tonkurva?
19. Är det en fördel om metod och rådata redovisas? Detaljerat?
20. Finns det någon metod att avgöra hur stor skillnaden är, om den är hörbar?
21. Finns det några vetenskapliga krav som saknar betydelse för vanligt folk?
22. Hur mycket tid kan läggas på varje testning för att det skall vara möjligt att a) få intresserade att genomföra X antal tester per år, b) få tillräckliga data för att kunna dra godtagbara slutsatser och c) Kunna hävda vetenskaplighet


Listan blev visst ganska lång. Jag försökte gruppera dem, men de flätar i varandra så att det blir bara rörigt. De får stå som de är.

Jag ser flera kombinationer av svar på frågorna som kan ge bra testmetoder och det är möjligt att man måste kompromissa för att optimera helheten. Svaren på frågorna gäller alltså just den metod som ni föredrar. Jag har själv ett eller flera egna förslag och andra har kommit upp tidigare i tråden, men innan jag och ni börjar svara på frågorna ovan; finns det fler viktiga frågor? (Jag redigerar och lägger till dem i detta inlägg om de kommer)

[Mr_Ekan]

Betr statistik

Jag har basal kunskap i statistik. En av de viktigare orsakerna att jag överhuvudtaget begriper någonting om statistik är Professor Kerstin Vännman vid Luleå tekniska Universitet. Om det råder oklarheter kring de statistiska aspekterna av F/E-lyssning så föreslår jag att LTS sammanfattar ett antal kärnfrågaor och vänder sig till Kerstin. Hon nås på kerstin.vannman@ltu.se. Hon kommer garanterat ta sig an frågorna och bidra med ett oberoende utlåtande.

Finns det oklarheter så bör dessa redas ut eftersom den statistiska databehandlingen är en faktor som bidrar till F/E-metodens validitet.

Betr bråket
LTS utan IÖ? Tillåt mig småle . Hur gick det att hålla sig ifrån faktiskt.se? LTS utan IÖ vore som lussekatter utan saffran = blaha. Svante, du vet för mycket för att få lämna.

Vh

[berma]

hur é léget?
är de här frågorna till för att styra upp LTSś tester eller är det mer generellt?
/berma

[Svante]

Äh jag kan inte hålla mig, jag skriver ner ett exempel på förfarande som jag tycker skulle vara bra. Egentligen är det nog flera eftersom jag lämnar valmöjligheter på några ställen.

1. Ska flera personer lyssna samtidigt?

Ja och nej. Flerlyssning kan vara praktiskt, för då kan man diskutera vad man hör. Det behövs dock en del fiffighet för att man ska kunna undvika kontaminering mellan varandras svar och det kan upplevas som stressande att inte få sköta växlingen mellan stimuli själv.

2. Får de avge svar med kunskap om varandras svar?

Absolut inte. Detta gör att man måste behandla statistiken på ett sätt som tar ner signifikansen rejält.

3. Vem ska växla mellan omkopplarlägena? Hur (AB/ABX)?

Själv föredrar jag att få växla själv, som lyssnare. Vilket omkopplarläge som motsvarar vad måste då slumpas. AB är mitt val, men jag har inget emot att andra använder ABX.

4. Hur ska slumpmomentet genereras (=det som gör att testet blir blint)?

Helst med en apparat som avslöjar i efterhand vilket som var rätt svar.

5. Hur ska resultatet antecknas? Skriver lyssnaren eller försöksledaren?

Spelar inte så stor roll.

6. Bör man få reda på under testets gång, hur det har gått hittills?

Absolut. Det minskar prestationskraven och känslan av osäkerhet. Det kan kännas mycket frustrerande att försöksledaren sitter och tjyvhåller på kunskap om hur dåligt(bra det har gått.

7. Hur bestämmer man när testet ska avbrytas?

Själv förordar jag en serie möjliga avbrottspunkter som bestäms i förväg, tex 11 15 19 22 25 28 32 dvs man får avbryta efter 11 om man har alla rätt, efter 15 med högst ett fel, efter 19 med högst två fel etc. Konfidensen för just denna serie är 99,67% om man även accepterar svarssekvenser av typen "alla fel". Det fina med denna approach är att man inte behöver trötta ut sig med långa sekvenser om det är lätt att höra skillnad och att konfidensen blir välbestämd. Väljer man så hög konfidens som 99,67% så finns det dessutom utrymme för att göra tre serier, alt ha tre lyssnare och ändå få 99% konfidens även om bara en serie ger positivt resultat.

8. När ska avbrottsvillkoren bestämmas. Före eller efter testet? Får man ändra dem under gång?

Före. Nej.

9. Hur stor konfidens behövs? Är konfidensen viktig?

99% är väl rimligt, sammantaget. I vetenskapliga sammanhang brukar konfidenser under 95% inte anses signifikanta. Konfidensen är viktig.

10. Hur ska data behandlas för den valda metoden, dvs hur vet man hur stor konfidens man har fått?

Med metoden att förutbestämma avbrottsvillkoren är databehandlingen lätt.

11. Är det ok att exkludera misslyckade tester?

Nej. De måste rapporteras eftersom de drar ner den totala konfidensen.

12. Vilka konfidenskrav ska man ställa på varje serie om man gör flera; bör de vara högre om man gör flera tester?

Ja. Den sammantagna konfidensen blir (konfidensen för ett försök)^(antal försök).

13. Hur behandlar man data från flera lyssnare? Tex: om en person svarar rätt hela tiden, men de andra ger spridda skurar, kan man titta på bara den som lyckas? Måste statistiken modifieras i sådana fall?

Ja, den måste modifieras. Om tre personer lyssnar samtidigt med min testdesign, så kan svaren ses som tre separata försök. Om en av dem visar positivt utfall så blir total konfidens 0.9967^3=99,0%

Hur man gör tror jag måste bestämmas innan testet. En annan möjlighet är ju att man ser testet som ett enda med ganska många felsvar. En intressant fråga är om man med tidig kunskap om vem som svarar "bäst" får gå in och tysta de "sämsta" så att bara den "bästa fortsätter. Alla svar måste förstås räknas in, dock. Här är jag ute på hal is dock, det blir lätt så med flera lyssnare.

14. Bör man göra pilotlyssningar, dvs öppna lyssningar före det egentliga testet, som inte räknas? När bestämmer man att de inte räknas?

Absolut. Jag skulle säga att de är nödvändiga och det kan tom vara en fördel att göra dem blint. Man måste dock vara väldigt tydlig redan före testet att det är pilotlyssningar och att de inte ska ingå i den statistiska bedömningen.

15. Bör man diskutera upplevda skillnader före testet? Under testet? Efter testet?

Ja, det kan man väl. Risken med diskussioner under testet är att de kan störa.

16. Vem bestämmer vilken kringutrustning (högtalare, programmaterial, CD-spelare etc) som ska användas?

Det är en fråga om sunt förnuft och i viss mån i vilken grad frågeställningen är kontroversiell. En utrustning som är bekant för lyssnaren är nog ofta att föredra.

17. Bör/behöver man söka en förklaring till påvisade hörbara skillnader?

Ja, det tycker jag. Speciellt via mätningar. Man kan lära sig mycket på det, men man behöver förstås ha den kunskap som behövs. Det är bättre att avstå än att spekulera vilt.

18. Hur noga behöver man matcha triviala skillnader såsom nivå/tonkurva?

0,1-0,05 dB är lämpligt. Det är dumt att inte göra detta så noga man förmår.

19. Är det en fördel om metod och rådata redovisas? Detaljerat?

Metod: Absolut! Detta är en av grundbultarna i den vetenskapliga världen. Studier som genomförs ska kunna reproduceras av andra forskare. Det ska finnas information om hur testet utfördes så att vem som helst med tillräcklig kunskap kan reproducera experimentet.

Rådata: Nja, rådata ska bevaras så att man kan leta fram dem vid tvivel. Det är sällan rådata redovisas i forskningsrapporter, däremot redovisas förstås sammanfattningar tex i form av medelvärden eller något annat som är relevant för forskningsfrågan.

20. Finns det någon metod att avgöra hur stor skillnaden är, om den är hörbar?

Nja. Man kan fråga folk om vad de tycker. Med kvalificerat folk blir bedömningen bra, men allt står och faller med lyssnarnas förmåga. Men frågan är viktig och bör absolut behandlas parallellt med den mer strikta statstiska utvärderingen. Man kan också mäta vissa skillnader och genom att läsaren har en uppfattning om hur mycket hörbar skillnad det brukar bli för en viss mätt skillnad kan man kommunicera hur stor skillnaden är på ett ungefär, perceptuellt.

21. Finns det några vetenskapliga krav som saknar betydelse för vanligt folk?

Egentligen inte, om de är relevanta för forskarna. Ett test utan konfidens (tex en öppen lyssning) har ett lika (lågt) värde för vanligt folk som för forskarna.

22. Hur mycket tid kan läggas på varje testning för att det skall vara möjligt att a) få intresserade att genomföra X antal tester per år, b) få tillräckliga data för att kunna dra godtagbara slutsatser och c) Kunna hävda vetenskaplighet

En kväll åt gången. a) Intresserade finns det nog många i hifisverige. b) och c) är samma för mig, och självklart bör lyssnandet minimeras för att undvika uttröttning. Det är väl ett känt faktum (och problem) i alla lyssningstestarsituationer att långa tester drar ner skärpan. Men man måste samtidigt ställa detta mot statistisk signifikans. Denna motsättning gör att man bör optimera mot att få just den signifikans som är den minimala som man accepterar. Därför är det viktigt att veta hur stor signifikans man har.

Ja, det var mina tankar och de vill jag gärna ha debatt omkring. Tomas_A hade en del andra idéer som jag tyckte var intressanta, passar de in i mina frågor ovan?

[Svante]

hur é léget?
är de här frågorna till för att styra upp LTSś tester eller är det mer generellt?
/berma

Mja, jag kan inte förneka att de från min sida har att göra med uppbrottet från LTS. Jag har länge velat kunna ta en sån här diskussion offentligt och nu är det möjligt. Det är möjligt att man i LTS lyssnar på vad som kommer ur den, det vet inte jag, men mitt motiv är ändå att försöka komma fram till rimliga kriterier via diskussion.

Så se det generellt.

[Thomas_A]

1. Ska flera personer lyssna samtidigt?

*Om praktiskt möjligt, egentligen inga problem.

2. Får de avge svar med kunskap om varandras svar?

*De får ange svar om de vill men det kan inte räknas in i något statistikt test.

3. Vem ska växla mellan omkopplarlägena? Hur (AB/ABX)?

*Valfritt. Fler möjligheter för lyssnaren så man inte inskränker något är bra.

4. Hur ska slumpmomentet genereras (=det som gör att testet blir blint)?

*Slumpgenerator eller kasta mynt.

5. Hur ska resultatet antecknas? Skriver lyssnaren eller försöksledaren?

*Lättast om försökspersonen skriver om man är flera och att dessa också vill vara med i en slutberäkning. Om det är endast en person som muntligen gör testet kan valfri person anteckna.

6. Bör man få reda på under testets gång, hur det har gått hittills?

Nej, inte om man vill ha valfriheten att hoppa över omgångar. Annars ok, med den nackdelen att man måste tvingas chansa när man misslyckats höra skillnad i en omgång.

7. Hur bestämmer man när testet ska avbrytas?

När man uppnått ett förmodat mål, exempelvis 25 svar.

8. När ska avbrottsvillkoren bestämmas. Före eller efter testet? Får man ändra dem under gång?

*Man kan välja att fortsätta efter 25 förmodade svar, men helst inte bryta innan för att då riskerar man att inte få sina 25 svar.

9. Hur stor konfidens behövs? Är konfidensen viktig?

p<0.05 är ok.

10. Hur ska data behandlas för den valda metoden, dvs hur vet man hur stor konfidens man har fått?

Statistik för enkel proportion skall användas. Binomial, eller approximerad normal för np>5.

11. Är det ok att exkludera misslyckade tester?

Experimentet bör ses som ett för en lyssningssession. Dvs samla data från samtliga. Dock ska överhoppade data i en serie ignoreras, likaså de som inte lämnar in data. Inga inlämnade data ska exkluderas vid den totala beräkningen (sk fishing för att få signifikans) men man kan göra följande post-hoc för att jämföra om testpersonernas svar skiljer sig från varandra.

2 x n Fisher's exact test för samtliga n medverkande
2 x 2 Fishers exact test där man grupperat de som angivit samtliga svar i varje omgång ("säkra lyssnare") och de som valt att hoppa över omgångar ("osäkra lyssnare")

12. Vilka konfidenskrav ska man ställa på varje serie om man gör flera; bör de vara högre om man gör flera tester?

*Utveckla frågan.

13. Hur behandlar man data från flera lyssnare? Tex: om en person svarar rätt hela tiden, men de andra ger spridda skurar, kan man titta på bara den som lyckas? Måste statistiken modifieras i sådana fall?

Gör en total beräkning + ett Fishers.

14. Bör man göra pilotlyssningar, dvs öppna lyssningar före det egentliga testet, som inte räknas? När bestämmer man att de inte räknas?

*Ja.


15. Bör man diskutera upplevda skillnader före testet? Under testet? Efter testet?
16. Vem bestämmer vilken kringutrustning (högtalare, programmaterial, CD-spelare etc) som ska användas?
17. Bör/behöver man söka en förklaring till påvisade hörbara skillnader?
18. Hur noga behöver man matcha triviala skillnader såsom nivå/tonkurva?
19. Är det en fördel om metod och rådata redovisas? Detaljerat?
20. Finns det någon metod att avgöra hur stor skillnaden är, om den är hörbar?
21. Finns det några vetenskapliga krav som saknar betydelse för vanligt folk?
lägger till dem i detta inlägg om de kommer)[/quote]

[n3mmr]

Ok, åter till ämnet. Hur ska man göra ett lyssningstest för att både statistiker, lyssnare och frågeställare (= den som söker kunskapen) ska bli nöjda? Bara för att vi ska ha något konkret att utgå ifrån, antag en F/E-lyssning.

Vi har flera frågor som är viktiga. Man kan förstås göra tester utan att utveckla metoden för alla dessa punkter, men jag menar att ju mer man funderar över dem, desto troligare är det att testet visar rätt.

Jag förbereder litegrann och gör varje fråga "bold" redan nu, så blir det lättare att svara.

1. Ska flera personer lyssna samtidigt?

Njae, av sociala och ekonomiska skäl, jo, tyvärr.

2. Får de avge svar med kunskap om varandras svar?

Nej

.
3. Vem ska växla mellan omkopplarlägena? Hur (AB/ABX)?

Nån som inte är där

4. Hur ska slumpmomentet genereras (=det som gör att testet blir blint)?

Av nåt slumpmässigt... Nåns moster får ställa in en serie omkopplare m h a slantsingling. Och sen ge sig ut på stan, på rea eller nåt, med pengarna hon fick för besväret.

5. Hur ska resultatet antecknas? Skriver lyssnaren eller försöksledaren?

Lyssnaren ska skriva in i en apparat som inte glömmer.

6. Bör man få reda på under testets gång, hur det har gått hittills?

Då ska testet köras om. (tänk er att det faktiskt har en uppträningseffekt att göra så.
då görs inte efterförljande testdel under samma förutsättningar som början.)

7. Hur bestämmer man när testet ska avbrytas?

Måste vara bestämt innan. Måste ha karaktären: Kör N teststeg, come hell or high water. N väljs från konfidenskravet

8. När ska avbrottsvillkoren bestämmas. Före eller efter testet? Får man ändra dem under gång?

Ska bestämmas innan testet. Får inte ändras under gång, om testet ska beaktas.

9. Hur stor konfidens behövs? Är konfidensen viktig?

Behövs??? Hur långt är ett snöre? Hur mycket pengar måste man tjäna?

11. Är det ok att exkludera misslyckade tester?

Förklara närmare vad du menar

12. Vilka konfidenskrav ska man ställa på varje serie om man gör flera; bör de vara högre om man gör flera tester?

Jo, om man vill kunna se sammanfattningen av testerna som en stortest.

13. Hur behandlar man data från flera lyssnare? Tex: om en person svarar rätt hela tiden, men de andra ger spridda skurar, kan man titta på bara den som lyckas? Måste statistiken modifieras i sådana fall?

Då ska man undra över hur dubbelblint det hela är, och jaga dolda agendor...

14. Bör man göra pilotlyssningar, dvs öppna lyssningar före det egentliga testet, som inte räknas? När bestämmer man att de inte räknas?

Jomen, och innan

15. Bör man diskutera upplevda skillnader före testet? Under testet? Efter testet?

Före, efter och mellan testsekvenser

16. Vem bestämmer vilken kringutrustning (högtalare, programmaterial, CD-spelare etc) som ska användas?

IÖ???

Svante???

Fråga nåt som kan besvaras....

17. Bör/behöver man söka en förklaring till påvisade hörbara skillnader?

Nej, men det kanske kan vara skoj

18. Hur noga behöver man matcha triviala skillnader såsom nivå/tonkurva?

Nivå, noga som tusan. Inom ±0.05 db sas det väl.

19. Är det en fördel om metod och rådata redovisas? Detaljerat?

Jomen. jomen

20. Finns det någon metod att avgöra hur stor skillnaden är, om den är hörbar?

Hur stor konfidens som uppnås per lyssnare och för olikla utsnitt av lyssnare

( x av y lyssnare hör skillnad med z % konfidens, x1 av y1 med z1 %...)

21. Finns det några vetenskapliga krav som saknar betydelse för vanligt folk?

Alla krav. Utan undantag. Vanligt folk har ingen aning om vad det innebär att veta nåt eller varför man skulle vilja förstå nåt alls om nånting.

Listan blev visst ganska lång. Jag försökte gruppera dem, men de flätar i varandra så att det blir bara rörigt. De får stå som de är.

Jag ser flera kombinationer av svar på frågorna som kan ge bra testmetoder och det är möjligt att man måste kompromissa för att optimera helheten. Svaren på frågorna gäller alltså just den metod som ni föredrar. Jag har själv ett eller flera egna förslag och andra har kommit upp tidigare i tråden, men innan jag och ni börjar svara på frågorna ovan; finns det fler viktiga frågor? (Jag redigerar och lägger till dem i detta inlägg om de kommer)

[Svante]

Hmm, det slår mig, Tomas_A, att jag inte är säker på hur du menar att lyssningen ska gå till praktiskt.

Får man höra först F, sedan E eller tvärtom, men endast en gång och ska sedan tala om vilken som är vilken, eller tänker du att man får växla så många gånger man vill innan man avger svar?

[Svante]

12. Vilka konfidenskrav ska man ställa på varje serie om man gör flera; bör de vara högre om man gör flera tester?

*Utveckla frågan.

Alltså, tex två lyssningssessioner. Bör man kräva 99,5% konfidens i dem om man strävar efter totalt 99% konfidens? Eller har du nåt magiskt sätt att räkna samman rubbet i en totalanalys som gör att kraven före testet inte behöver ökas till 99,5%?

[n3mmr]

Hmm, det slår mig, Tomas_A, att jag inte är säker på hur du menar att lyssningen ska gå till praktiskt.

Mitt bestämda intryck är att det vanligaste problemet kring F/E tester är just denna fråga.

INGEN av er verkar se det som nödvändigt att berätta hur lyssningen skall gå till, dvs hur ser sekvensen av handgrepp ut?

Så, snälla, börja vara lite noggrannare med att ange hur testen ska gå till!

[Kaffekoppen]

1118. Hur mycket tid kan läggas på varje testning för att det skall vara möjligt att

a) Få intresserade att genomföra X antal tester per år

b) Få tillräckliga data för att kunna dra godtagbara slutsatser

c) Kunna hävda vetenskaplighet


berma,

Resterande tråd handlar enbart om testning i största allmänhet och har ingen koppling till LTS. Däremot är det inget som säger att LTS, liksom alla övriga intresserade av testning kan ha materialet som diskussionsunderlag vid egna sammankomster. Sådanna resultat som erhålls där redovisas för medlemmarna.

Ber resterande Faktisktmedlemmar om ursäkt för att ni tagit del av LTS starka viljor

[n3mmr]

Ber resterande Faktisktmedlemmar om ursäkt för att ni tagit del av LTS starka viljor

Båda två, dessutom.....

[Svante]

.
3. Vem ska växla mellan omkopplarlägena? Hur (AB/ABX)?

Nån som inte är där

Dubbelblindhet alltså. Mm.

9. Hur stor konfidens behövs? Är konfidensen viktig?

Behövs??? Hur långt är ett snöre? Hur mycket pengar måste man tjäna?

Ok, hur mycket tycker du är rimligt då, vid en F/E-lyssning på en apparat. Hur hög ska konfidensen vara för att du ska tycka att testets resultat är intressant?

11. Är det ok att exkludera misslyckade tester?

Förklara närmare vad du menar

Jag gör fyra tester. Först lyckas jag inte uppnå 99%, inte andra eller tredje gången heller. Men fjärde gången, med annan musik går det bra. Är det OK att exkludera de tre första utan att nämna dem?

13. Hur behandlar man data från flera lyssnare? Tex: om en person svarar rätt hela tiden, men de andra ger spridda skurar, kan man titta på bara den som lyckas? Måste statistiken modifieras i sådana fall?

Då ska man undra över hur dubbelblint det hela är, och jaga dolda agendor...

Mm, det där med dolda agendor är intressant. Frågan är vem som har den. Om försöksledaren har den, så kan han ju göra vad han vill ändå genom att förfalska data. Enda fallet det är riktigt intressant att leta efter dolda agendor är väl om lyssnarna försöker fuska för att lura försöksledaren. Annars får man helt enkelt bedömma författaren och hur trovärdig beskrivningen av testet och resultaten är. Så är det ju liksom alltid.

16. Vem bestämmer vilken kringutrustning (högtalare, programmaterial, CD-spelare etc) som ska användas?

IÖ???

Svante???

Fråga nåt som kan besvaras....

Nja, alltså, det här är ju en lista över frågor som man bör ställa sig när man utvecklar en metod. Jag menar inte att det finns ett definitivt svar, men själv håller jag nog ändå på att lyssnarens egna anläggning är ett bra val.

21. Finns det några vetenskapliga krav som saknar betydelse för vanligt folk?

Alla krav. Utan undantag. Vanligt folk har ingen aning om vad det innebär att veta nåt eller varför man skulle vilja förstå nåt alls om nånting.

Nja, fast det betyder väl inte att de saknar betydelse för vanligt folk, även om de inte begriper dem.

[Svante]

Missade den här.

20. Finns det någon metod att avgöra hur stor skillnaden är, om den är hörbar?

Hur stor konfidens som uppnås per lyssnare och för olikla utsnitt av lyssnare
( x av y lyssnare hör skillnad med z % konfidens, x1 av y1 med z1 %...)

Nej, det här är tokigt. Signifikansen har endast att göra med hur duktigt testet är på att påvisa skillnaden. Om testet visar en skillnad, hur mycket kan vi lita på att den verkligen finns?

Det är något helt annat än skillnadens storlek. Visserligen kan man förvänta sig att det är svårare att höra en liten skillnad, men saftar vi i med fler lyssningar kan vi få upp konfidensen. Men skillnaden blir ju inte större för det, eller hur?

[Svante]

Ber resterande Faktisktmedlemmar om ursäkt för att ni tagit del av LTS starka viljor

Ja, jag ska väl göra det jag också då, det är ju inte min mening att förpesta luften här med internt groll, men jag bara kände ett så starkt behov att få ventilera testmetodiken och min roll i den här, må vara att det startade i affekt. Det är inte så ofta det händer, men det gör det förstås inte snyggare.

[dimitri]

ponera
10 personer deltar i testet. De kommunicerar inte. Det är dubbelblind design, gärna med slumpgenerator med möjlighet att dekoda vad som var vad i efterhand. 32 växlingar.

Nåväl: 9 personer har uppnått resultat icke urskiljbara från rena gisningar
1 person har prickat alla rätt.

Som Svante sa är situationen att betrakta som 10 separata test.
Finns det hörbara skillnader mellan apparat A och B?

Ja. Absolut. Det räcker med att en person har konsekvent prickat rätt förutsatt att serier är långa. Dessutom om man skulle slå ihop allas resultat så ger Fisher signifikans p=0,037 för en 2x2 tabell:

160/160
176/124

Dvs test med 10 pers, 32 växlingar. 9 personer får 16 rätt av 32 var, 1 person får 32 rätt av 32
Dimitri

Nu är det väldigt förenklat. Det är t.ex mkt osannolikt att alla 9 personer som prickar slumpmässigt skulle just få 16 rätt och 16 fel. Men det ändrar inte poängen.

EDIT:
Fel av mig,
tabellen är
160/160
176/144
p= 0,23

(fel huvudräkning, sorry)

[dimitri]

ursäkta sjabblet

Men ändå poängen är att det räcker med att en person konsekvent prickar rätt i långa serier för att skillnad skall anses föreligga. Men då ska det vara dubbelblint utan möjligheter till fusk.

[berma]

berma,

Resterande tråd handlar enbart om testning i största allmänhet och har ingen koppling till LTS. Däremot är det inget som säger att LTS, liksom alla övriga intresserade av testning kan ha materialet som diskussionsunderlag vid egna sammankomster. Sådanna resultat som erhålls där redovisas för medlemmarna.

Man kan alltså inte förvänta sig en öppen debatt om LTSś testmetoder?

hemliga klubben?

[Svante]

ursäkta sjabblet

Men ändå poängen är att det räcker med att en person konsekvent prickar rätt i långa serier för att skillnad skall anses föreligga. Men då ska det vara dubbelblint utan möjligheter till fusk.

Ja det är jag med på. Och nyckelordet här är "långa" tror jag, och serierna behöver bli längre om man ska bibehålla signifikansen med många ickehörande lyssnare.

[Svante]

berma,

Resterande tråd handlar enbart om testning i största allmänhet och har ingen koppling till LTS. Däremot är det inget som säger att LTS, liksom alla övriga intresserade av testning kan ha materialet som diskussionsunderlag vid egna sammankomster. Sådanna resultat som erhålls där redovisas för medlemmarna.

Man kan alltså inte förvänta sig en öppen debatt om LTSś testmetoder?

hemliga klubben?

Ja, nu kan jag inte svara för LTS, men jag tycker absolut att vi ska debattera F/E-lyssning på alla de sätt den kan utföras. Mitt mål är att få fram en metod som är optimal map konfidens (hur mycket man kan lita på satistiken) och upplösning (hur troligt det är att metoden hittar bristerna).

Jag tror annars att kaffekoppen syftar på det sidospår som med viss nödvändighet uppstod ang min och Ingvars oenighet och ev avhopp. Det är avklarat och behöver inte diskuteras mer, för min del iaf.

[dimitri]

ursäkta sjabblet

Men ändå poängen är att det räcker med att en person konsekvent prickar rätt i långa serier för att skillnad skall anses föreligga. Men då ska det vara dubbelblint utan möjligheter till fusk.

Ja det är jag med på. Och nyckelordet här är "långa" tror jag, och serierna behöver bli längre om man ska bibehålla signifikansen med många ickehörande lyssnare.

Japp.
Samma förutsättningar som ovan fast serielängden är 100 växlingar
gen en tabell (9 pers får slumpartade resultat, en kammar hem alla 100)

500/500
550/450

ger p=0,028
Faktiskt inte illa.

[Thomas_A]

Hmm, det slår mig, Tomas_A, att jag inte är säker på hur du menar att lyssningen ska gå till praktiskt.

Får man höra först F, sedan E eller tvärtom, men endast en gång och ska sedan tala om vilken som är vilken, eller tänker du att man får växla så många gånger man vill innan man avger svar?

Hur många gånger man vill.

[Thomas_A]

12. Vilka konfidenskrav ska man ställa på varje serie om man gör flera; bör de vara högre om man gör flera tester?

*Utveckla frågan.

Alltså, tex två lyssningssessioner. Bör man kräva 99,5% konfidens i dem om man strävar efter totalt 99% konfidens? Eller har du nåt magiskt sätt att räkna samman rubbet i en totalanalys som gör att kraven före testet inte behöver ökas till 99,5%?

Tja om man gör två sessioner med samma material ska man alltid addera resultaten. Gör man flera sessioner och i efterhand drar den bästa och ignorerar övriga resultat så är det fishing, och man måste öka konfidensen. Samma sak som man drar ut en person av 100 andra i ett försök, sk fishing.

[Kaffekoppen]

berma,

Resterande tråd handlar enbart om testning i största allmänhet och har ingen koppling till LTS. Däremot är det inget som säger att LTS, liksom alla övriga intresserade av testning kan ha materialet som diskussionsunderlag vid egna sammankomster. Sådanna resultat som erhålls där redovisas för medlemmarna.

Man kan alltså inte förvänta sig en öppen debatt om LTSś testmetoder?

hemliga klubben?

:)

Jättehemlig, eller hur. Knappt någon som vet att den finns. Nej, det är naturligtvis så att man kan debattera LTS testmetoder hur fritt och öppet som helst, redan idag är vi hur öppna som helst med hur vi gör.

Däremot sköter vi meningskilljatligheter, interna missförstånd och utveckling av våra metoder internt. Det är som medlem man skall påverka hur vi utvecklas, inte som deltagare i ett diskussionsform. Det är väl rätt självklart för de allra flesta.

Så om du ursäktar, så tycker jag jäkligt illa om dina fåniga insinuationer och förstår inte alls vad din poäng är. Det finns inte en förening i hela världen som inte agerar så, allt från Scouterna till din lokala fotbollsklubb. Det finns en mening med att vara medlem, och det är att man som medlem kan påverka sin förening.

Har du intresse av att påverka hur föreningen arbetar är Du hjärtligt välkommen som medlem. Vi har faktiskt riktigt trevligt

Nu tycker jag vi återgår till tråden - den är intressant!

[Thomas_A]

Om man så vill kan man testa alla sessioner (uppdelat på exempelvis musikval och apparat) och göra en Fisher's exakt 2 x n test (om n>5 i alla fält, applicera sedvanlig chi-square). Exempel

session 1: 18/4 (test av basregister)
session 2: 12/11 (test av diskantregister)

En ensvansat test ger p=0.035, tvåsvansat p=0.057

Alltså är testet på gränsen till signifikant för att sessionerna i sig är olika. Detta i sig gör att vi inte bör slå ihop dessa grupper vid analys, och vi har också en rationell grund för det eftersom vi testar olika saker.

Har vi tillräckligt med n?

Sample size calculation:

För en proportionsskillnad mellan 0.5 och 0.9 krävs n=24 för båda grupperna vid 80% power.

http://statpages.org/proppowr.html

Vidare gäller binomial/approximerad normal vid test av 1 proportion från observationer mot ett teoretiskt värde (exempel pi=0.5 för slump). För test av flera observationer mot varandra gäller chi-square, eller Fisher's exakta test där n<5 i någon ruta. Det går också att göra en 2 x n tabell, men ju fler jämförelser ju lägre p. Man kan alltid slå ihop data från olika tester för att öka signifikansen i själva testberäkningen om man har en rationell grund för att göra det. Ex vill man se om det är en skillnad mellan personer som alltid anger ett svar mellan individer som hoppar över svar. Man kan ha hypotesen att de som då och då hoppar är sämre att höra skillnad än de som alltid ger svar och vill pröva detta.

[dimitri]

Håller med dig kk även om du kanske kan ha tolkat Bermas inlägg lite hårt.

Omvänt, bara som en tankeövning, skulle man kunna säga:

"Det är oförskämt av LTS, en förening som har utvecklat en metod, intern budget osv, att profitera på expertisen i ett forum och få gratis råd om hur de av föreningen använda metoder kan förbättras/utvecklas. Det borde betala för det. Det enda acceptabla är att föra denna diskussion internt"

Obs att det var ett hypotetiskt argument för att det är fel att vara öppen.
Vi har haft slitande gräl om LTS's slutenhet osv.

Så,
Det blir alltid fel, vare sig man lever upp till seder rådande i varje förening, som kk nämner ovan, dvs interna diskussioner, eller am man debatterar en fråga öppet. I alla fall när det gäller hela svenska folkets favvo nagel i ögat, LTS.

[paa]

Håller med dig kk även om du kanske kan ha tolkat Bermas inlägg lite hårt.

Omvänt, bara som en tankeövning, skulle man kunna säga:

"Det är oförskämt av LTS, en förening som har utvecklat en metod, intern budget osv, att profitera på expertisen i ett forum och få gratis råd om hur de av föreningen använda metoder kan förbättras/utvecklas. Det borde betala för det. Det enda acceptabla är att föra denna diskussion internt"

Obs att det var ett hypotetiskt argument för att det är fel att vara öppen.
Vi har haft slitande gräl om LTS's slutenhet osv.

Alla kan fråga ett forum till råds, privatpersoner, företag, föreningar, utbildningsinstitut osv. Att någon av dessa skulle betala går helt tvärt emot tanken med öppna internet-forum! Är man inte välkommen med sina frågor skall man stängas av, annars bör man få svar av dom som kan och vill svara.
Det enda fall vi sett hittills, där svar inte varit önskvärt i forumet var väl tentafrågor?

[berma]

Jag gick igenom Svantes lista och håller nog med honom i det mesta förutom att jag tycker att det är viktigt att även testledaren är ovetande om vad som är ”rätt svar”. En FEX-box där X genereras slumpmässigt och där alla deltagarna får jämföra F och E mot X hur många gånger man vill, om det är flera lyssnare så måste alla anonymt ge ett svar innan nästa X genererats. Om man tycker det är trevligt eller om det tillför kunskap kan man avslöja vad X var innan nästa X.


Men sen är det ju fråga 13 ....

13. Hur behandlar man data från flera lyssnare? Tex: om en person svarar rätt hela tiden, men de andra ger spridda skurar, kan man titta på bara den som lyckas? Måste statistiken modifieras i sådana fall?

Vete f*n, det är något fel på hela upplägget.
Om man tänker tvärt om blir det ju lättare dvs. om man vill testa lyssnarna! Om man tänker sig att E är känd med tex. z% distorsion, då kan man ta in en representativ grupp av befolkningen, exempelvis 1000 20-åriga män och med statistiska metoder räkna fram att w% av alla 20-åriga män kan höra z% distorsion. Då använder vi objektiva instrument för att mäta en okänd storhet, dvs. 20-åriga mäns förmåga att höra z% distorsion! Sen kan man jämföra 20-åriga män med 20-åriga kvinnor och få ny kunskap osv.

Här har vi på något sätt flera okända storheter, dels testobjektet och dels testinstrumentet=lyssnaren.
Om det ska bli nån ordning på det här måste man ju kunna kalibrera instrumentet/lyssnaren!
Jag vet inte om det här är rimligt (tror jag väl egentligen inte), men för att få sitta i testpanelen bör man kanske kvalificera sig genom att med någon överenskommen konfidens kunna detektera ett känt men svårdetekterbart objekt. Och det bör man nog dessutom göra vid varje testtillfälle, man kan ju vara förkyld eller trött så att man en viss kväll inte fungerar så bra som testinstrument.
Det optimala är ju att man med en godtyckligt vald kalibrerad lyssnare alltid ska få samma resultat.

Problemet är ju att tre mindre bra lyssnare ett testtillfälle kan godkänna en mindre bra apparat, medan tre mycket kritiska lyssnare ett annat testtillfälle underkänner en kanske bättre apparat.

Ett annat problem är ju som sagt att nollresultat är ett bra resultat, dvs. man kan bara bevisa att en apparat är dålig. Samtidigt är det ju så att om en lyssnare med hög konfidens kan detektera ett testobjekt så har man ju faktiskt visat att det testobjektet färgar, oavsett hur många som inte klara det. Att bara en klarar det är ju bara ett slags mått på hur svårt det är, eller åtminstone visar det att just det testobjektet färgar väldigt lite.

[Style]

det som berma tar upp är mycket intressant

det hela handlar om hur generaliserbart ett sånt här test egentligen är när man använder ett icke-kalibrerat instrument (öronen hos en testpanel)

man kan se på det på flera sätt

1, man använder en panel som har visat sig kunna detektera små skillnader mot en normalbefolkning - detta drar med sig en massa strul med tester varje gång och en stor bakomliggande studie som visar hur en normalbefolkning egentligen hör, men ger möjlighet att säga saker i stil med 99% av befolkningen kan inte höra en skillnad mellan F och E för givna maskin med konfidens X

2, man använder sig av ett OSU av befolkningen - det är ju enklare rent procedurmässigt men kräver en krångligare selektionsprocess och en tämöigen stor grupp - förmodligen inte genomförbart - och renderar i att man kan säga saker i stil med: gemene man kan inte höra skillnad mellan F och E för given maskin med X konfidens

Vad vill man egentligen uppnå? Det tycker jag egentligen är en intressantare fråga

[Kaffekoppen]

Problemet är ju att tre mindre bra lyssnare ett testtillfälle kan godkänna en mindre bra apparat, medan tre mycket kritiska lyssnare ett annat testtillfälle underkänner en kanske bättre apparat.

En mycket stark poäng. Det är ett mycket svårt problem att hantera, det förstår väl alla. Iallafall ser jag det som kanske det största problemet. Därför skall inte enbart en F/E lyssning ligga till grund för annat än just indikationer. Den måste följas upp på flera plan innan man kan tänka sig göra generella slutsatser.

Det är därför viktigt med en kontinuerlig grupp testare och att det slussas in personer i den här gruppen på ett sätt som tillser just kontinuerligheten. Man måste tränas i att höra. Inte det lättaste, och kanske det svåraste. Jag vet inte, eftersom jag tilldags datum inte varit deltagare vid ett testtillfälle.

Man skall även vara medveten om att med tanke på alla faktorer som är inblandade så är resultatet av en F/E lyssning endast applicerbara på just testtillfället. Alla slutsatser som dras av en F/E lyssning måste ha sin utgångspunkt i det. Generella slutsatser av en F/E lyssning måste således följas upp och verifieras med tex mätningar eller uppföljning av apparatens konstruktion - vilket kan ge stöd åt de resultat man uppnått.

Helt klart är detta en poäng tills dess att vi använder oss av kallibrerade elektroniska öron.

[Thomas_A]

Generellt kan jag tycka att apparater som mätmässigt ligger på gränsen för vad som har detekterats av de allra känsligaste lyssnarna inte behöver avlyssnas. Mätvärden kan ju anges. De som går vidare till lyssning är de vars mätvärden ligger inom kravspecen. Detta för att spara kraften till de mest intressanta alternativen. Det görs kanske till viss del i LTS preselektion av apparater, men jag tror att även apparater med tveksamma mätvärden också avlyssnas.

Exempel på kravgränser är ju max avvikelse i bas, max tonkurveavvikelse även med svår last, maxfall i diskant, distortion, lågnivåsignaler/brus, IM-dist, kompression komplex signal vid hög utnivå, sin2-puls dist.

Just IM-dist med diskantrikt material har jag detekterat med lätthet när jag lyssnat till internt ljudkort med och utan diskant över 18 kHz, dock ej med externt bättre ljudkort. I ABX med inte så speciellt bra hörlurar.

[Svante]

ursäkta sjabblet

Men ändå poängen är att det räcker med att en person konsekvent prickar rätt i långa serier för att skillnad skall anses föreligga. Men då ska det vara dubbelblint utan möjligheter till fusk.

Ja det är jag med på. Och nyckelordet här är "långa" tror jag, och serierna behöver bli längre om man ska bibehålla signifikansen med många ickehörande lyssnare.

Japp.
Samma förutsättningar som ovan fast serielängden är 100 växlingar
gen en tabell (9 pers får slumpartade resultat, en kammar hem alla 100)

500/500
550/450

ger p=0,028
Faktiskt inte illa.

Nja... Det här är en intressant diskussion. Alltså p=0,028 betyder att man har detekterat en skillnad och att det är rätt säkert att det är så. Men det faktum att det behövdes 1000 lyssningar för att nå dit betyder antingen att det var ruskigt svårt att höra skillnaden, eller som här att det var ruskigt få som hörde den.

Det är skillnad på signifikans och skillnadens storlek.

Fast det vet du ju, det är ingen kritik alltså, bara en reflexion.

[Svante]

Hmm, det slår mig, Tomas_A, att jag inte är säker på hur du menar att lyssningen ska gå till praktiskt.

Får man höra först F, sedan E eller tvärtom, men endast en gång och ska sedan tala om vilken som är vilken, eller tänker du att man får växla så många gånger man vill innan man avger svar?

Hur många gånger man vill.

Bra. Anledningen att jag frågar är att detta är en av de vanligaste missförstånden med folk som utför metoden praktiskt för första gången (vilket uppenbarligen inte är du) att man tror att man får en enda växling på sig och ska prestera ett svar efter det. Att kräva det gör testet mycket svårare och man kommer att bli sämre på att detektera en skillnad som i sig kan vara hörbar.

[Kaffekoppen]

Vi har haft slitande gräl om LTS's slutenhet osv.

Jag tror det kan bero på, iallafall till viss del, att LTS inte alltid framställt sig som så ödmjuka som medlemmarna är. Medlemmarna i LTS tycker ju det här med ljud och ljudåtergivning är så kul och arbetar på så många plan för att sprida kunskap. Det är därför många av oss återfinns här.

I vissa falanger så är det inte populärt om man ger råd som motsäger branchens vilja att sälja utrustning, som medvetet, eller omedvetet inte levererar de resultat som påstås. De gillar helt enkelt inte oss.

Men inte undantagslöst, det finns branchfolk som är medlemmar och som tycker det är viktigt med opartisk och relevant granskning och som har som mål att leverera absolut rätt sak till rätt kund. Det är kul

Däremot är det jäkligt kul när man kan hjälpa någon till mer välljud på ett enkelt och kostnadseffektivt sätt. Det beröm och den uppskattning man får är värt 100 gånger mer än okvädesord och där man från initierade håll i branchen försöker misstänkliggöra det föreningen gör.

Just vad det gäller F/E testning så är våra metoder med lyssning och mätning vi använder i dag accepterade av ett antal väldigt stora elektronikföretag. Det finns hör och häpna ett väldigt högt ansett företag som ändrat sin konstruktion efter våra tester. Mer kan jag inte säga idag eftersom fler tester skall genomföras.

Jag tror på ett ödmjukare LTS, även om det ibland är svårt att vara ödmjuk när man bemöts på flera fronter av en lobbyerande branch.

Medlemsaktiviteterna vi har idag är oerhört omtyckta och populära. Efter hårt arbete verkar vår publikation MoLT komma på banan och står inför ett lyft. Engagerade och drivande medlemmar lyfter föreningen. Det känns om om vi är på rätt väg.

Jag ber berma om ursäkt om han tycker jag tolkade hans inlägg väl hårt. Han är välkommen i föreningen när som helst

ps. Svante, ber om ursäkt för kapningen av tråden. åter igen, tillbaka till den intressanta disskussionen!!

[Svante]

Problemet är ju att tre mindre bra lyssnare ett testtillfälle kan godkänna en mindre bra apparat, medan tre mycket kritiska lyssnare ett annat testtillfälle underkänner en kanske bättre apparat.

Absolut, och detta gäller vid alla lyssningstester. Alltså även öppna tester, men där drunknar problemet bland andra som är mycket större. Det är viktigt att fundera över det här, men det är lika viktigt att inse att det inte har att göra med enbart F/E-lyssning.

Vid F/E-lyssning har man eliminerat många av de stora felkällorna men alla fel går inte att eliminera. När man tror att det finns skillnader i en population av lyssnare är statistikerns ansats ofta att ta till ett väldigt stort antal lyssnare som är representativa för populationen. Det kan man göra, men det blir väldigt kostsamt att genomföra.

En mer framkomlig väg är att ha en panel med erkänt "goda öron"; detta gör att antalet lyssningar som behöver genomföras blir hanterbart, men betyder samtidigt att resultatet gäller just de lyssnarna. Det blir till sist en förtroendefråga, speciellt när man misslyckas med att detektera en apparat. Rent praktiskt är det ju de som betyder något, det är ju de apparaterna som är intressantast.

Resonemanget gäller fö inte bara lyssnarna utan även programmaterialet och kringutrustningen.

...och ändå ska man inte glömma bort att detta är det bästa man kan göra. Andra metoder (tex öppen lyssning) tillför fel, men tar inte bort några av dessa.

[berma]

Även om F/E-tester, med sina uppenbara brister, är det bästa sättet vi har idag att för att utröna om en apparat är dålig behöver det ju inte betyda att man stannar där. F/E-test är ju en hyfsat kraftfull metod för att visa att en apparat inte förvränger signalen hörbart, en svaghet är ju att man inte kan få ett mätetal på hur stor förvrängningen är då man väl detekterar en apparat.

På 70-talet försökte man ju hitta nya mätmetoder för att mäta på förstärkare, TIM, DIM, SID och allt vad de hette förutom då THD och IM. Ett sätt att försöka få mer objektiva mätmetoder kanske kan vara att mha. F/E-test försöka hitta tröskelvärden för sådant man kan mäta elektriskt.

Svante, skulle det kunna vara en uppgift för någon doktorand eller ex-jobbare?

[dimitri]

Nja... Det här är en intressant diskussion. Alltså p=0,028 betyder att man har detekterat en skillnad och att det är rätt säkert att det är så. Men det faktum att det behövdes 1000 lyssningar för att nå dit betyder antingen att det var ruskigt svårt att höra skillnaden, eller som här att det var ruskigt få som hörde den.

Det är skillnad på signifikans och skillnadens storlek.

Fast det vet du ju, det är ingen kritik alltså, bara en reflexion.

Just därför tycker jag att skillnaden kan anses vara påvisad om enbart en enda deltagare har prickat rätt i en tillräckligt lång serie, egentligen utan att behöva beräkna sannolikheten för slumpmässig signifikans genom att slå ihop allas resultat.
Exemplet var snarare menat som ett kuriosum att visa att vid serier på 100 ( tillräckligt långa serier) kan en enda deltagare av 10 se till att resultatet ändå blir signifikant inom 95%-ig konfidens. Men det viktiga är att skillnaden hörs, även om det bara är en av 10 som hör dessa.
Man skulle då också fråga sig hur viktiga dessa skillnader är när bara en av 10 vana lyssnare hör dessa.

[Nattlorden]

Man skulle då också fråga sig hur viktiga dessa skillnader är när bara en av 10 vana lyssnare hör dessa.

Fortfarande viktiga! Det finns en nivå under medvetet hörande som man är påverkad av också... som bara ger en allmän känsla utan att man kan sätta fingern på det.

[Bamsefar]

Hmmm....

Svante, är detta upptackten till hur högtalartävligen skall utvärderas eller ?

[Svante]

Även om F/E-tester, med sina uppenbara brister, är det bästa sättet vi har idag att för att utröna om en apparat är dålig behöver det ju inte betyda att man stannar där. F/E-test är ju en hyfsat kraftfull metod för att visa att en apparat inte förvränger signalen hörbart, en svaghet är ju att man inte kan få ett mätetal på hur stor förvrängningen är då man väl detekterar en apparat.

På 70-talet försökte man ju hitta nya mätmetoder för att mäta på förstärkare, TIM, DIM, SID och allt vad de hette förutom då THD och IM. Ett sätt att försöka få mer objektiva mätmetoder kanske kan vara att mha. F/E-test försöka hitta tröskelvärden för sådant man kan mäta elektriskt.

Svante, skulle det kunna vara en uppgift för någon doktorand eller ex-jobbare?

Ja, det är ju den andra vägen att gå, att mäta fysiskt vad som har hänt med signalen. Jag har tom för mig att det har gjorts försök som innehåller en modell av den mänskliga hörseln som ger en siffra (eller möjligen flera) som motsvarar hörselintrycket ur någon aspekt. Det fina med en sådan modell är att den existerar som ett datorprogram och man kan få ett svar från den för ett givet stimulus inom en mycket kort tid. Det gör att modellen kan ingå i en optimeringsprocedur och man kan snabbt komma fram till någonting som är optimalt. Utan att man gör en massa lyssningstester. Jag tror att det här användes för att optimera snålkodare till telefoni.

Det uppenbara problemet med en sån här approach är att allting står och faller med modellens akuratess. Är modellen lite fel, så kommer resultatet av optimeringen att innehålla det felet.

Att mäta THD och allt vad det nu kan vara har samma problem, men också samma förtjänster. Det blir objektiva siffror som är mycket lättare att reproducera, och kan mätas snabbare utan jobbiga lyssningstest men det är inte säkert exakt vad resultaten betyder för hörbarheten.

Nu behöver inte det ena utesluta det andra, och bäst av allt är ju om man gör båda delarna, kanske lyckas man tom förklara de hörbara förändringarna med mätningar. Och som jag skrev i min MoLT-artikel; det är fint det.

Jag skulle väldigt gärna sätta en doktorand på det här, men jag tror att finansieringen skulle vara ett problem. Det är inte lätt att få pengar för psykoakustisk forskning idag. Och jag tror att en exjobbare inte skulle hinna mer än att sätta sig in i vad alla andra har gjort, som du säger bedrevs det en hel del forskning på 70-talet.

[Svante]

Hmmm....

Svante, är detta upptackten till hur högtalartävligen skall utvärderas eller ?

..fast högtalare är ganska svåra att F/E-testa. Iofs rör mycket av diskussionen blindtest överhuvudtaget. Men det här med statistiken är ju bara relevant om man är tveksam till om det finns en skillnad överhuvudtaget. Inte för att jag vill nedvärdera tävlingsbidragen, men jag kan lova att alla kommer att gå att skilja från varandra, även blint. Det intressanta är väl att få fram vilket som låter bäst, och den utvärderingen måste vara subjektiv. Men blind.

[Bamsefar]

Inte för att jag vill nedvärdera tävlingsbidragen, men jag kan lova att alla kommer att gå att skilja från varandra, även blint. Det intressanta är väl att få fram vilket som låter bäst, och den utvärderingen måste vara subjektiv. Men blind.

Exakt, jag misstänker att de kommer att skilja sig åt...

...men hur jag ensam (!) skall fixa blindtest vete f*n rent utsagt

[Kaffekoppen]

Jag kan hjälpa till

Någon som vill ha mitt kontonummer ?

[Svante]

Nuskavise, det verkar finnas två metoder här som ger en beräkningsbar signifikans och de skulle jag vilja jämföra.

Med den ena, som väl är standardmetoden när det gäller sån här utvärdering bestämmer man först hur många svar man ska avkräva lyssnarna med ledning av någon sorts hypotes om hur många som kommer att behövas. Man tar gärna i lite extra så att man inte får en signifikans precis på marginalen. Man lyssnar och avger det förutbestämda antalet svar och tittar först i efterhand på svaren och kollar om de gav signifikans. Efter avbrutet test får man inte fortsätta.

Den andra metoden är inte riktigt lika vanlig, men redan Karl-Erik Ståhl använde den i början av 80-talet när han ordnade lyssningstest i MoLT med sin AB-låda. Den går ut på att man bestämmer en konfidens man vill uppnå, och så avbryter man testet när den är uppnådd. Det finns en bortre gräns för hur många lyssningar man får göra och når man den så har man misslyckats med att påvisa skillnaden. KES använde designan 7-13-16, dvs man fick avbryta efter 7 rätt i rad, 13 svar med högst ett fel, eller 16 svar med högst 2 fel. Nådde man någon av dessa brytpunkter fick man 99% konfidens.

Frågan är vilken metod som är bäst. Jag röstar på den andra, eftersom den tröttar ut lyssnaren precis så mycket som det behövs för att nå konfidensen. Risken är att man missar poängen om man tvingar fram 25 svar; risken är stor att man blir så trött att de sista svaren blir fel bara pga tröttheten. Dessutom bygger den första på en förkunskap om hur svårt det kommer att bli. Den behöver man inte med den andra metoden.

Vad tycker ni? Vad finns det för fördelar med den första metoden som jag inte ser?

[Mayro_inaktiv]

med den resultatlisa LTS uppvisar här http://www.lts.a.se/teknik/rekommenderat.html
så kan sk "tester" helt o hållet skrotas i LTS regi anser jag. Logiken att dom skall anses ens snudda vid trovärdighet är totalt uteslutet.

Så starta att före ni "gör om något" att skapa ens en metod värd namnet. .. Det vore sabla mycket bättre..

[Morello]

Vilken brandfackla Ni kastar in, Mayro.

Har du inte något mer sakligt att bjuda oss på så här innan julhelgen?

[Kaffekoppen]

med den resultatlisa LTS uppvisar här http://www.lts.a.se/teknik/rekommenderat.html
så kan sk "tester" helt o hållet skrotas i LTS regi anser jag. Logiken att dom skall anses ens snudda vid trovärdighet är totalt uteslutet.

Så starta att före ni "gör om något" att skapa ens en metod värd namnet. .. Det vore sabla mycket bättre..

Jag kan ödmjukt säga att det sker mer än du vet

Jag kan lika ödmjukt säga att LTS borde, och kommer göra om sin hemsida alldeles radikalt

[Sanny_X]

LTS borde, och kommer göra om sin hemsida alldeles radikalt

Vad bra.

Senaste MOLT en; nr3 2004...

[Mayro_inaktiv]

med den resultatlisa LTS uppvisar här http://www.lts.a.se/teknik/rekommenderat.html
så kan sk "tester" helt o hållet skrotas i LTS regi anser jag. Logiken att dom skall anses ens snudda vid trovärdighet är totalt uteslutet.

Så starta att före ni "gör om något" att skapa ens en metod värd namnet. .. Det vore sabla mycket bättre..

Jag kan ödmjukt säga att det sker mer än du vet

Jag kan lika ödmjukt säga att LTS borde, och kommer göra om sin hemsida alldeles radikalt

nu var det inte hemsidan det gällde utan sakerna som denna urbota osannolika sk testmetod tagit fram som rekomenderade kaffekoppen..

Sådan medioker lresultat ista kan ingen hemsida i världen göra om till mer än det är oavsett utseende.. DVS totalt ej trovärdig..

Man behöver inte vara einstain för att fatta att detta helt enkelt inte KAN stämma... Ren logik är allt som krävs. Samt eget tänkande. Inte ett skit mer eller mindre krävs...

edit.
Men för jag inte "tror" blint på tomtar o troll" så får ni ju göra detta för mig. Så inga problem alls. Och diskutionen behöver inte fortsätta här. Ni vill "tro" och detta är ok för mig.. Inga problem alls..

tro försätter ju berg har man hört...

Så lämnar jag tråden nu..På så vid slipper ni troende bli sura alternativt surare än ni redan ev blitt på nig.. ..

[Morello]

Mayro,

Kan du inte exmplifiera och förklara mer i detalj vad du menar?

[Frutti]

Mayro: Eftersom den här tråden handlar om luckor i metoden och du påstår dig hittat luckor i den med ren logik så kanske du sakligt kan beskriva dem? Det skulle nog alla tjäna på. Annars kanske en annan tråd vore lämplig för dina sågningar?

[Kaffekoppen]

Jag håller med dig om att listan är gammal. Den borde, och kommer uppdateras. Därav är hemsidan dålig ur informationssynpunkt/köpråd idag. Det säger ju inget om produkternas egenskaper i sig. De produkter som ligger där har påvisat sig klara de kriterier som föreningen ställer. Du må ha andra kriterier, vilket är troligt med tanke på den utrustning Du använder idag.

Det har, och kommer göras tester på annan utrustning som är köpbar idag. En av de senaste testerna som genomförts fick ett helt fantastiskt mottagande av tillverkaren. Ett resultat som inte är offentliggjort än.

Nu tycker jag att vi återgår till den metodgenomgång som här sker urtråden utan att disskutera saker som handlar om allt annat än det tråden är skapd för.

Du är välkommen att framföra dina synpunkter på föreningen i andra sammanhang. Låt oss inte störa den här tråden utan ge Svante det utrymme den förtjänar. Vi är många som läser den med intresse.

[Maarten]

Mayro, please!

Det är alltid lika trist när kritiken är osaklig, oavsett var den kommer från.
Du har i mina ögon visat ointresse för att försöka sätta dig in och förstå hur metoden fungerar. Att döma ut metoden pga de resultat de visar, är en av två möjliga tolkningar. Den andra, och i mina ögon korrekta tolkningen är att de flesta (alla?) andra metoder dras med så stora brister att de inte kan ses som ett seriöst alternativ om man vill veta hur en produkt påverkar hörbart.

Det som avhandlas är statistik och detaljer vid praktiskt utförande, ingen kritik mot Före/Efter-metoden som princip efter vad jag kunnat se.

Tyvärr lade mig nu i debatten och jag drar mig lika fort ur. Jag önskar bara att debatten inte kidnappas via osakliga inlägg. Hoppas moderatorer har ögonen öppna och styr upp osakligheter, så att saklig diskussion kan fortgå.

God Jul!

[Vee-Eight]

Det som avhandlas är statistik och detaljer vid praktiskt utförande, ingen kritik mot Före/Efter-metoden som princip efter vad jag kunnat se.

Tyvärr lade mig nu i debatten och jag drar mig lika fort ur. Jag önskar bara att debatten inte kidnappas via osakliga inlägg. Hoppas moderatorer har ögonen öppna och styr upp osakligheter, så att saklig diskussion kan fortgå.

Kritik mot de enskild apparat på listan (om man tycker de låter kass) kan man givetvis skriva om i en ny tråd, antingen här eller ännu bättre på LTS eget forum. Har man synpunkter på och tankar kring metodens statistiska beskaffenhet eller dylikt så är det bara att skriva på i tråden.

[Thomas_A]

med den resultatlisa LTS uppvisar här http://www.lts.a.se/teknik/rekommenderat.html
så kan sk "tester" helt o hållet skrotas i LTS regi anser jag. Logiken att dom skall anses ens snudda vid trovärdighet är totalt uteslutet.

Så starta att före ni "gör om något" att skapa ens en metod värd namnet. .. Det vore sabla mycket bättre..

Jag kan ödmjukt säga att det sker mer än du vet

Jag kan lika ödmjukt säga att LTS borde, och kommer göra om sin hemsida alldeles radikalt

nu var det inte hemsidan det gällde utan sakerna som denna urbota osannolika sk testmetod tagit fram som rekomenderade kaffekoppen..

Sådan medioker lresultat ista kan ingen hemsida i världen göra om till mer än det är oavsett utseende.. DVS totalt ej trovärdig..

Man behöver inte vara einstain för att fatta att detta helt enkelt inte KAN stämma... Ren logik är allt som krävs. Samt eget tänkande. Inte ett skit mer eller mindre krävs...

edit.
Men för jag inte "tror" blint på tomtar o troll" så får ni ju göra detta för mig. Så inga problem alls. Och diskutionen behöver inte fortsätta här. Ni vill "tro" och detta är ok för mig.. Inga problem alls..

tro försätter ju berg har man hört...

Så lämnar jag tråden nu..På så vid slipper ni troende bli sura alternativt surare än ni redan ev blitt på nig.. ..

Mayro,

du kanske kan bidra till varför denna lista är av rekommenderade apparater inte är trovärdig. Metodmässigt finns det ingen som kommer i närheten av bättre, och vill du dissa produkterna så måste du göra det utifrån blinda test F/E-test. Annars blir dina kommentarer bara "preferenser" vilket är ointressant för den rekommenderade-listan.

[Mayro_inaktiv]

"blinda" eller "förblindade" inte bara på ett sätt ser jag. S

amt logik verkar inte vara er paradgren direkt här.. inte direkt eget kritiskt tänkande heller.. Läs för fasiken bara listan och använd era fina hjärnceller nu pojkar...Såååå otroligt svårt bör det inte ens vara för era intiligenta hjärnhalvor att för en gång skulle tänka LOGISKT och inte inskolat tankesätt enbart...vet ni ens vad en orimlighet är?? Fattar ni att man via logik kan under en lång period av år som tex under LTS tiden via logik och fakta av framtagna testresultat utläsa att er metod ÄR orimlig helt enkelt..

herregudars då vilken soppa detta är så fort man säger ett ord ni bara inte kan fatta inebörden i. ordet "orimlighet"...

edit.
Men för jag inte "tror" blint på tomtar o troll" så får ni ju göra detta för mig. Så inga problem alls. Och diskutionen behöver inte fortsätta här. Ni vill "tro" och detta är ok för mig.. Inga problem alls..

tro försätter ju berg har man hört...

Så lämnar jag tråden nu..På så vid slipper ni troende bli sura alternativt surare än ni redan ev blitt på nig.. ..

Så fattar ni ev i alla fall det jag skrev tydligt o klart på slutet..jag markerade för säkerhets skull tydligt också slutet..

[dimitri]

Kan hålla med dig Svante om att KES metod kan vara acceptabel av de skäl du anför. Det är bättre att ha en metod som inte tröttar ut allt för mycket och som används med bibehållen entusiasm, samtidigt som den låter generera pålitliga resultat. Det viktigaste är att säkerställa dubbelblindhetsprincipen och icke kommunikation deltagarna emellan medan testet pågår..
Trots allt är det ju så att f/e test används inom LTS och för LTS. Ingen annan. Vill man ha synpunkter får man ha det som LTS medlem, speciellt om synpunkterna är kritiska. (nu kastar Dimitri sten i glashuset såsom en icke LTS medlem).
Svante, har du gått ur LTS eller "bara" ur styrelsen? Det finns en teknisk sektion inom LTS om jag kommer ihåg rätt. Har du tackat nej till att vara där?

[Svante]

Kan hålla med dig Svante om att KES metod kan vara acceptabel av de skäl du anför. Det är bättre att ha en metod som inte tröttar ut allt för mycket och som används med bibehållen entusiasm, samtidigt som den låter generera pålitliga resultat. Det viktigaste är att säkerställa dubbelblindhetsprincipen och icke kommunikation deltagarna emellan medan testet pågår..
Trots allt är det ju så att f/e test används inom LTS och för LTS. Ingen annan. Vill man ha synpunkter får man ha det som LTS medlem, speciellt om synpunkterna är kritiska. (nu kastar Dimitri sten i glashuset såsom en icke LTS medlem).
Svante, har du gått ur LTS eller "bara" ur styrelsen? Det finns en teknisk sektion inom LTS om jag kommer ihåg rätt. Har du tackat nej till att vara där?

LTS använder F/E-lyssning, men det gör även andra. Möjligen kallas det inte F/E-lyssning jämt, det är vanligt att det kallas A/B-test i stället, eller bara blindtest. Jag har själv drivit en labb som heter "lyssningstest" sedan 1991 i min kurs. Egentligen så är det en F/E-lyssning som är snarlik LTS variant. Det är mest hur man behandlar data som skiljer metoderna åt och en del med dubbelblindhet och slumpgenerering.

Som jag ser det finns det väl inget hinder att diskutera vilken metod som helst för blinda lyssningstester här inklusive LTS. Möjligen indikerar titeln att de ska vara just F/E-tester.

Jag har lämnat styrelsen men är kvar i LTS.

[Magnuz]

Så lämnar jag tråden nu..På så vid slipper ni troende bli sura alternativt surare än ni redan ev blitt på nig.. ..

Fega inte ur nu. Om det nu är så orimligt och ologiskt som du säger kan det väl inte vara så svårt för dig att förklara på vilket sätt?

[IngOehman]

F/E-test är ju en hyfsat kraftfull metod för att visa att en apparat inte förvränger signalen hörbart...

Fel.

Jag orkar inte dra vetenskapens första tes ännu en gång, men de som vill kan nog hitta den.

För det specifika fallet får den till följd att: Man kan (med någon statistisk signifikans) ibland påvisa en förvrängning, men kan aldrig påvisa frånvaron av förvrängning - bara konstatera oförmåga att (under de rådande omständigheterna) ha lyckats detektera någon.

Förresten heter det F/E-lyssning, för det har jag bestämt. Som uppfinnare brukar man ju få ge namn åt metoder.

...en svaghet är ju att man inte kan få ett mätetal på hur stor förvrängningen är då man väl detekterar en apparat.

Det är inte en svaghet jämfört med de "konkurrerande" helt subjektiva metoderna, tvärtom!

Med F/E-lyssning kan man i varje fall göra att försök att beskriva en detekterad färgnings storlek. Använder man den stora tryffelskalan och det därtill höriga metodprotokollet* går det till och med utmärkt att få ett mätetal, som blir förvånansvärt upprepbart från gång till gång.

Med konventionella lyssningsmetoder blir det bara gissningar, så svaga att det inte är ovanligt att lyssnarna anger sig uppleva stora färgningar från apparater som de inte F/E-lyssning inte lyckas detektera någon färgning ifrån alla, eller att en apparat med i F/E-lyssning mycket lätt uppfattbara färgningar, beskriv som oerhört ofärgande.

Det är helt enkelt omöjligt att skilja en apparats insats från kedjans totalinverkan, med andra mettoder än F/E-lyssning.


I övrigt är det intressant (och lite skrämmande) att se hur mycket åsikter om metoder, detektionseffektivitet och statistik som råder. Det är uppenbart att det finns bättre sätt att skaffa sig vetenskapligt pålitliga och detektionsmässigt kraftfulla metoder, än att fråga vad folk tycker och tror om olika testmetoder...

Demokrati är liksom inte en applicerbar metod för att finna svar på objektiva förhållanden. Det borde framgå av de partiellt motstridiga åsikterna som redovisats, om inte annat.


Skall blir intressant att följa utvecklingen av LTS apparattester.

(Även jag har lämnat styrelsen (före Svante) men är kvar som medlem i LTS.)


Vh, iö

- - - - -

*En metod som jag utvecklade jag tror det var 1979, och som jag använt för den egna apparatutvecklingen, men aldrig för apparattester inom LTS. Tryffelskalan är ett oerhört kraftfullt sätt att jämföra subjektiviteter (den stora alltså, den för objektiviserbra subjektiviteter. Den lilla är bara till för rena subjektiviteter).

[berma]

Suck, jo IÖ jag känner till vetenskapens första tes, om du läser ett inlägg jag gjort tidigare har jag kommenterat just det.
Men jag uttryckte mig naturligtvis slarvigt jag medger det.
Det jag menar är att vid det läge där man nätt och jämt kan detektera något vid en f/e-lyssning bör man också kunna mäta en förvrängning, då skulle man också kunna få ett mått på när en förvrängning är hörbar.
Jag menar att om ,man kan höra en förvrängning/färgning kan man också mäta den.
f/e-lyssning skulle kunna var ett sätt att lista ut vad/hur man ska mäta.

[Johan_Lindroos]

Suck, jo IÖ jag känner till vetenskapens första tes, om du läser ett inlägg jag gjort tidigare har jag kommenterat just det.
Men jag uttryckte mig naturligtvis slarvigt jag medger det.
Det jag menar är att vid det läge där man nätt och jämt kan detektera något vid en f/e-lyssning bör man också kunna mäta en förvrängning, då skulle man också kunna få ett mått på när en förvrängning är hörbar.
Jag menar att om ,man kan höra en förvrängning/färgning kan man också mäta den.
f/e-lyssning skulle kunna var ett sätt att lista ut vad/hur man ska mäta.

Javisst Berma, sådant gör vi alltid i samband med apparattesterna.

Det finns en del gränser där man med uppmätta värden kan säga att åtminstone om apparaten har mer dist/mer frekvensgångsavvikelser/etc, så ger den garanterat hörbarhet i F/E-lyssningstest av erfarenheter från tidiagare F/E-lyssningar på andra objekt.

Men om den (t.ex.) distar extremt lågt, så kan det vara så att det är något annat som "spökar" och man kan inte med bara mätningar påvisa "subjektiv transparens", eftersom det strider mot vetenskapens första tes, o.s.v.

Thomas_A var inne på samma frågeställning, och detta är möjligtvis svar även till honom.

Hälsningar Johan, åtminstone en kvarvarande i LTS styrelse

[Svante]

I övrigt är det intressant (och lite skrämmande) att se hur mycket åsikter om metoder, detektionseffektivitet och statistik som råder. Det är uppenbart att det finns bättre sätt att skaffa sig vetenskapligt pålitliga och detektionsmässigt kraftfulla metoder, än att fråga vad folk tycker och tror om olika testmetoder...

Jaså? Jag tycker det är en mycket fruktsam debatt där för- och nackdelar för olika metoder vägs mot varandra. Man kan se en debatt som ett sätt att tillsammans komma fram till något gemensamt men då är det förstås givet att det finns olika åsikter på vägen. Men om alla parter ger och tar så kan man vara ganska säker på att det man enas om på slutet är väl utrett och det bästa möjliga. Det måste förstås finnas en viss kunskap hos debattörerna, men jag har ofta imponerats av vilka resurser det finns här på Faktiskt, så jag tycker det känns rätt bra.

[Mr_Ekan]

Mayro-chan, berätta gärna om dina erfarenheter och intryck av LTS-rekommenderade apparater. Att döma av listade apparater så är F/E-lyssning en genial metod som genererar mkt tillförlitliga resultat (tycker jag). Men inget är ju så bra att det inte kan förbättras; därav denna tråd?

[Svante]

Kan hålla med dig Svante om att KES metod kan vara acceptabel av de skäl du anför. Det är bättre att ha en metod som inte tröttar ut allt för mycket och som används med bibehållen entusiasm, samtidigt som den låter generera pålitliga resultat. Det viktigaste är att säkerställa dubbelblindhetsprincipen och icke kommunikation deltagarna emellan medan testet pågår..

Ja, det där är ofta en brist som jag ser det i mycket av den klassiska statistiken. Jag är ju iofs ingen statistiker, men jag har känslan av att alla statisiska metoder förutsätter att systemet man undersöker är tidsinvariant, dvs att egenskaperna inte ändras över tid. Metoderna säger ofta att en ökad datamängd ger ökad konfidens, men det som sällan är med i den beräkningen är den trötthet som infinner sig hos lyssnarna om man mjölkar mer data ur dem.

Det är förstås mycket svårt att uttrycka denna trötthet i siffror. Den brukar tas om hand med någon sorts intuitivt förnuft av försöksledarna, när de ser att FP blir trötta.

[Magnuz]

Metoderna säger ofta att en ökad datamängd ger ökad konfidens, men det som sällan är med i den beräkningen är den trötthet som infinner sig hos lyssnarna om man mjölkar mer data ur dem.

Det där är intressant. Man kunde ju försöka studera om det finns något samband mellan svarens korrekthet och tidpunkten för svarets avgivande.

[Svante]

Metoderna säger ofta att en ökad datamängd ger ökad konfidens, men det som sällan är med i den beräkningen är den trötthet som infinner sig hos lyssnarna om man mjölkar mer data ur dem.

Det där är intressant. Man kunde ju försöka studera om det finns något samband mellan svarens korrekthet och tidpunkten för svarets avgivande.

Mm, och det skulle då ge en trötthetskurva som man kunde applicera på senare lyssningar. Fast gäller samma kurva alla personer? Alla tidpunkter på dygnet? Troligen inte. Det är det som jag tycker är så genialt med att i stället bestämma en konfidens som man tolererar och sedan jobba mot den. Då har man ju optimerat inom lyssningssessionen som pågår just nu, medan den äger rum.

[IngOehman]

...Den brukar tas om hand med någon sorts intuitivt förnuft av försöksledarna, när de ser att FP blir trötta.

Intuitivt förnuft är väldigt bra. Det borde användas mera sådant.


Vh, iö

[Naqref]

Man behöver inte vara einstain för att fatta att detta helt enkelt inte KAN stämma... Ren logik är allt som krävs. Samt eget tänkande. Inte ett skit mer eller mindre krävs...

Note från mig utan adminsynvinkel. Vad hände med hörseln? Ska man använda logik för att bedöma produkter främst eller?

Oj jag är nog OT oxå.

[Thomas_A]

Trötthetssymptomet (som kommer av intensiv koncentration) borde kunna lösas genom att man inte testar så många apparater per tillfälle. Max 2. Man kan alltid ha ett par till vid ett annat tillfälle.

Det jobbiga är ju att lyssna igenom en massa testmusik och träna på plats. Det finns ju alternativ till detta, men kräver lite andra resurser. Exempelvis skulle man kunna spela in före och eftersavsnitt (med antagande att felen i eftersignalen fångas på ett inspelat material) och skicka dem till en lyssnarpanel som får använda dem hur de vill (ABX, ljudkort/dator, hörlurar, sin egen anläggning) för att träna på dem någon månad innan man träffas. Då kan man börja att diskutera vad man tror skulle vara bäst att att testa och gå direkt på detta.

Kanske det blir svårt att anordna då man måste ha apparatur vid två tillfällen, ett när någon spelar in materialet och sedan när man träffas (om man inte vill använda det inspelade materialet igen vid det blinda testet naturligtvis).

[Svante]

...Den brukar tas om hand med någon sorts intuitivt förnuft av försöksledarna, när de ser att FP blir trötta.

Intuitivt förnuft är väldigt bra. Det borde användas mera sådant.

Nja, kanske, fast ibland kan det slå fel, speciellt när det gäller statistik.

Jag menar att man behöver räkna på statistiken för att man ska kunna lita på den. Att intuitionen lätt slår fel. Därför menar jag, att i de fall det går så bör man försöka beräkna vad tex konfidensen egentligen är. Och har man lite svårt att räkna, som jag har, så kan man simulera i stället.

Har du fö funderat på varför projekt som involverar flera personer nästan alltid blir försenade? Jo, det beror på att man är så dålig på att bedömma konjunktiva sannolikheter (enligt säker statistikerkälla).

Det lär ha forskats på just det.

[Svante]

Trötthetssymptomet (som kommer av intensiv koncentration) borde kunna lösas genom att man inte testar så många apparater per tillfälle. Max 2. Man kan alltid ha ett par till vid ett annat tillfälle.

Det jobbiga är ju att lyssna igenom en massa testmusik och träna på plats. Det finns ju alternativ till detta, men kräver lite andra resurser. Exempelvis skulle man kunna spela in före och eftersavsnitt (med antagande att felen i eftersignalen fångas på ett inspelat material) och skicka dem till en lyssnarpanel som får använda dem hur de vill (ABX, ljudkort/dator, hörlurar, sin egen anläggning) för att träna på dem någon månad innan man träffas. Då kan man börja att diskutera vad man tror skulle vara bäst att att testa och gå direkt på detta.

Kanske det blir svårt att anordna då man måste ha apparatur vid två tillfällen, ett när någon spelar in materialet och sedan när man träffas (om man inte vill använda det inspelade materialet igen vid det blinda testet naturligtvis).

Jo, allting går med obegränsade arbetsinsatser, men givet att arbetsinsatsen är en begränsad resurs, visst måste det vara klokt att optimera testförfarandet mot en viss konfidens?

Att spela in signalerna kan vara en lösning, men det kräver att apparaten finns tillgänglig för testning åtminstone vid två tillfällen.

[IngOehman]

...Den brukar tas om hand med någon sorts intuitivt förnuft av försöksledarna, när de ser att FP blir trötta.

Intuitivt förnuft är väldigt bra. Det borde användas mera sådant.

Nja, kanske, fast ibland kan det slå fel, speciellt när det gäller statistik.

Inte alls! Isåfall tror jag det du tänker på är intuitivt oförnuft.

Det tycker jag borde användas så lite som möjligt. Själv använder jag det aldrig.


Vh, iö

[Svante]

Det tycker jag borde användas så lite som möjligt. Själv använder jag det aldrig.

Ja, och däri ligger början till vår konflikt.

[IngOehman]

Aha - du tycker alltså att intuitivt oförnuft borde användas mera!

Ok, då förstår jag.

Men jag tänker ändå inte bidra med något.


Vh, iö

[Svante]

Äh...

[Thomas_A]

Svante,

ett lyssningstest bör i första hand läggas upp så att det är störst chans att lyckas höra skillnad, innebärande en god träning och selektion av sådana som i träningen verkar höra en skillnad (genom att genomföra blindtester under träningen). Sådana som inte hör skillnad kan ju behöva mer träning eller så är det nåt annat.

I sin enklaste form är det binomial/normaltest som behöver göras. Vill man komplicera testet så måste man ha fler n, för att göra Fishers test och testa observationerna mot varandra. Men det ska inte behövas egentligen.

Jag tycker att sätta krav (dvs "du måste ha xx antal rätt av yy möjliga") är onödigt. Att helt enkelt välja ett mål på 20-25 svar totalt för en session torde vara det allra enklaste (är man 4 lyssnare med 10 omgångar ges maximalt 40 svar). Svar ska ges när en lyssnare är säker eller har en viss aning om vad som är vad. Dock ska man inte vildgissa, då ska man hoppa över en omgång istället och koncentrera sig på nästa. Tappar man koncentrationen efter 4-5 omgångar kan man vila och göra nytt försök exempelvis de två sista. Sen rättar man och gör beräkningar, och kan konstatera resultatet.

[silvervarg]

Jag tycker att det har framkommit en del kloka synpunkter i debatten.
Farmförallt att de största svagheterna vid testningen troligen inte är statistiken utan andra faktorer. T.ex. olika duktiga lyssnare vid olika tester, trötthetsfaktorer, är det apparat 1 eller 3 som testas denna kväll etc.

Kanske är det viktigare att titta på hur man kan få bättre kontroll på dessa faktorer än exakt hur mätdatat skall tolkas och hur många tester som behövs.
Grunden vid nästan all typ av förbättringsarbete är att först analysera var den största svagheten finns och sedan försöka förbättre där. Ganska logiskt och enkelt om man tänker efter.
Eftersom alla F/E-lyssningar av LTS hittills tydligen har klarat minst 99% signifikans så finns det inte mycket att vinna på detta område, så innan alla övriga områden har gåtts igenom är det inte så vettigt att lägga kraft på att ändra i detta område.

Det största problemet med LTS tester för allmänheten är dock inte testets utformning eller dess statistiska säkerhet, utan att listan med apparater som passerat testet är alldeles för liten och innehåller främst mycket gamla apparater.
Dessutom vore det intressant att veta vilka apparater som har testats.

[Svante]

Eftersom alla F/E-lyssningar av LTS hittills tydligen har klarat minst 99% signifikans så <snip>...

Det är det jag har ifrågasatt. Med den nuvarande metoden är det mycket svårt att räkna ut vad konfidensen egentligen är.

[Harryup]

Varför har LTS bara en testgrupp/plats? Om det fanns flera platser skulle resultat kunna ställas mot varandra och man skulle kunna hinna testa fler apparater. Dessutom skull kanske fler medlemmar få pröva och därmed få en insikt i vad betyder det att en apparat färgar. Idag tycker jag det är också en svaghet med proceduren att folk hänvisar till en test med en väldigt skarp gräns färgande - inte bevisat färgande där färgningen kanske inte ens är hörbar under normala omständigheter. Trots det är apparaten utdömd av folk genom hörsägen. Särskilt med avseende på att så pass många apparter blir godkända som inte finns att köpa längre så får listan lite stofil karaktär hur sann listan än är. Därför tycker jag att det skulle vara bättre om man redovisade mer av testade och icke godkända apparater som ändå skulle passa i normala anläggningar under normala betingelser.

[tvett]

Varför har LTS bara en testgrupp/plats? Om det fanns flera platser skulle resultat kunna ställas mot varandra och man skulle kunna hinna testa fler apparater. [...]

JA, varför har LTS inte en hel armé av testare? *ironi*

(Detta ska inte förknippas med det ovanstående, men det har sagts att 1000 apor vid skrivmaskiner skulle kunna med tiden skriva Shakespears samlade verk, vilket har motbevisats med hififorum)

[Harryup]

Men kanske 3 grupper som inte bestod av apor skulle kunna fungera.

[Maarten]

Svante!

En hypotetisk fråga, som tydliggör åsiktsskillnaderna:

Du utför test med 3 personer som lyssnar på en och samma apparat. Varje test innehåller 10 svar av vardera personen. Detta test upprepas vid 100 olika tillfällen. Nu har du 3000 svar. En person har svarat rätt alla gånger, dvs 1000 rätt av 1000 möjliga, de andra två 500 fel/500rätt, dvs slumpmässigt.

Jag tycker att den rimliga tolkningen är att en snubbe hör skillnad och de andra inte och dennes serie bör behandlas för sig. Om testet inte hade utförts 100 ggr, utan bara en gång, hade det intuitivt inte känts lika klart att skillnaderna låg hos lyssnaderna. Kanske finns det tråden redovisat en statistikbehandling som lyckas separera skillnader hos testobjekt och hos lyssnare?
Vad säger du eller andra?

[Thomas_A]

Svante!

En hypotetisk fråga, som tydliggör åsiktsskillnaderna:

Du utför test med 3 personer som lyssnar på en och samma apparat. Varje test innehåller 10 svar av vardera personen. Detta test upprepas vid 100 olika tillfällen. Nu har du 3000 svar. En person har svarat rätt alla gånger, dvs 1000 rätt av 1000 möjliga, de andra två 500 fel/500rätt, dvs slumpmässigt.

Jag tycker att den rimliga tolkningen är att en snubbe hör skillnad och de andra inte och dennes serie bör behandlas för sig. Om testet inte hade utförts 100 ggr, utan bara en gång, hade det intuitivt inte känts lika klart att skillnaderna låg hos lyssnaderna. Kanske finns det tråden redovisat en statistikbehandling som lyckas separera skillnader hos testobjekt och hos lyssnare?
Vad säger du eller andra?

Jodå, detta ger en 2 x n chisquare och är signifikant så det stänker. Ska man dock jämföra två observationer behöver man fler n än 7 för att få power.

Jämför man ratiot 1 mot 0.5 som ovan behövs n=14; jämför man 0.9 mot .5 behövs som tidigare skrivits n=24, för 80% power (vilket är standard i många studier).

Det är därför man i förstudier måste preselektera de bästa lyssnarna. alternativts träna diskutera om vad som är bäst att fokusera på. Exempelvis lyssnas på en kantslag, om det man ska fokusera på är hur rent kantslaget är. Lyssna på om kantslaget är omgivet av något högre brus.

[Thomas_A]

Det som Svante varit inne på tidigare om att avbryta i "förtid" och att statistiken ändras gäller om man får förhandsinformation. Antag exemplet ovan och man avbryter så fort man vet att man fått ett fel. Då kommer man att selektera fram många fler positiva eftersom man aldrig kommer att få två fel i rad, dock kommer det att hända att man får flera positiva i rad.

3/4
0/1
2/3
0/1
1/2
4/5
0/1
1/2
3/4
2/3
0/1

=

16/27

Vill man ha förhandsinformation måste man slutföra alla tester. Om man dock inte väljer att få förhandsinformation kan man hoppa över så många man känner för och endast svara när "allt faller på plats".

[Svante]

Svante!

En hypotetisk fråga, som tydliggör åsiktsskillnaderna:

Du utför test med 3 personer som lyssnar på en och samma apparat. Varje test innehåller 10 svar av vardera personen. Detta test upprepas vid 100 olika tillfällen. Nu har du 3000 svar. En person har svarat rätt alla gånger, dvs 1000 rätt av 1000 möjliga, de andra två 500 fel/500rätt, dvs slumpmässigt.

Jag tycker att den rimliga tolkningen är att en snubbe hör skillnad och de andra inte och dennes serie bör behandlas för sig. Om testet inte hade utförts 100 ggr, utan bara en gång, hade det intuitivt inte känts lika klart att skillnaderna låg hos lyssnaderna. Kanske finns det tråden redovisat en statistikbehandling som lyckas separera skillnader hos testobjekt och hos lyssnare?
Vad säger du eller andra?

Ja, det där måste vara supersignifikant. Iofs vill jag gärna veta vad upplägget var från början om jag ska kunna räkna ut exakt vad signifikansen var.

[Svante]

Det som Svante varit inne på tidigare om att avbryta i "förtid" och att statistiken ändras gäller om man får förhandsinformation. Antag exemplet ovan och man avbryter så fort man vet att man fått ett fel. Då kommer man att selektera fram många fler positiva eftersom man aldrig kommer att få två fel i rad, dock kommer det att hända att man får flera positiva i rad.

3/4
0/1
2/3
0/1
1/2
4/5
0/1
1/2
3/4
2/3
0/1

=

16/27

Vill man ha förhandsinformation måste man slutföra alla tester. Om man dock inte väljer att få förhandsinformation kan man hoppa över så många man känner för och endast svara när "allt faller på plats".

Hmm, var det där kritik mot "min" metod? I sådana fall måste jag förklara lite till för det är inte så avbrottsvillkoren ser ut:

Jag lyssnar tills jag har fått tillräcklig konfidens alternativt har gjort fler än fler än x fel. Väljer jag designen 7-13-16 försöker jag först få 7 rätt i rad, därefter om jag får ett fel försöker jag få 10 av 11, får jag två fel försöker jag få 14 av 16.

Jag har släppt att beräkna konfidensen (det går iofs, men beräkningen, som jag har gjort den kräver en beräkningsmängd som växer exponentiellt med antalet lyssningar, och det vet vi ju att exponentiell tillväxt är snabb) utan jag simulerar den i stället.

Jag bestämmer alltså avbrottsvilkoren och låter datorn göra en miljon "lyssningar" utan att höra något alls. Datorns svar är alltså helt slumpmässiga. På den miljonen svar råkar några uppfylla villkoren (av en slump), några svar är alltså falkskeligen positiva och genom att räkna dem kan jag få reda på konfidensen jag får med jusgt de avbrottsvillkoren.

Är du med på det?

Hmm, eller är det så att du menar att de data som kommer ur "mitt" sätt att lyssna inte lämpar sig att applicera "din" typ av statistik på? Det kan jag mycket väl tänka mig, eftersom man som du säger selekterar fram fler positiva på det sättet.

Det gäller inte bara mitt sätt utan även LTS sätt, om jag förstår det rätt.

I sådana fall har vi ytterligare ett skäl att bestämma utvärderingsmetoden och gränserna före testet i stället för i efterhand, har jag rätt i det?

Jo, så måste det vara du menar. Det betyder alltså att man förlorar konfidens för långa serier och att serierna behöver vara längre med mitt sätt. Ändå... Fördelen med att man som regel inte behöver de långa serierna utan att man får bryta tidigt tycker jag överväger. Det är ju trots allt så i de flesta fall att en skillnad antingen hörs ganska lätt eller inte alls. Det är bara precis gränsfallen som kräver långa serier för att uppnå konfidens.

Å ena sidan är det då illa att man behöver trötta ut lyssnaren lite mer just när det är som jobbigast (med min metod), å andra sidan är det troligt att man gör flera tester en kväll och fasen vet om man inte i snitt får färre lyssningar innan det där svåra gränsfallet kommer, om man applicerar min metod.

Klurigt det här...

[dimitri]

Redan i andra inlägget har perstromgren påpekat att ämnet var uppe i tråden
http://www.faktiskt.se/modules.php?name ... ic&t=11616
Det är värt att läsa om den "gamla" tråden, nu med perspektivet från denna tråd.
JAg förstår nu Svantes egentliga agenda i den förra tråden. Det är också mycket lättare att förstå argumentväxling mellan Svante och Ingvar. Båda två visste vad upprinnelsen till Svantes tråd medan vi andra fick agera naiva hjälpsamma statister. Så där i efterhand känner jag mig lite lurad eller som en naiv idiot i och med mitt deltagande i den gamla tråden. Det är faktiskt bättre (för mig) att veta anledningen till frågeställningen så att jag kanske kan bidra med ngt nyttigt.
Det kanske inte är så bra ur ett föreningsperspektiv, jag tror dock, som Candide, att allt som sker det sker till det bästa.

På tal om äkta/matematisk statistiskt expertis. Den finns förvisso. Det kan dock bli kontraproduktivt i vissa sammanhang att anlita denna expertis. En matematisk/teoretisk statistiker måste sättas in i sammanhanget, f/e metodiken och mycket annat. Det tar lång tid att få denna att förstå Svante och Svante att förstå den teoretiska statistikern. Det finns profilerade statistiker, t.ex. inom den epidemiologiska forkningen med dess specifika frågeställningen, t.ex. tidsutdräktens betydelse (Cox regression). Det finns många subspecialiteter inom statistiken- ekonomi, medicin.
Det synes som att flera av deltagarna i tråden besitter tillräckliga kunskaper i statistik och vetenskapsteori för att kunna ha åsikter och idéspåna här i tråden. Främst tänker jag på Herr Dahlqvist.

Edit: Faktum är att det har nog aldrig framgått hururvida Dahlqvist en man eller en kvinna. Om jag hade fel ovan så förlåt mig fru (fröken?) Dahlqvist!

[patrikf_inaktiv]

Nu har jag mailat Jesper Jerkert och frågat om han vill komma med nån synpunkt om trådens diskussion.

[dimitri]

Nu har jag mailat Jesper Jerkert och frågat om han vill komma med nån synpunkt om trådens diskussion.

Jaha...

O'Toole, förlåt Toole har inte hjälpt

Matts har inte hjälpt

Kanske Jesper hjälper.

Är det inte så att du inte litar på auktoriteter, dvs IÖ?. Men i din strävan att störta honom från den av dig konstruerade piedestalen sätter du andra på piedestaler, också konstruerade av dig.
Lycka till med Jesper dock. Fast för din EGEN skull skulle jag hoppas att även han sviker dig och att du drar rätt slutsats av det.

[Svante]

Redan i andra inlägget har perstromgren påpekat att ämnet var uppe i tråden
http://www.faktiskt.se/modules.php?name ... ic&t=11616
Det är värt att läsa om den "gamla" tråden, nu med perspektivet från denna tråd.
JAg förstår nu Svantes egentliga agenda i den förra tråden.

Nja, den förra tråden hade jag ingen agenda med, den kom till efter en verklig insikt om att något som jag hade trott på i 15 år var fel. Det är sant att den insikten fick mig att vilja förändra mina labbar i min kurs, och även LTS tester och det var också den insikten som fick mig att skriva min artikel i MoLT.

Däremot kan man kanske säga att jag hade en agenda med den här tråden, i den meningen att jag inte avslöjade den ursprungliga upprinnelsen till frågan i första inlägget. Jag var sur och behövde få en neutral syn på om jag var helt ute och cyklade. Nu när jag har lugnat ner mig ser jag gärna att tråden får fortsätta att vrida och vända på de olika statistiska och praktiska överväganden man behöver göra när man lyssningstestar. Jag är ledsen om någon känner sig lurad, kanske speciellt Dahlqvist som jag lurade av uttrycket "muggigt experiment"

Det är också mycket lättare att förstå argumentväxling mellan Svante och Ingvar. Båda två visste vad upprinnelsen till Svantes tråd medan vi andra fick agera naiva hjälpsamma statister. Så där i efterhand känner jag mig lite lurad eller som en naiv idiot i och med mitt deltagande i den gamla tråden. Det är faktiskt bättre (för mig) att veta anledningen till frågeställningen så att jag kanske kan bidra med ngt nyttigt.
Det kanske inte är så bra ur ett föreningsperspektiv, jag tror dock, som Candide, att allt som sker det sker till det bästa.

På tal om äkta/matematisk statistiskt expertis. Den finns förvisso. Det kan dock bli kontraproduktivt i vissa sammanhang att anlita denna expertis. En matematisk/teoretisk statistiker måste sättas in i sammanhanget, f/e metodiken och mycket annat. Det tar lång tid att få denna att förstå Svante och Svante att förstå den teoretiska statistikern. Det finns profilerade statistiker, t.ex. inom den epidemiologiska forkningen med dess specifika frågeställningen, t.ex. tidsutdräktens betydelse (Cox regression). Det finns många subspecialiteter inom statistiken- ekonomi, medicin.

Ja, jag har anlitat statistiker ibland. Jag tycker statistik är svårt, det ska medges, och det är alltid en massa farbröders namn som poppar upp när man ska välja analysmetod. Ändå verkar det som att det där med att avbryta en serie när man har fått tillräcklig konfidens är väldigt oortodoxt, trots att det är det som varje normal människa gör när man testar något intuitivt. Ingvar är väl ett exempel på det. Därför finns det kanske skäl att tro att det är en effektiv metod, sett rent evolutionelllt. Därför tycker jag att det är intressant att formalisera även det och försöka ta fram hur stor konfidensen egentligen är. Jag tror att jag kan det om jag bara får designa experimentet.

Det synes som att flera av deltagarna i tråden besitter tillräckliga kunskaper i statistik och vetenskapsteori för att kunna ha åsikter och idéspåna här i tråden. Främst tänker jag på Herr Dahlqvist.

Edit: Faktum är att det har nog aldrig framgått hururvida Dahlqvist en man eller en kvinna. Om jag hade fel ovan så förlåt mig fru (fröken?) Dahlqvist!

Ja, Herr Dahlqvist (som jag enligt en hyfsat säker källa vet är en herre) får gärna kommentera. Han brukar vara ganska försiktig med att ge sig in i infekterade trådar, men kanske har den städats upp tillräckligt för en kommentar. Annars uppskattar jag dina och Tomas_As (det där såg trist ut ) bidrag hittills. Och flera andras.

[Thomas_A]

Det som Svante varit inne på tidigare om att avbryta i "förtid" och att statistiken ändras gäller om man får förhandsinformation. Antag exemplet ovan och man avbryter så fort man vet att man fått ett fel. Då kommer man att selektera fram många fler positiva eftersom man aldrig kommer att få två fel i rad, dock kommer det att hända att man får flera positiva i rad.

3/4
0/1
2/3
0/1
1/2
4/5
0/1
1/2
3/4
2/3
0/1

=

16/27

Vill man ha förhandsinformation måste man slutföra alla tester. Om man dock inte väljer att få förhandsinformation kan man hoppa över så många man känner för och endast svara när "allt faller på plats".

Hmm, var det där kritik mot "min" metod? I sådana fall måste jag förklara lite till för det är inte så avbrottsvillkoren ser ut:

Jag lyssnar tills jag har fått tillräcklig konfidens alternativt har gjort fler än fler än x fel. Väljer jag designen 7-13-16 försöker jag först få 7 rätt i rad, därefter om jag får ett fel försöker jag få 10 av 11, får jag två fel försöker jag få 14 av 16.

Jag har släppt att beräkna konfidensen (det går iofs, men beräkningen, som jag har gjort den kräver en beräkningsmängd som växer exponentiellt med antalet lyssningar, och det vet vi ju att exponentiell tillväxt är snabb) utan jag simulerar den i stället.

Jag bestämmer alltså avbrottsvilkoren och låter datorn göra en miljon "lyssningar" utan att höra något alls. Datorns svar är alltså helt slumpmässiga. På den miljonen svar råkar några uppfylla villkoren (av en slump), några svar är alltså falkskeligen positiva och genom att räkna dem kan jag få reda på konfidensen jag får med jusgt de avbrottsvillkoren.

Är du med på det?

Hmm, eller är det så att du menar att de data som kommer ur "mitt" sätt att lyssna inte lämpar sig att applicera "din" typ av statistik på? Det kan jag mycket väl tänka mig, eftersom man som du säger selekterar fram fler positiva på det sättet.

Det gäller inte bara mitt sätt utan även LTS sätt, om jag förstår det rätt.

I sådana fall har vi ytterligare ett skäl att bestämma utvärderingsmetoden och gränserna före testet i stället för i efterhand, har jag rätt i det?

Jo, så måste det vara du menar. Det betyder alltså att man förlorar konfidens för långa serier och att serierna behöver vara längre med mitt sätt. Ändå... Fördelen med att man som regel inte behöver de långa serierna utan att man får bryta tidigt tycker jag överväger. Det är ju trots allt så i de flesta fall att en skillnad antingen hörs ganska lätt eller inte alls. Det är bara precis gränsfallen som kräver långa serier för att uppnå konfidens.

Å ena sidan är det då illa att man behöver trötta ut lyssnaren lite mer just när det är som jobbigast (med min metod), å andra sidan är det troligt att man gör flera tester en kväll och fasen vet om man inte i snitt får färre lyssningar innan det där svåra gränsfallet kommer, om man applicerar min metod.

Klurigt det här...

Nja, jag har förstått metoden du beskrivit, vad jag menar är att du måste sänka signiifkansen för alla avbrott om man känner till hur man svarat.

Du säger att fördelen med att få veta svaren efter varje omgång är en konfirmation, och att svarsfrekvensen skulle kanske bli bättre med en sådan. Men blir den det? Men den andra metoden kan man välja valfritt om man vill vila en omgång, och satsa på nästa. En sak är också att man kan avbryta och träna igen med kända F och E, och helt enkelt hoppa över omgången och gå på nästa.

En serie behöver inte vara längre än 10, om man är flera som medverkar och har ett mål på 20-25 svar. Har man preselekterat lyssnarna, kanske inte alla är 100% men det spelar inte så stor roll för slutresultatet ändå. Är några 80% korrekta och några 90% så blir slutresultatet i alla fall signifikant.

[IngOehman]

Eftersom alla F/E-lyssningar av LTS hittills tydligen har klarat minst 99% signifikans så <snip>...

Det är det jag har ifrågasatt. Med den nuvarande metoden är det mycket svårt att räkna ut vad konfidensen egentligen är.

Inte alls. Det är lätt att räkna ut om tillräcklig signifikans råder, i varje fall om man hållit i testet och vet hur svaren avgivits.

Att förmedla all den information som insamlats är svårare. Risken att det skall missförstås är påtaglig, vilket är ett bra skäl att fokusera på att förmedla information om apparaterna som testats istället, och i förekommande fall vilken minimumsignifikans (ALLTID större än 99% i LTS tester) som uppnåtts.


Har du ett faktiskt exempel på ett fall där du menar att det inte 99% konfindens uppnåtts? Annat skäl är gissning/spekulation alltså.

Jag har frågat om detta flera gånger, utan att få svar, vilket jag tolkar som att du inte har något sådant exempel. Eftersom det varit mitt ansvar att tillse att tillräcklig statitisk signifikans erhålits har jag tillsett att så skett. Jag tycker det är rimligt att den som antyder att så inte varit fallet, framställer något sakargument för att stödja den antydningen. I synnerhet när utfallet kommer från någon som deltagit i testerna, och som borde kunna redovisa vilken signifikans som förelegat, om den nu varit lägre än 99%.


Vh, iö

[IngOehman]

Svante,

ett lyssningstest bör i första hand läggas upp så att det är störst chans att lyckas höra skillnad, innebärande en god träning och selektion av sådana som i träningen verkar höra en skillnad (genom att genomföra blindtester under träningen). Sådana som inte hör skillnad kan ju behöva mer träning eller så är det nåt annat.

I sin enklaste form är det binomial/normaltest som behöver göras. Vill man komplicera testet så måste man ha fler n, för att göra Fishers test och testa observationerna mot varandra. Men det ska inte behövas egentligen.

Jag tycker att sätta krav (dvs "du måste ha xx antal rätt av yy möjliga") är onödigt. Att helt enkelt välja ett mål på 20-25 svar totalt för en session torde vara det allra enklaste (är man 4 lyssnare med 10 omgångar ges maximalt 40 svar). Svar ska ges när en lyssnare är säker eller har en viss aning om vad som är vad. Dock ska man inte vildgissa, då ska man hoppa över en omgång istället och koncentrera sig på nästa. Tappar man koncentrationen efter 4-5 omgångar kan man vila och göra nytt försök exempelvis de två sista. Sen rättar man och gör beräkningar, och kan konstatera resultatet.

En ganska bra beskrivning av hur vi gått tillväga vid F/E-lyssningarna alltsedan ungefär 1990 iLTS.

Själv har jag gjort likaledes sedan 70-talet.


Vh, iö

[IngOehman]

Jag tycker att det har framkommit en del kloka synpunkter i debatten.
Farmförallt att de största svagheterna vid testningen troligen inte är statistiken utan andra faktorer. T.ex. olika duktiga lyssnare vid olika tester, trötthetsfaktorer, är det apparat 1 eller 3 som testas denna kväll etc.

Kloka synpunkter. Vi har funderat mycket på sådant, och alltid försökt stärka säkerheten genom att komparera mellan mätegenskaper och lyssningsintryck. Det har vairt mycket tydligt att det som hörts och hur det beskrivts har korrelerat extremt bra mot mätdata, genom åren. Inte bara sett till beskrivningar, utan det har även gått att hitta ungefärliga detektionsnivåer på de flesta fel. På grund av vetenskapens första tes kan man dock aldrig utesluta att saker man inte hittar fel på vid mätning, kan ha hörbarheter som ligger i någon annan dimension än de som mätts. Det har faktiskt hänt ett antal gånger att vi detekterat apparater (med signifikans >>99%) vars basala mätdata varit invändningsfria. För det mesta har vi då letat vidare, och inte sällan hittat någon teknisk egenskap som förklarar det hörda, men som man inte upptäcker vid standardmätningar (tonkurva, distorsion).

Kanske är det viktigare att titta på hur man kan få bättre kontroll på dessa faktorer än exakt hur mätdatat skall tolkas och hur många tester som behövs.

Ja, så har jag resonerat, men jag ser inte att sakerna behöver stå i motsatsförhållande till varandra. Att uppnå rimlig statistisk signifikans är ju en bagatell i sammanhanget. Det stora jobbet har varit att trimma testuppsättningen för att rendera lägsta möjliga detektionströsklar.

Det har givit utmärkt resultat med tanke på att vi i regel detekterar fel som ligger på en bråkdel av litteraturens påståenden om hörselns förmåga.

Grunden vid nästan all typ av förbättringsarbete är att först analysera var den största svagheten finns och sedan försöka förbättre där. Ganska logiskt och enkelt om man tänker efter.

Absolut. Jag började tänka efter för snart 30 år sedan. Den här diskussionen har inte innehållit något som inte kontemplerats och undersökts både fram och aklänges redan. Det är ingen slump att LTS F/E-lyssningar går till som de går till.

Eftersom alla F/E-lyssningar av LTS hittills tydligen har klarat minst 99% signifikans så finns det inte mycket att vinna på detta område, så innan alla övriga områden har gåtts igenom är det inte så vettigt att lägga kraft på att ändra i detta område.

Det har lagts kraft redan, under sammanlagt ungefär 15 års tid av optimering och fintrimning av metoden. (11 år inom institutionen Audio Purus, sedan 4 år i sammarbete med i huvudsak Claes Wettebrandt på Studio Blue.)

Det betyder inte att det inte finns ytterligare optimeringar att göra, men att testa förändringar som redan testats både fram och baklänges med kända resultat känns inte meningsfullt.

Det största problemet med LTS tester för allmänheten är dock inte testets utformning eller dess statistiska säkerhet, utan att listan med apparater som passerat testet är alldeles för liten och innehåller främst mycket gamla apparater.
Dessutom vore det intressant att veta vilka apparater som har testats.

Håller med om allt det ovanstående.

Har ingen bra ursäkt annat än att allt arbete som skett inom LTS har varit idéellt, och sådant arbete är svårt att ställa mängdkrav på. Jag testar väldigt mycket apparater, och det har till stor del varit en sorts "förfiltrering" för LTS's tester.

Inte sällan har jag tittat på 10-20 apparater mellan varje apparat som blir en artikel i MoLt, och för det mesta har jag inte ens en aning om vad alla de apparater (som befunnits vara för ointressanta att skriva om) hetat. Det är lättare att minnas vad de intressanta apparaterna heter.

Johan har testat enligt andra principer, nämligen att skriva om alla apparater som undersökts. Jag har mycket uppskattat detta, och det tror jag läsarna har gjort också.


Vh, iö

[Svante]

Ok, boss

[Svante]

Ok, boss...

[Kaffekoppen]

Nu är ni tillbaka och pratar om LTS. Ber er båda omedelbart sluta med det!! Vi ta det där över en fika/pizza. Vi har 10% på Pizza cusina Damario (Sthms absolut bästa). Jag har en tämligen god överblick.

Ha nu en riktigt God Jul!

Vi hörs i mellandagarna

[dimitri]

En IÖ spåning:
En liten reflektion om vetenskapens första tes:
Det har gått ett antal år sedan Popper formulerade sin tes om förkastande av nollhypotes.
En hel del har hänt sedan dess.
Poppers tes, eller det nu rådande vetenskapliga paradigmet, gäller givetvis. Lite cirkulärt kan man säga att tesen gäller ty det nu rådande vatenskapliga paradigmet gäller. Allt gott och väl. Jag tillämpar dessa idéer själv, det är logiskt och klokt.

Men:
Alltså ett stort "MEN".
Ponera att jag bestämmer mig att vetenskapligt, t.ex. inom en Institution för Sociologi, undersöka de mänskliga mekanismerna som har gjort det möjligt för den galenskap som rådde i Tyskland 1933-45 och som ledde till en human katastrof utan dess like.
Såsom naturvetare plockar jag min Popper från bokhyllan. Men hur noggrant jag än läser finner jag inga ledtrådar. Jag måste leta på andra håll. Jag kommer fram till Husserl, Jakobson oa. dvs kvalitativ forskning. till skillnad från den i naturvetenskaperna tillämpade kvantitativa forskningen. Ingen kan påstå att min frågeställning är mindre viktig än f/e statistiken.

[Morello]

Ingvar och Dr. Svante,

Vore det inte enkelt att scanna in ett test-protokoll och sedan får ni, redovisa varsin beräkning, varpå vi kan se om diskrepans föreligger?

Kommer man fram till en konfidensnivå om tex. 99% måste det finnas en beräkning bakom. Den skall kunna redovisas. Kan man inte det finns det anledning att ifrågasätta resultatet.

[Morello]

Ok, boss...

Varför grön penna?

[IngOehman]

Ok, boss...

Tack för ok! (även om jag anade viss ironi )

Men bara för att undvika missförstånd - det var silvervargs inlägg jag kommenterade, inget som du skrivit Svante. Dessutom tycker jag ingen skall uppröras av det jag skrev, det var ju bara en historisk återblick och inget som har med framtiden att göra. Den kommer ju andra än jag och Svante att styra över.


Vh, iö

[Morello]

God Jul föresten.

[IngOehman]

God Jul Själv, och Svante, och alla andra!

Ingvar och Dr. Svante,

Vore det inte enkelt att scanna in ett test-protokoll och sedan får ni, redovisa varsin beräkning, varpå vi kan se om diskrepans föreligger?

1. Det är svårt att skriva ett testprotokoll så att det förmedlar all den information som fanns vid testtillfället. Det är därför det är bra att vara med vid testtillfället.

2. På sätt och vis kan väl Svantes tråd sägas vara just det du beskriver, även om han beskrev testprotokoll istället för att visa dem. Jag svarade efter bästa förmåga, och jag har inte sett att Svante rest några invändningar mot mitt svar.

Tror hur som helst att vi är överens om hur statitisk signifikans beräknas, i varje fall i "enkla sammanhang". Det jag uppfattat att vi tidigare inte var överens* om - var hur stor höjd man måste ta för att kunna fortsätta en test med vacklande startserie. Dock trodde jag att vi blivit överens om detta förr-förra gången vi träffades.


Vh, iö

- - - - -

*Det skall tilläggas att vi när vi diskuterade det vid det tillfället så påstod inte Svante att SS gick mot noll (vilket borde ha kallats 50%), han sa bara att han trodde att det var så. Inget fel med det, även om det var fel.

PS. Nu skriker de på mig att det skall drickas glögg, mums!

[Morello]

1. Det är svårt att skriva ett testprotokoll så att det förmedlar all den information som fanns vid testtillfället.

I vilket avseende skulle det vara svårt att dokumentera hur folk svarat samt vem som svarat först i de fall där flera avgivit svar? Jag ser inte svårigheten.

[Kaffekoppen]

Supergodjul till er alla!

Förresten är jag trots allt rätt övertygad om att vi kan få ihop det här

Go with the force Luke*







*Luke är såväl Svante som IÖ

[IngOehman]

1. Det är svårt att skriva ett testprotokoll så att det förmedlar all den information som fanns vid testtillfället.

I vilket avseende skulle det vara svårt att dokumentera hur folk svarat samt vem som svarat först i de fall där flera avgivit svar? Jag ser inte svårigheten.

De förutsägbara elementen är alltid lätt att förmedla, eftersom man kan förutsäga dem (vilket ju hörs på ordet) och således anpassa domumentationen för dem.

Man du tolkar. Du låtsas att jag sagt något som jag inte sagt. Jag skrev: "ALL den information som fanns vid testtillfället", vilket inkluderar även massor av andra komponenter än de du nämner, såsom vem som sagt vad och vem som svarat först.

Det är därför jag ofta avbryter tester halvvägs och ber alla berätta vad de tyckt sig uppleva och/eller berätta hur säkra de känner sig på det de svarat. Det kan ha stor betydelse för hur resultatet skall tolkas, och dessutom kan det användas till att redan vid en tendens (otillräcklig statistisk signifikans) bestämma att låta någon enstaka lyssnare svara ensam (vilket inte hindrar andra från att få avgiva svar självklart, men de räknas inte längre).


Vh, iö

[IngOehman]

En IÖ spåning:
En liten reflektion om vetenskapens första tes:
Det har gått ett antal år sedan Popper formulerade sin tes om förkastande av nollhypotes.
En hel del har hänt sedan dess.
Poppers tes, eller det nu rådande vetenskapliga paradigmet, gäller givetvis. Lite cirkulärt kan man säga att tesen gäller ty det nu rådande vatenskapliga paradigmet gäller. Allt gott och väl. Jag tillämpar dessa idéer själv, det är logiskt och klokt.

Men:
Alltså ett stort "MEN".
Ponera att jag bestämmer mig att vetenskapligt, t.ex. inom en Institution för Sociologi, undersöka de mänskliga mekanismerna som har gjort det möjligt för den galenskap som rådde i Tyskland 1933-45 och som ledde till en human katastrof utan dess like.
Såsom naturvetare plockar jag min Popper från bokhyllan. Men hur noggrant jag än läser finner jag inga ledtrådar. Jag måste leta på andra håll.

Jag kommer fram till Husserl, Jakobson oa. dvs kvalitativ forskning. till skillnad från den i naturvetenskaperna tillämpade kvantitativa forskningen.

Ingen kan påstå att min frågeställning är mindre viktig än f/e statistiken.

Nä, inte jag i varje fall. Tvärtom tycker jag din frågeställning sätter fingret på själva essensen i jakten på
kunskap, förstånd och insikt.

Jag ser definitivt inte infallsvinklarna som motsatta - utan som två potentiellt parallella.

I själva verket är det precis det du säger jag försökt få fram i den här tråden, så låt mig göra en ny ansats:

Bara för att det finns en massa saker man inte får bryta mot (vetenskapens första test exempelvis), behöver
man inte förfalla till att tumregel-reglera alla de metodologiska parametrar som både kan och bör(!) vara fria!

Tumregler suger! Och detta oavsett om det handlar om inskränkningar av en testmetodik, schabloniseringar
av människor eller bara en allmän rädsla/ovilja att se och intaga de komplicerade sammanhangen - till förmån
för den förenkling, som praktiskt taget alltid blir en lögn.


Vh, iö

[berma]

Vilken vetenskaplig princip säger att man inte ska beskriva den metod man använder?
Vilken vetenskaplig princip säger att man inte ska dokumentera sina resultat?
Vilken vetenskaplig princip säger att man inte ska publicera sina resultat?
Vilken vetenskaplig princip säger att man inte ska tillåta granskning?

[Kaffekoppen]

berma,

på vilka grunder för du fram de frågeställningarna?

[dimitri]

berma,

på vilka grunder för du fram de frågeställningarna?

Eller:
Vems inlägg svarar du på. Och vad i inläggen som väcker dina frågor?
Frågorna verkar vara helt på sin plats, om man fantiserar fram formuleringar som kan ha frammanat dem.
Lite som i Jeopardy: Du ställer frågan, vi ger svaret.

[berma]

berma,

på vilka grunder för du fram de frågeställningarna?

LTS vill inte beskriva den metod man kallar F/E-lyssning, LTS kan tydligen inte dokumentera vad som händer under testerna, LTS vil inte publicera några testprotokoll, LTS lägger munkavle på de personer som försöker debattera testerna.

Samtidigt talar man högt och lågt om vetenskapliga principer, jag undrar på vilka vetenskapliga principer LTS lyssningar bygger på?

[Kaffekoppen]

Du har således inte läst några som helst av de publicerade testerna och uttalar dig helt utan kunskap? Du får hemskt gärna utveckla vilka brister du sett i testredovisningarna och på vilka sätt de kan förbättras. Företrädesvis använder du någon av alla de publicerade testredovisningarna som underlag för din genomgång!

Din insinuering över att någon lägger munkavel på de som debatterar testerna är förskräcklig, omogen och riktigt korkad. Vad skulle föreningen vinna på att vara så hemlighetsfull som du tycks vilja framställa den som Kom igen nu berma - så korkad är du inte!!

Jag vill bara att två personer som jag hemskt gärna ser som styrelsemedlemmar i föreningen löser sina meninskilljaktligheter öga mot öga istället för att kanske förvärra dem via ett forum där det alltförlätt uppstår missförstånd.

Debattera föreningens metodik, F/E-lyssning som metod i helhet, eller förslå förändringar/förbättringar är alla välkomna att göra. Men diskussionen skall inte initieras från en av två trätande parter i styrelsen. Däremot får gärna styrelsemedlemmar, som medlemmar som utomstående gärna medverka till att föreningen blir bättre. Även du.

[dimitri]

berma,

på vilka grunder för du fram de frågeställningarna?

LTS vill inte beskriva den metod man kallar F/E-lyssning, LTS kan tydligen inte dokumentera vad som händer under testerna, LTS vil inte publicera några testprotokoll, LTS lägger munkavle på de personer som försöker debattera testerna.

Samtidigt talar man högt och lågt om vetenskapliga principer, jag undrar på vilka vetenskapliga principer LTS lyssningar bygger på?

Drar du denna slutsats från denna tråd? Uppenbarligen ja, eftersom du skriver i tråden.
Då är min uppfattning den motsatta. Åtminstone ut denna tråds perspektiv.

[berma]

berma,

på vilka grunder för du fram de frågeställningarna?

LTS vill inte beskriva den metod man kallar F/E-lyssning, LTS kan tydligen inte dokumentera vad som händer under testerna, LTS vil inte publicera några testprotokoll, LTS lägger munkavle på de personer som försöker debattera testerna.

Samtidigt talar man högt och lågt om vetenskapliga principer, jag undrar på vilka vetenskapliga principer LTS lyssningar bygger på?

Drar du denna slutsats från denna tråd? Uppenbarligen ja, eftersom du skriver i tråden.
Då är min uppfattning den motsatta. Åtminstone ut denna tråds perspektiv.

Jag vill och ska inte föra debatten i Svantes ställe men han har frågat efter protokoll från testerna och en beskrivnig på hur 99% konfidens räknas fram ur de protokollen, representanter från LTS kan/vill inte visa hur denna beräkning går till, åtminstone inte här på forumet. På uppmaning av representanter från LTS raderade Svante några inlägg som kunde uppfattas som kritik.

Det är mycket möjligt att jag är ute och cyklar men den bild JAG har fått genom att följa den här tråden är att LTS inte vill att deras lyssningar granskas. Om resultat publiceras utan att det finns dokumentation som kan verifiera att resultaten är riktiga så blir man ju tveksam.

[Svante]

Nja, jag kanske ska förtydliga, då, varför jag tog bort inläggen. Berörda parter har stämt träff inom den närmsta framtiden och jag tror att kaffekoppen vill att vi tar vad vi har att säga där.

Det är bara vanlig hyfs som fick mig att ta bort inläggen, LTS har inga maktmedel som kan få mig att göra det. När jag vill skriva här så gör jag det.

[Kaffekoppen]

Nä, jag visste inte ens att några inlägg var bortagna ur tråden

[Svante]

Nä, jag visste inte ens att några inlägg var bortagna ur tråden

Psst, grön text, boss...

[berma]

Nja, jag kanske ska förtydliga, då, varför jag tog bort inläggen. Berörda parter har stämt träff inom den närmsta framtiden och jag tror att kaffekoppen vill att vi tar vad vi har att säga där.

Det är bara vanlig hyfs som fick mig att ta bort inläggen, LTS har inga maktmedel som kan få mig att göra det. När jag vill skriva här så gör jag det.

Vi, eller åtminstone jag, hoppas att det mötet resulterar i att LTS tar fram en beskrivning av sin metod och sitt sätt att räkna, samt att det publiceras.

mvh.
berma

PS.
Ursäkta att jag la mig i men jag blev så störd av allt tal om vetenskap, samtidigt som jag nog inte får intrycket att LTS lyssningar bygger på vetenskap.

[Kaffekoppen]

Ursäkta att jag la mig i men jag blev så störd av allt tal om vetenskap, samtidigt som jag nog inte får intrycket att LTS lyssningar bygger på vetenskap.

Det är okej! Men din intryck är rätt felaktigt. Däremot är det bra att det framkommer att det kan uppfattas så. Du borde läsa igenom testredovisningarna som skrivits och komma med fler synpunkter. De är välkomna.

[Koffe]

Du borde läsa igenom testredovisningarna som skrivits [...]

Var finns dessa?

[Kaffekoppen]

MoLT - medlemstidningen där all verksamhet redovisas

[IngOehman]

Vilken vetenskaplig princip säger att man inte ska beskriva den metod man använder?
Vilken vetenskaplig princip säger att man inte ska dokumentera sina resultat?
Vilken vetenskaplig princip säger att man inte ska publicera sina resultat?
Vilken vetenskaplig princip säger att man inte ska tillåta granskning?

Mycket underlig samling frågor...

Jag vet inte vad grunden är till att de ställs, med tanke på att LTS har detaljredovisat hur F/E-lyssning går till, inte bara i en artikel i MoLt i början av 90-talet, utan också med i det närmaste oändliga testmassor på diverse diskussionsforum under ett antal år, liksom på LTS hemsida. Dessutom tror jag inte att det finns många fall där testartiklar i MoLt inte har innehållit redovisningar av testutfallet.

Så: Varför ställer du dess underliga frågor?

Eller varför inte vända på steken: Vilken vetenskaplig princip säger att man SKALL göra något av det du nämner?

Svar: Ingen.

Den övervägande delen vetenskaplig forskning som sker i världen sker helt utan någonsomhelst redovisning. Jag undrar om det kan vara så att du blandar ihop vetenskapliga principer med akademisk praxis? Det är två helt skilda ting. Båda kan vara bra, men det är inte samma sak.

Vi, eller åtminstone jag, hoppas att det mötet resulterar i att LTS tar fram en beskrivning av sin metod och sitt sätt att räkna, samt att det publiceras.

Det är inte troligt. Dels har beskrining redan formulerats, och dels har denna debatt gjort att minst två av de inblandade har förlorat lusten att alls vara kvar och hålla på med någon LTS-verksamhet.

Det är svårt nog att samla kraft för att skapa det som gjorts i form av båda allmäna skolboksartiklar och tester på apparater, när allt arbete sker på helt idéell basis. När folk, som inte bidragit med någonting överhuvudtaget till LTS verksamhet, skriker sig hesa när de berättar vad de idéellt arbetande skall ägna sin redan från början hårt anfrätta fritid, ja, då är det helt enkelt inte roligt längre.

Om det som gjorts inte duger får det vara, i varje fall för min del.

Ursäkta att jag la mig i men jag blev så störd av allt tal om vetenskap, samtidigt som jag nog inte får intrycket att LTS lyssningar bygger på vetenskap.

Trist att höra. Ännu tristare har det varit att se att sådana antydningar/påståenden har domderats ut på faktiskt, som i förlängningen inte kan leda till något annat än att alla inblandade får en ännu värre arbetsbörda än den som råder idag med att framställa artiklar med vederhäftig information om diverse hifi-apparater.

De nya kraven kan trappas upp till vilka nivåer som helst, och kommer definitivt att leda till en massa bidebatter om enskilda fall - som gör att all tid kommer att absorberas till att förklara om och om igen, i all oändlighet...

Men jag förstår ditt intryck - hade jag inte vetat hur allt gått till kanske jag skulle ha fått samma intryck om jag bara läst den här tråden.

Har svårt att fatta hur någon som faktiskt tagit del av artiklarna i MoLt kan tro att något inte gått rätt till dock.


Hur som helst visar dina inlägg att det inte längre finns förtroende för att jag säkerställer att allt inom LTS verksamhet håller högsta vetenskapliga standard - och då kan jag inte kvarstå som ansvarig för verksamheten som sorterar under tekniska sektionen. Att allt har varit 100% oantastligt spelar ju ingen roll om förtroendet ändå saknas.


Vh, iö

[Svante]

Den övervägande delen vetenskaplig forskning som sker i världen sker helt utan redovisning. Jag undrar om det kan vara så att du blandar ihop vetenskapliga principer med akademisk praxis? Det är två helt skilda ting. Båda kan vara bra, men det är inte samma sak.

Nu måste jag protestera. Man redovisar visserligen inte rådata, men väl hur man har räknat på dem för att få fram de resultat man publicerar. I akademisk praxis ingår dessutom att man ska arkivera rådata, ofta en visst angivet antal år, för att man ska kunna utreda anklagelser om tex forskningsfusk. I många fall är de dessutom offentlig handling.

Vi, eller åtminstone jag, hoppas att det mötet resulterar i att LTS tar fram en beskrivning av sin metod och sitt sätt att räkna, samt att det publiceras.

Det är inte troligt. Dels har beskrining redan formulerats, och dels har denna debatt gjort att minst två av de inblandade har förlorat lusten att alls vara kvar och hålla på med någon LTS-verksamhet.

Tvärtom tror jag att LTS är piskade att göra en redovisning nu. Och om jag är den andra inblandade som du syftar på, så är det inte debatten om testmetoden som har fått mig att vilja avgå.

[Kaffekoppen]

Förtroendet för såväl Svante som Ingmar är oantastligt. De har båda starkt bidragit till att LTS tester stått över all kritik till dags datum. Ingen tillverkare har ifrågasatt varken tillvägagångssätt eller resutltat.

LTS har tom fått förtroendet att utvärdera en produktionsförändring hos en högt aktat tillverkare vilket bara det är en garant för att branchen tar LTS samlade kunskap på högsta allvar.

Ni kan båda vara stolta för det arbete ni utfört och jag tar det för självklart att ni står över extern kritik baserad på den här tråden!

Samtidigt måste det vara tillåtet att ifrågasätta och be om underlag från oss, likväl som vi ber andra om det. Det är inte alltid kritik ges på rätt sätt, men det är en sak varje opartisk, ideel förening måste kunna hantera.

Vi skall, och vi kommer visa att vårt arbete är oantastligt, på samma sätt, och gärna ännu bättre än vi redan gjort.

Det finns en oerhörd mäng information som påvisar detta och vi får helt enkelt bli bättre på att göra det allmänt tillgängligt.

Med ödmjuka hälsningar

[IngOehman]

Svante:

Du protesterar mot något annat än det jag skrev. Din protest handlar ju bara om den akademiska världen, om jag förstår dig rätt, vilket var just den som jag inte pratade om.


Vh, iö

[Svante]

Du protesterar mot något annat än det jag skrev. Din protest handlar ju bara om den akademiska världen, om jag förstår dig rätt, vilket var just den som jag inte pratade om.
Vh, iö

Aha, du menade den slutna företagsvärlden.

Då förstår jag.

[berma]

För det första tycker jag att artikeln i MoLt som beskriver LTS f/e-lyssningar, om det är den som gäller lämpligen borde publiceras på LTS hemsida?

Vidare om f/e-lyssningar så tror jag varken Svante eller Öhman kan lyckas få någon vetenskaplig höjd på vare sig de f/e-lyssningar som sker i LDS regi eller andra (mer?) seriösa ABX-tester. Problemet är ju att det inte är en mätning i vanlig mening utan mer en studie där man får en indikation på ett möjligt resultat. Ett nollresultat är ju som behandlats tidigare egentligen inget resultat alls.

Men också då man väl får ett resultat är det ganska värdelöst, vi kan inte få ett bra mått på hur stort felet i testobjektet egentligen är eller om det över huvud taget har någon betydelse. Här tror jag att jag har stöd i vetenskapsteorin, (Popper*), att man inte ska hålla på och mecka med den här typen av resultat utan man ska återföra observationerna på sin vetenskapliga teori och utifrån den försöka förklara resultaten. Vi har här dessutom något mycket pålitligare än en vetenskaplig teori nämligen Ingenjörskonst, i form av den undergrupp inom fysiken som kallas elektronik!

Det jag skulle vilja se är att man betraktar ett utslag i en f/e-lyssning som en indikation på att det finns någon mätbar oegentlighet i testobjektet och att man ska försöka att påvisa vad det är. d.v.s. mät på testobjektet och se vad som är felet, hittar man inget mät fler saker.

Om man till äventyrs träffar på en apparat som trots invändningfria mätdata ändå kan detekteras i en f/e-lyssning så är ju det en sensation av stora mått! Då tycker jag att man ska söka hjälp bland andra runt om i världen som sysslar med sådana här frågor och försöka utröna vad det beror på. Det måste ju vara intressant för alla.

LTS tycker jag ska släppa anspråken på vetenskaplighet utan marknadsföra sina f/e-lyssningar som det de egentligen är, dvs. ett roligt O-vetenskapligt experiment som kan ge deltagarna en väldigt bra bild av hur ”färgning” i audioutrustning yttrar sig.

Testresultat och utvärdering av kommersiella produkter bör i första hand baseras på mätdata möjligen med en kommentar om hur apparaten presterade i en f/e-lyssning. Då alltid med koppling till mätdata. dvs. hur lyssningsresultat kan härledas till mätdata.

Med vänlig hälsning
berma

*) här är jag ute på hal is, men det finns säkert någon som är mer bevandrad i vetenskapsteori hjälpa till med hur det är formulerat och var man ska läsa.

[Kaffekoppen]

Du är fri att tycka vad du vill, men eftersom du saknar kunskapen att bedömma det vetenskapliga tillvägagångsättet är det svårt att föra ett resonamang med dig.

Mätningar kompletterar vanligtvis alla F/E-tester.

Skulle våra tester sakna signifikans skulle vi inte användas för att bedömma produkter under utveckling av företag, något som sker utan att föreningen alltid får redovisa resultaten öppet.

Vänligen och ödmjukt
Magnus

[Naqref]

Du är fri att tycka vad du vill, men eftersom du saknar kunskapen att bedömma det vetenskapliga tillvägagångsättet är det svårt att föra ett resonamang med dig.

Det där svaret liknar Goddag yxskaft.

Om man efterfrågar just information om hur testerna går till så är det nog ungefär så det känns när man möts av det svar du ger.

"Vi säger ingegting om hur vi gör och eftersom vi inte gör det så kan jag inte diskutera med dig om det för du vet ju inte hur vi gör. "

Liiite högre nivå kan man förvänta sig här tycker jag.

[Kaffekoppen]

Det är för sent på kvällen Naqref. Jag utvecklade lite, men jag misstänker att då personen inte ens läst vare sig metodbeskrivning, testprotokoll eller testredovisningar, är det svårt att bemöta så generellla påståenden som framförs.

Då är det bättre att acceptera att han får ha sin åsikt och att han är fri att framföra den.

Han är naturligtvis välkommen att komma med konkreta exempel på när vetenskaplighet inte varit en central roll i behandlingen av en testuppgift.

[berma]

Kaffekoppen:
Jag tror inte du förstod min kritik, jag menar att alla typer av tester som görs på det här sättet blir o-vetenskapliga, oavsett om det är LTS eller någon annan som gör dom.

Orsaken är att resultaten inte går att hantera.
nollresultat=bra resultat men egentligen inget resultat alls.
icke nollresultat=är egentligen inget mått på någonting eftersom det inte går att få något mätetal på vad resultatet visar, det resultatet blir på något sätt inte något resultat det heller.

Om man vill vara vetenskaplig måste man kunna koppla resultatet till någon fysiskt mätbar storhet.

Så ser jag det i alla fall

[Koffe]

"Vi säger ingegting om hur vi gör och eftersom vi inte gör det så kan jag inte diskutera med dig om det för du vet ju inte hur vi gör. "

Typ!

[d_anders]

Nja, en viss betydelse har väl testerna även om man endast undersöker hypotesen "Är denna apparat hörbart färgande?". Jag håller med om att det blir ännu intressantare om man använder testresultaten för att försöka komma på idéer om varför den är färgande, men det är inte nödvändigt (men kanske görs?).


Om man påvisar en skillnad och dessutom kan upprepa det med någon annan kringutrustning tycker jag att det är rimligt att anta att testad apparat är hörbart färgande.

Om man hittar en apparat som vid upprepade tester slinker igenom testerna och man dessutom gillar hur den låter så kan man nöja sig med det och köpa den ifall pris mm är till belåtenhet.

Jag tror att många läser in alldeles för mycket i uttalanden liknande (ej citat) "Vi har testat X och inte kunnat upptäcka någon ljudmässig påverkan från denna apparat och därmed rekommenderar vi den".

Tillägg: Jag håller med om de flesta invändningar som Svante har gällande utförandet av testerna och beskrivning av metod+utförande. Dock har jag full förståelse för att ökade krav på stringens skulle kunna medföra att färre vill hålla på med detta ideella arbete och därmed skulle det primära målet, som jag har uppfattat det - att hitta bra hifiutrustning - motverkas.

[Svante]

Ja, nu har vi nattmanglat, jag, IÖ och några till. Det framstår klart att jag behöver förtydliga min kritik en aning.

Kritiken gäller alltså att testförfarandet inte är transparent. Det går inte för en utomstående bedömmare att avgöra om den statistiska behandlingen är riktig. För mig som akademiker som själv skriver och även granskar vetenskapliga artiklar är det viktigt. Jag vill som läsare, givet oändliga resurser, utifrån beskrivningen av försöket kunna reproducera det och då kunna förvänta mig samma resultat. Det är en av den akademiska världens grundbultar vid skrivandet av vetenskapliga rapporter.

Men, och det är också viktigt, det betyder inte att den statistiska behandlingen och slutsatserna i LTS tester historiskt har varit felaktiga. Är det så att vi litar på testledarens förmåga att bedömma konfidensen, så är testerna ok. Och kanske kan man tycka att det är rimligt, det är ju ändå ganska mycket annat man måste lita på, som att han verkligen har lyckats med att ordna så att nivåmatchningen ligger inom någon tiondels dB, tex.

Och man ska heller inte glömma att om man tittar på vad alternativen är, med de tester som görs i andra tidskrifter, så är det ingen tvekan om vilket testförfarande som är bäst.

Kaffekoppen:
Jag tror inte du förstod min kritik, jag menar att alla typer av tester som görs på det här sättet blir o-vetenskapliga, oavsett om det är LTS eller någon annan som gör dom.

Orsaken är att resultaten inte går att hantera.
nollresultat=bra resultat men egentligen inget resultat alls.
icke nollresultat=är egentligen inget mått på någonting eftersom det inte går att få något mätetal på vad resultatet visar, det resultatet blir på något sätt inte något resultat det heller.

Om man vill vara vetenskaplig måste man kunna koppla resultatet till någon fysiskt mätbar storhet.

Så ser jag det i alla fall

Berma: Jag citerar det senare av dina inlägg eftersom det sammanfattar det första, tror jag.

Det du skriver är sant, sånär som på att F/E-lyssnande skulle vara ovetenskapligt. F/E-lyssningen kan som du säger endast visa en sak; att ett objekt påverkar signalen hörbart. Att kunna påvisa det med känd konfidens är i allra högsta grad vetenskapligt. Det finns en hel rad vetenskapliga svårigheter som tas om hand genom att göra testet blint och upprepat.

Sedan har du absolut rätt i att resultaten bör knytas till förklaringar i tex mätningar och det görs nästan untantagslöst, tror jag, i LTS tester. Dessutom försöker man beskriva den upplevda skillnaden, trots att detta blir en subjektiv skattning. Båda dessa är mer ovetenskapliga än F/E-lyssnandet, men definitivt ingenjörsmässiga och viktiga.

Ett test av en apparat bör väga samman de egenskaper som går att testa. Det vi diskuterar i den här tråden är en liten del av det, nämligen den statistiska behandlingen av data från F/E-lyssningen. Och där har jag som sagt kritik kring transparensen i testförfarandet.

[Svante]

Dock har jag full förståelse för att ökade krav på stringens skulle kunna medföra att färre vill hålla på med detta ideella arbete och därmed skulle det primära målet, som jag har uppfattat det - att hitta bra hifiutrustning - motverkas.

Ja, jag tror ju inte att de föreslagna förändringarna ökar belastningen på försökspersonen alls, tvärtom så tror jag att de optimerar (=minimerar) den arbetsinsats som behövs för att uppnå en given konfidens. Dessutom tror jag att de ökar transparensen i testförfarandet.

[n3mmr]

Svante: (jag har försvunnit in i städbestyr en vecka eller så. därav sent svar)

Ang tillräcklig konfidens: Mitt raljanta svar avsåg att indikera att det får diskuteras. Rimligt arbete mot rimlig tilltro. >99% verkar rimligt att uppnå, och känns rimligt bra.

Ang graden av hörbarhet: Om man har en tillräckligt stor, icke-selekterad lyssnarskara så bör antal lyssnare som hör skillnaden med en given konfidens ge ett mått på hörbarhet.


i övrigt: Självklart skall dubbelblinda tester bedrivas. De dolda agendor jag pratar om är inte medvetna agendor, utan att p g a enkelblindhetens begränsningar så kan man tänka sig att ett väsentligt bättre resultat för en av deltagarna kan bero på att den deltagaren (antagligen omedvetet) tolkar försöksledarens (också omedvetna) ledtrådar bättre än övriga.

Kanske den deltagaren ser försöksledaren bättre? Eller dom kanske känner varandra väldigt bra, så att ledtrådar är tydligare?

Det behöver inte vara dubbelblindheten som spåkar, förstår. Försöket kanske har en mekanisk brist, så att den duktige deltagaren hör ljudet mer opåverkat av testomgivningen?

F ö kan påpekas att så vitt jag vet är dubbelblinda tester ett absolut krav i farmakologisk testning. Andra testresultat accepteras inte under några omständigheter. De sökta resultatens natur påminner starkt om varandra mellan hörbarhet och medicinsk påverkan, varför kravet naturligen bör overföras oinskränkt.

[Svante]

Ang graden av hörbarhet: Om man har en tillräckligt stor, icke-selekterad lyssnarskara så bör antal lyssnare som hör skillnaden med en given konfidens ge ett mått på hörbarhet.

Mja, det är i en intressant synpunkt, men jag är rädd att den inte är praktiskt genomförbar utan en budget. Minst 30 lyssnare skulle jag säga behövs och det får man inte tag på utan avlöning.

[n3mmr]

Ang graden av hörbarhet: Om man har en tillräckligt stor, icke-selekterad lyssnarskara så bör antal lyssnare som hör skillnaden med en given konfidens ge ett mått på hörbarhet.

Mja, det är i en intressant synpunkt, men jag är rädd att den inte är praktiskt genomförbar utan en budget. Minst 30 lyssnare skulle jag säga behövs och det får man inte tag på utan avlöning.

Jo, det är väl nåt slags invändning.

Man kanske kan ersätta "flera lyssnare" med "fler lyssningar" med "fler ljudtyper"?

[Svante]

Ang graden av hörbarhet: Om man har en tillräckligt stor, icke-selekterad lyssnarskara så bör antal lyssnare som hör skillnaden med en given konfidens ge ett mått på hörbarhet.

Mja, det är i en intressant synpunkt, men jag är rädd att den inte är praktiskt genomförbar utan en budget. Minst 30 lyssnare skulle jag säga behövs och det får man inte tag på utan avlöning.

Jo, det är väl nåt slags invändning.

Man kanske kan ersätta "flera lyssnare" med "fler lyssningar" med "fler ljudtyper"?

Möjligen fler ljudtyper, men siffran man kommer fram till kommer att bli beroende av just vilka stimuli man väljer. Det är iofs sant för all typer av lyssningar, men här kommer det att vara en väsentlig del av skalan man åstadkommer.

Fler lyssningar kommer bara att höja konfidensen, vilket är ett mått på säkerheten, inte graden av färgning.

[Haakan_W]

Ang graden av hörbarhet: Om man har en tillräckligt stor, icke-selekterad lyssnarskara så bör antal lyssnare som hör skillnaden med en given konfidens ge ett mått på hörbarhet.

Mja, det är i en intressant synpunkt, men jag är rädd att den inte är praktiskt genomförbar utan en budget. Minst 30 lyssnare skulle jag säga behövs och det får man inte tag på utan avlöning.

tror det är rätt lätt att hitta 30st försökskaniner här på forumet tex

eller måste det vara guldöron

[Kaffekoppen]

Blir för omständigt att testa så, det inser vem som helst

[Haakan_W]

Blir för omständigt att testa så, det inser vem som helst

jag vet inte varför men det där är den klassiska meningen loosers har....varför skulle det vara svårt?

jag tycker det låter enkelt

[Svante]

Ang graden av hörbarhet: Om man har en tillräckligt stor, icke-selekterad lyssnarskara så bör antal lyssnare som hör skillnaden med en given konfidens ge ett mått på hörbarhet.

Mja, det är i en intressant synpunkt, men jag är rädd att den inte är praktiskt genomförbar utan en budget. Minst 30 lyssnare skulle jag säga behövs och det får man inte tag på utan avlöning.

tror det är rätt lätt att hitta 30st försökskaniner här på forumet tex

eller måste det vara guldöron

Nej poängen är nog att det ska vara en icke-selekterad grupp om den ska vara något värde med mätetalet. Eller möjligen pseudo-icke-selekterad, eller balanserad, dvs att man ser till att man har allt från tondöva till guldöron med.

Sen behöver man ha nya människor för varje test, även en tondöv kan ju lära sig att bli bättre på att lyssna och det är ju inte träningseffekten man är ute efter.

Ska man testa 10 apparater per år bör man alltså ragga upp totalt 300 pers, och det blir inte kul.

[Haakan_W]

ta upp en intresseanmälan på faktiskt varje ggn det ska testas? 30 första får va med...

[Morello]

Blir för omständigt att testa så, det inser vem som helst

jag vet inte varför men det där är den klassiska meningen loosers har....varför skulle det vara svårt?

jag tycker det låter enkelt

Handlar helt enkelt om att verkställa.

[IngOehman]

Förutsättningarna för de tester LTS gjort genom året är mycket enkla:

1. Testning sker blint,

2. Vi rapporterar endast undantagsvis några fynd om de har lägre statistisk signifikans än 99% (och i de fallen gör vi det alltid med detta faktum klargjort i artikeln).

3. Statistisk signifikans beräknas enligt rådande matematiska lagar.

Den som vill lära sig hur man beräknar statistisk signifikans får göra det själv. Det låter sig inte göras utan att hopskriva en hel lärobok i ämnet.

Hur statistik beräknas kan inte sammanfattas i några tabeller, med mindre än att man gör tumregler av det (bara godkänner typfall), och något sådant vill jag inte vara inblandad i, eftersom det skadar detektionströskeln.

Förvisso kan man ersätta beräkningarna med i förväg selekterade, genomräknade villkor som blir de enda man undersöker/godkänner, men jag kan inte se att det för LTS bruk skulle leda till något annat än nackdelar.


Vh, iö

[Kaffekoppen]

Blir för omständigt att testa så, det inser vem som helst

jag vet inte varför men det där är den klassiska meningen loosers har....varför skulle det vara svårt?

jag tycker det låter enkelt

Jag väljer att kalla mig looser här

Men eftersom du har obegränsat med tid över så tycker jag att du skall ta dig den tiden till att organisera och genomföra det. Att få 30 personer att vara med på ett testtillfälle och genomföra det under kontrollerade, ordnade former är inte så trivialt som det låter när man skissar det på papper.

Så Håkan, om du verkligen tycker att det är trivialt så förutsätter jag att du visar vilken looser jag är och genomför 10 tester på det här viset under 2007.

[Kaffekoppen]

Jag förstår faktiskt inte det här sambandet.

........Det kan inte sammanfattas i några tabeller, med mindre än att man vill göra tumregler av det, och något sådant vill jag inte vara inblandad i, eftersom det skadar detektionströskeln. Vh, iö

[IngOehman]

Ok.

Ring så förklarar jag (gjorde jag inte det igår, när vi talades vid?).


Eller läs detta:

Antingen tänker man igenom det faktiska situationen, och räknar ut vilken statistisk
signifikans man får, och då är "modellen man använder" en lärobok i hur man räknar ut
statistisk signifikans.

Eller också förenklar man situationen så det skall bli lättare att beräkna den statistiska
signikansen - exempelvis genom att kastar man en massa komplicerade fall, förbjuder
folk att svara om de inte gör det snabbt nog, eller kanske tvingar folk att svara vare
sig de har någon uppfattning eller ej, gör tabell-mallar som är lätta att som enskildheter
granska de statistiska förutsättningarna för.
Då förlorar man detektionsförmåga.

Det förstnämnda fallet inkluderar att man måste lita på att någon ser till så att det
räknas rätt (och att allt annat sker korrekt också för den delen).

Den senare fallet gör slutsatserna som kommer i tryck mindre värdefulla, eftersom det är
troligt att de leder till att apparater som går att höra i F/E-lyssning ändå inte detekteras.


Vh, iö

- - - - -

PS. Min uppfattning har varit att LTS-tekniksektion i huvudsak har ett ansvar inför LTS'
medlemmar - nämligen att undersöka och sedan berätta om apparater och deras egen-
skaper, inte att utbilda medlemmarna i matematik (statistik närmare bestämt) eller att
skriva artiklarna som övningsexempel att hitta fel i.

Min uppfattning kan ha varit helt felaktig.


Det skall hur som helst bli intressant att se vilken inrikning LTS kommer att ha hädanefter.

[Kaffekoppen]

Tack, nu tror jag att både jag och andra förstår bättre hur du ser på problematiken.

Visst kommer det bli intressant att se hur LTS utvecklas. Jag kommer som medlem att följa det med intresse.

[IngOehman]

Du menar som styrelsemedlem?

Du är fri att tycka vad du vill, men eftersom du saknar kunskapen att bedömma det vetenskapliga tillvägagångsättet är det svårt att föra ett resonamang med dig.

Det där svaret liknar Goddag yxskaft.

Om man efterfrågar just information om hur testerna går till så är det nog ungefär så det känns när man möts av det svar du ger.
"Vi säger ingegting om hur vi gör och eftersom vi inte gör det så kan jag inte diskutera med dig om det för du vet ju inte hur vi gör. "

Liiite högre nivå kan man förvänta sig här tycker jag.

Jag tror du misstolkar Kaffekoppens inlägg, Naqref.

Jag tror den kunskap han menade att Berma saknade, var kunskap om vetenskapsteori. Bermas inlägg visar ju att så är fallet.

Den specifika användningen av subjektiva begrepp såsom "vetenskapshöjd" som Berma tar till, påståendet att blinda lyssningar utan graderingsmöjlighet (vilket för övrigt inte ens är en nödvändig konsekvens) i sig är ovetenskapliga, eller idén att vetenskaplighet kräver möjlighet att koppla en upptäckt till en mätbar fysisk storhet - visar ju allihopa att Berma saknar även basal insikt i vetenskapsteori, att han blandar ihop induktion och deduktion, experimentmodeller+slutsatser med teoribildning, och att det därför - precis som Kaffekoppen skriver - blir svårt att bemöta hans argument.

Argumenten är ju inga argument, bara missförstånd (som dessutom i flera fall bygger på hypoteser om hur testerna gått till, som är felaktigheter som tagit stöd i andras vilseledande inlägg i denna tråd).

Hur var det han sa Stenmark...


Vh, iö

[Koffe]

Hur var det han sa Stenmark...

- "De' ä bara å åk"? För jag antar att du inte syftar på det andra riksbekanta Stenmark citatet - "De' ä int lönt å förklara för den som int begrip", att syfta på det vore både elitistiskt och, enligt min menig, ett svagt och lite inskränkt sätt att tänka.

[Haakan_W]

Blir för omständigt att testa så, det inser vem som helst

jag vet inte varför men det där är den klassiska meningen loosers har....varför skulle det vara svårt?

jag tycker det låter enkelt

Jag väljer att kalla mig looser här

Men eftersom du har obegränsat med tid över så tycker jag att du skall ta dig den tiden till att organisera och genomföra det. Att få 30 personer att vara med på ett testtillfälle och genomföra det under kontrollerade, ordnade former är inte så trivialt som det låter när man skissar det på papper.

Så Håkan, om du verkligen tycker att det är trivialt så förutsätter jag att du visar vilken looser jag är och genomför 10 tester på det här viset under 2007.

varför skulle jag göra nåt sånt? jag är inte ens med i lts, enda gången jag skulle testa en apparat jag egentligen inte har nåt intresse av är om det finns några ekonomiska vinster att göra i projektet...

jag menade bara på att om det nu finns ett genuint intresse för tex lts så är det inga större problem

[IngOehman]

Jo, alltså... Jag skulle vilja ha svar på den nedanstående från Svante.

Ja, nu har vi nattmanglat, jag, IÖ och några till. Det framstår klart att jag behöver förtydliga min kritik en aning.

Kritiken gäller alltså att testförfarandet inte är transparent. Det går inte för en utomstående bedömmare att avgöra om den statistiska behandlingen är riktig. För mig som akademiker som själv skriver och även granskar vetenskapliga artiklar är det viktigt. Jag vill som läsare, givet oändliga resurser, utifrån beskrivningen av försöket kunna reproducera det och då kunna förvänta mig samma resultat. Det är en av den akademiska världens grundbultar vid skrivandet av vetenskapliga rapporter.

Matematiken för att beräkna statistisk signifikans är inget mysterium, ej heller någon hemlighet. Däremot är det orimligt att LTS har ansvaret att utbilda alla i det.

Förutsättningarna för de tester LTS gjort genom året är mycket enkla:

1. Testning sker blint,

2. Vi rapporterar endast undantagsvis några fynd om de har lägre statistisk signifikans än 99% (och i de fallen gör vi det alltid med detta faktum klargjort i artikeln).

3. Statistisk signifikans räknas ut enligt rådande matematiska lagar.

Den som vill lära sig hur man beräknar statistisk signifikans får göra det själv. Det låter sig inte göras utan att hopskriva en hel lärobok i ämnet. Hur statistik beräknas kan inte sammanfattas i några tabeller, med mindre än att man gör tumregler av det (bara godkänner typfall), och något sådant vill jag inte vara inblandad i, eftersom det skadar detektionströskeln*.

Men, och det är också viktigt, det betyder inte att den statistiska behandlingen och slutsatserna i LTS tester historiskt har varit felaktiga. Är det så att vi litar på testledarens förmåga att bedömma konfidensen, så är testerna ok. Och kanske kan man tycka att det är rimligt, det är ju ändå ganska mycket annat man måste lita på, som att han verkligen har lyckats med att ordna så att nivåmatchningen ligger inom någon tiondels dB, tex.

Jag vet inte hur du tror att din text tolkas, men du måste inse Svante, att för alla som läser det du skriver är det såhär:

1. Svante är kunnig,

2. Svante är klok,

3. Svante är god,

4. Svante har varit med på LTS' apparattester,

Allt det ovanstående är ju sanningar. Och det femte elementet är detta:


5. Svante krititserar LTS' apparattester och han säger att man inte kan räkna ut den statistiska signifikansen från det material som funnits - det vill säga han påstår (med såväl insikt i testförfarandet som i de faktiska utfallen i F/E-lyssningarna) att det har funnits osanningar i MoLt.


Förstår du Svante, att det, givet element 1-4, inte finns något annat sätt att tolka det du skriver, än det jag skriver under 5?


Eftersom du har fel (ja, så är det!) och jag sett att du är ovillig att låta folk få en sannare bild av verkligheten har jag flera gånger ställt dig en fråga - som varje gång fått stå obesvarad.
Jag har valt att fråga dig istället för att själv svara på frågorna - för jag tycker det är du som skall säga svaret, inte jag.

Så länge frågan är obesvarad kan man bara dra en slutsats av det du skrivit:
Du har med det du skrivit berättat att du inte bara saknar förtroende för att jag tagit mitt ansvar och/eller har förmågan att göra det, och har sett till så att det som stått i MoLt varit garanterat sant och vetenskapligt vederhäftigt.

Du har till och med sagt att det som stått inte varit sant, för påstår jag SS = >99% och det (som du säger) inte går att beräkna signifikansen så är det jag skriver inte sant. Och med detta har du tillintetgjort de >14 års arbete som jag lagt ned på apparattester för Ljudtekniska Sällskapet.

(Det är den enda tolkningen av ditt påstående om att det inte går att beräkna statistiska sigifikansen - vilket du påstått att "man inte kan". Om jag säger att du har fel så blir det en ny oändlighetsdebatt, så det är bättre att du säger det, så är frågan avklarad sen).


Nu kommer jag att ställa dig frågan igen (det blir flera frågor denna gång, svara gärna på ALLA, och helst genom att börja med JA eller NEJ, så ditt svar blir tydligt) och det blir för övrigt antagligen sista gången jag frågar detta:


Du Svante, som varit med på några av LTS lyssningstester, har du NÅGON ENDA GÅNG stött på ett resultat som du vet inte ger en statistisk signifikans om >99%, men som ändå kommit i MoLt och påståtts ha en statistisk signifikans högre än 99%?

Eller med andra ord: Finns det någon grund, i form av ett faktiskt fall, för dig att ifrågasätta om jag tagit mitt ansvar att upprätthålla en adekvat vetenskaplig hantering av mätdata?

Eller handlar det bara om att just du inte tycker dig kunna bedöma signifikansen på plats, som jag har gjort? (Utöver att jag förstås kontrollräknat i de fall det finnits minsta tveksamhet.)
(Denna sista kräver en följdfråga, som jag ställer strax...)


Att ställa dessa frågor känns minst sagt olustigt, eftersom jag ju gör det för att jag vill ha fram att de antydningar/framställningar du kommit med inte varit vad jag tycker är ärliga - utan de har varit avsiktligt färgade (=du har kanske skrivit dem i affekt, med avsikt att skada mig och/eller LTS? Även om du gjort det med en "god" avsikt - nämligen för att få fram en förändring).
Oavsett vilket behöver alla få veta hur det är nu, när affekten (förhoppningsvis) är överspelad.


Jag förstår om frågorna är lika olustiga att svara på också, av samma skäl, men jag hoppas du gör det ändå.


Som en avslutning på detta (jag frågar dig bara så att jag skall slippa påstå något - jag vill ju hellre att du klargör för dem som läser den här tråden, det som jag vet att de inte vet) så vill jag även ställa en fråga som klargör hur verkligheten sett ut - den verklighet som jag noterat att du inte berättat om spontant.

Jag vill fråga dig detta:

Är det sant att du vid ett antal tillfällen kommit med (enligt dig "svårbedömda") exempel på fall till mig, där jag ombetts att uttala mig om den statistiska signifikansen - och att jag svarat dig ögonblickligen (med antingen ett exakt svar, eller med ">X%")?

Är det också sant att du ännu inte har ett enda exempel på att du (efter att ha gått hem och räknat på det hela (och ägna uppgiften din fulla uppmärksamhet)) funnit att mitt ögonblickliga svar varit felaktigt?

Kort sagt: Är det riktigt att jag så vitt du känner till ALDRIG har kommit med någon enda felaktig bedömning avseende statistisk signifikans? (Och att jag svarat ögonblickligt, medan du ägnat åtskillig tid på att undersöka om svaren varit riktiga?)

Är glad om du startar dina svar med JA eller NEJ.

Ber om ursäkt för att frågorna är så ledande, men jag skriver dem så för att du inte skall svara på något annat än jag det jag frågar om.

Och igen: Jag ställer dessa frågor, för innan du svarat på dem tror jag faktiskt att det är svårt för dem som läser denna tråd att veta hur de skall tolka det du skrivit.

Efter att anklagelserna om opåliglighet nått dessa nivåer, jag talar då inte bara om det du skrivit, utan även om inlägg från n3mmr, berma med flera, tycker jag det är viktigt att alla får klart för sig vilken sakgrunden är (eller rättare sagt hur obeflntlig den är) för dig att offentligt ifrågasätta pålitligheten. För jag tror faktiskt att de flesta fått uppfattningen att du har någon substans (annan än förtroendebrist) att basera din kritik på.

Och man ska heller inte glömma att om man tittar på vad alternativen är, med de tester som görs i andra tidskrifter, så är det ingen tvekan om vilket testförfarande som är bäst.

Det gläder mig.

Tror dock att man som läsare lätt uppfattar den formuleringen som:
"Det är dåligt, men alla andra är ännu sämre".


Vh, iö

- - - - -

*Kan/bör tillägga att jag aldrig har velat ha ansvaret för de här sakerna, men eftersom jag har fått det ändå, så förbehåller jag mig rätten att göra det så bra jag kan - det vill säga inte ändra saker till det sämre bara för att någon har någon ogenomtänkt synpunkt.

Kort sagt: Om någon anser att det skall göras på annat sätt så vill jag:

1. Att den som tycker det skall se ut på något annat sätt är beredd att hålla i ansvaret för det görs på annat sätt.

2. Gärna också se några hållbara argument för det!
(Men det är inte absolut nödvändigt om den som vill göra ändringarna tänker ta ansvaret för arbetet, och stå till svar för metoderna.)


Hur som helst önskar jag LTS lycka till med detta i framtiden.

[Svante]

Förutsättningarna för de tester LTS gjort genom året är mycket enkla:

1. Testning sker blint,

2. Vi rapporterar endast undantagsvis några fynd om de har lägre statistisk signifikans än 99% (och i de fallen gör vi det alltid med detta faktum klargjort i artikeln).

3. Statistisk signifikans beräknas enligt rådande matematiska lagar.

Den som vill lära sig hur man beräknar statistisk signifikans får göra det själv. Det låter sig inte göras utan att hopskriva en hel lärobok i ämnet.

Hur statistik beräknas kan inte sammanfattas i några tabeller, med mindre än att man gör tumregler av det (bara godkänner typfall), och något sådant vill jag inte vara inblandad i, eftersom det skadar detektionströskeln.

Förvisso kan man ersätta beräkningarna med i förväg selekterade, genomräknade villkor som blir de enda man undersöker/godkänner, men jag kan inte se att det för LTS bruk skulle leda till något annat än nackdelar.


Vh, iö

Ehh, vad hände med det långa inlägget som jag just tänkte svara på...

Jag svarar ändå på den fråga som stod här förut, även om det blir svårare att komma ihåg den exakta lydelsen. Det var ungefär: "Kan jag säga ett enda tillfälle som LTS har rapporterat detektion med 99% konfidens fast det inte har varit det".

Svaret på det är nej, det har jag inte på de tre sessioner jag har deltagit.

Däremot har jag varit med om tre sessioner där jag inte skulle vilja ta på mig att räkna ut hur stor signifikansen egentligen var. Det är troligt att den har varit över 99% på de tre tester jag har deltagit i och det är möjligt att den har varit det i alla tester som har gjorts under de x år som du har hållit i testerna.

Min kritik är att testförfarandet inte är transparent. Testernas trovärdighet står och faller med en beräkning som är så komplicerad att den inte går att skriva ner på papper före testet. Det betyder inte att den är felaktig, men jag tycker att det är onödigt att det ska behöva vara så. Det finns mycket enklare sätt att lägga upp testerna som ger transparens och som möjligen skulle kunna korta ner testserierna (vilket skulle trötta lyssnarna mindre).

Det handlar inte om att utbilda medlemmarna om statistik, det handlar om att redogöra för vilken statistik som används och hur.

När jag själv utsätter mig för kritik, tex när jag skriver en artikel eller håller ett föredrag på en konferens, så är det så gott som alltid utvecklande. Det kan vara jekligt jobbigt att få tillbaka en artikel med petiga synpunkter och med små eller stora fakta-/metodfel utpekade. Första artikeln jag fick tillbaka fick mig nästan att vilja lägga ner min akademiska karriär, men nu har jag lärt mig att se vilka förbättringar processen leder till.

Det kan vara så att det är skillnad på den akademiska världen och hifi-världen i det att akademiker som kommer med obefogad kritik inte kommer undan med det. Kanske ligger det något i att en debatt om bristerna med F/E-lyssnande ger folk intrycket av att metoden är dålig. Så är det ju inte det är det bästa som finns (nåja), jämför man med öppen lyssning så är enda skillnaden att man tillför ännu fler brister. Men jag vill ändå tro att folk klarar av att förstå det och att den totala öppenheten om vad som görs är det bästa. Kanske är jag naiv, inte vet jag.

Jag läste fö på lite om Popper på wikipedia och där stod det något om att han menade att vetenskapliga metoder måste göras sårbara, falsifierbara. I detta ligger att man ska berätta hur man har gjort för att komma fram till det man har kommit fram till.

[Svante]

Nämen nu är inlägget där igen, vad händer egentligen...?

[IngOehman]

Ehh, vad hände med det långa inlägget som jag just tänkte svara på...

Det står ovanför ditt.

Och det hade stått där rätt länge, orört, när du svarade på det. 41 minuter tror jag.

Däremot så stod delar av det som står i inlägget med i ett tidigare inlägg jag skrivit, som jag dock klippte ned eftersom bara ett fragment av det kommenterades.

Jag svarar ändå på den fråga som stod här förut, även om det blir svårare att komma ihåg den exakta lydelsen. Det var ungefär: "Kan jag säga ett enda tillfälle som LTS har rapporterat detektion med 99% konfidens fast det inte har varit det".

Svaret på det är nej, det har jag inte på de tre sessioner jag har deltagit.

Det gläder mig!

Däremot har jag varit med om tre sessioner där jag inte skulle vilja ta på mig att räkna ut hur stor signifikansen egentligen var.

Då låter det som att, då var det väl bra att det var mitt ansvar att göra det!

Det är troligt att den har varit över 99% på de tre tester jag har deltagit i och det är möjligt att den har varit det i alla tester som har gjorts under de x år som du har hållit i testerna.

Trevligt att höra att du bedömer att det var troligt. Tycker inte troligheter som inte kan beräknas är så vetenskapligt intressanta dock. Vill hellre att du specifikt klargör att du inte har något fall där du påstår att statistiska signifikansen varit otillräcklig, men det kanske man kan påstå innehålls i det du skrev.

Min kritik är att testförfarandet inte är transparent. Testernas trovärdighet står och faller med en beräkning som är så komplicerad att den inte går att skriva ner på papper före testet.

Att statistik är så komplicerat som det är, är något jag tycker vi får acceptera.

Håller inte med om att det ger icke-transparens. Rådata brukar ju aldrig finnas med i några vetenskapliga rapporter ändå, så varför är de transparentare än redovisningarna i MoLt?

Det betyder inte att den är felaktig, men jag tycker att det är onödigt att det ska behöva vara så. Det finns mycket enklare sätt att lägga upp testerna som ger transparens och som möjligen skulle kunna korta ner testserierna (vilket skulle trötta lyssnarna mindre).

Jag har inte hört några sådana förslag, som jag inte sett att de illa skulle drabba detektionströskeln.

Det handlar inte om att utbilda medlemmarna om statistik, det handlar om att redogöra för vilken statistik som används och hur.

Det där begreppet "vilken statistik" tycker jag är lustigt.

Påstår nog att det bara finns en för varje givna fall (där givna betyder ALL information känd). Kan det finnas någon annan statistisk signifikans än den som är sann?

I vissa fall är viss information okänd, och då kan man bara räkna ut worst case-signifikansen. Man kanske alltså i sådana fall inte alltid säga att den är precis 99%, men om man kan säga >99,8% så räcker det ju utmärkt.

Exempel (ditt): Person ett svarar 10 ggr rätt i rad, person två svarar 5 ggr fel i rad. Man vet inte i vilken ordning de avgivit svaren, eller om de hört varandras svar. Då är statistiska signifikansen >99,8%.

Vet man mera så kan man i förekommande fall fastslå att signifikansen är väldigt mycket högre - faktiskt uppåt >99,993%!

När jag själv utsätter mig för kritik, tex när jag skriver en artikel eller håller ett föredrag på en konferens, så är det så gott som alltid utvecklande. Det kan vara jekligt jobbigt att få tillbaka en artikel med petiga synpunkter och med små eller stora fakta-/metodfel utpekade. Första artikeln jag fick tillbaka fick mig nästan att vilja lägga ner min akademiska karriär, men nu har jag lärt mig att se vilka förbättringar processen leder till.

Ok.

Tycker det är viktigt att skilja mellan obefogad och befogad kritik dock. Obefogad kritik bör man dra tillbaka när den bemötts sakligt.

Det kan vara så att det är skillnad på den akademiska världen och hifi-världen i det att akademiker som kommer med obefogad kritik inte kommer undan med det.

Akademiker kommer med en massa obefogad kritik, och bland även med befogad kritik. I båda fallen bör man vara beredd att stå för den eller dra tillbaka den, beroende på om den var befogad. En disputation går inte sällan ut på att opponenten kommer med obefogad kritik, vilket är doktorandens uppdrag att visa. Misslyckas det är det inte så kul för doktoranden, men nuförtiden brukar man inte ta så hårt på det. Klart doktoranden skall godkännas ändå...

Kanske ligger det något i att en debatt om bristerna med F/E-lyssnande ger folk intrycket av att metoden är dålig. Så är det ju inte det är det bästa som finns (nåja), jämför man med öppen lyssning så är enda skillnaden att man tillför ännu fler brister. Men jag vill ändå tro att folk klarar av att förstå det och att den totala öppenheten om vad som görs är det bästa. Kanske är jag naiv, inte vet jag.

Öppenhet i sig är aldrig fel, men att försämra/förenkla något för att möjliggöra begriplighet, det vill säga för att undvika skenande och osakliga debatter, är det ofta.

Om öppenhet kan finnas bara på bekostnad av att de inblandade tvingas in i oändliga och meningslösa debatter där de avtvingas svar på frågor utan slut således att de till sist inte kan fullgöra sitt egentliga uppdrag, då är öppenheten i sig ingenting bra.

Jag läste fö på lite om Popper på wikipedia och där stod det något om att han menade att vetenskapliga metoder måste göras sårbara, falsifierbara. I detta ligger att man ska berätta hur man har gjort för att komma fram till det man har kommit fram till.

Njae...

Det där är ju en av de grundläggande vetenskapliga Popperska teserna, men den har ingenting med det här att göra. Det är snarare en variant på första tesen, eller egentligen är det resonemanget som ledde honom fram till den första tesen*. Vad Popper skrev var ju bara att det är meningslöst att försöka bevisa något, som man inte kan bevisa frånvaron av.

Det var en principiell fråga som syftar till själva objektet (saken eller kunskapen man söker) den har ingenting med metodologin att göra.

Den säger att det är vetenskapligt ointressant att sätta upp en studie där man har som mål att få nollresultat när man letar efter något som inte KAN hittas. Att färgningar kan hittas är välkänt.


Vh, iö

- - - - -

*Som dock, om man skall vara noga, hade formulerats några tusen år tidigare av (en av) de gamla grekerna...

[Svante]

Jag läste igenom det igen, och tror att jag svarade på allt, men jag kanske har fel.

En sak, jag har flera gånger sagt att man inte kan beräkna konfidensen om man inte bestämmer i förväg hur data ska behandlas. Jag ska inte svära på att det är sant även om jag tror det, men kanske skulle jag säga så här i stället:

För att beräkna konfidensen behöver man inse alla tänkbara sätt som man skulle ha kunnat behandla data på. Om man inte kan skriva ner i förväg alla de sätt som man kan tänkas behandla data på, hur ska man klara av att göra det i efterhand* och hur ska man då kunna beräkna konfidensen? Med det synsättet finns det ingen anledning till att vänta med att skriva ner de tänkbara alternativen (dvs bestämma avbrottsvillkor etc i förväg).

Alternativt kan man förstås tillåta sig att göra en höftning av om konfidensen är tillräckligt stor, men det menar jag är ineffektivt eftersom det kräver fler lyssningar än vad som egentligen behövs och dessutom inför ett osäkerhetsmoment i konfidensens giltighet.

*Det måste vara svårare att göra det i efterhand. Glömmer man att ta med ett sätt när man skriver ner det i förväg så drar man inga falska slutsatser, glömmer man ett sätt när man skriver ner det i efterhand så beräknar man en felaktig signifikans och riskerar att dra felaktiga slutsatser.

[Svante]

Njae...

Det där är ju en av de grundläggande vetenskapliga Popperska teserna, men den har ingenting med det här att göra. Det är snarare en variant på första tesen, eller egentligen är det resonemanget som ledde honom fram till den första tesen*. Vad Popper skrev var ju bara att det är meningslöst att försöka bevisa något, som man inte kan bevisa frånvaron av.

Jag tror att Popper skrev mer än det. Från wikipedia: http://sv.wikipedia.org/wiki/Demarkationsproblemet

Det mest kända kriteriet för vetenskap infördes av Karl Popper och säger att en vetenskaplig teori måste vara falsifierbar, det vill säga att den måste vara sårbar.

Nu är jag dålig på vetenskapsteori, men för mig betyder det att man måste utsätta sina metoder för granskning, annars är det inte falsifierbara. Men it amma, vi ska inte spåra ur i vetenskapsteori också nu.

[IngOehman]

Nej, det betyder precis det som står - att en teori (=objektet för studien) måste vara falsifierbar!

Precis det jag skrev alltså.

Det duger inte att utgå ifrån en hypotes om att: "Det finns änglar som kännetecknas av att de inte syns, inte hörs eller interagerar med vår verklighet på något sätt överhuvudtaget".


Det GÅR nämligen inte att bilda en teori (utan att bryta mot Popper-tesen) av dessa änglars existens - ty det går inte att falsifiera påståendet. Påståendet blir därför varken en användbar tes eller kan (med hjälp av experiment) omvandlas till en teori - utan det förblir ett påstående utan vetenskaplig betydelse.

För även om de skulle finnas de där omärkbara änglarna, så går det (per definition) inte att falsifiera teorin om deras existens.


Alltså: Denna Popperska tes har med objektet (teorin om förefintligheten av ängeln) att göra. Alltså med vad som krävs av en teorin om förefintligheten av föremålet eller egenskapen, för att det skall vara en teori. Den måste kunna falsifieras.

Tesen har inte med metodologin (vägen till teorin) att göra.


Vh, iö

[IngOehman]

Jag läste igenom det igen, och tror att jag svarade på allt, men jag kanske har fel.

Du svarade inte på de frågor jag ställde för att det skulle bli lättare för andra att (med din erfarenhet av hur jag agerat som grund) bedöma om det finns skäl att ha förtroende för mig - det vill säga för min förmåga att säkerställa vetenskaplig ackuratess exempelvis genom att korrekt beräkna statistisk signifikans.

Alltså de frågor jag ställde med förhoppning att dina svar skulle göra att förtroendet för min insats som "garant för vetenskaplighet" skulle kunna återställas (vilket förstås per automatik betyder att man kan ha förtroende för det som skrivits i MoLt också).



Det är ju som så, att om jag hade varit en "i LTS-testerna oinsatt läsare" som bara läst den här tråden skulle jag ju ha förlorat förtroendet för LTS'/MoLt's vetenskapliga pålitlighet. En person som vet mer (genom att ha deltagit), du, säger ju att de inte går att lita på!

Nu är jag inte det, utan jag vet ju hur allting har gått till, och att rönen vi presenterat är inte bara pålitliga, utan att redovisade sgnifikanser även är korrekta, och alltid >99%.

Men vad jag skriver (som ju kan uppfattas vara skrivet i egen och i LTS' sak) är dock inte på långa vägar lika slagkraftigt som det du, kritikens upphovsman, kan bidra med för att reda upp rådande misstroende.

Därav frågorna.


Vh, iö

[Thomas_A]

Själva statistiken är inte krånglig. Det finns dock fallgropar, exempelvis om man begränsar sig till 7 av 7 rätt och gör 20 testserier. Upprepas testserien för det specifika fallet är dock det hela signifikant.

Dock är det lite svårt för mig att förstå att det inte skulle gå (sensitivetsmässigt) att redovisa data i tabellformat. Exempelvis:

Apparat 1, basregistertest:

lyssnare 1: 6/9
lyssnare 2: 9/9
lyssnare 3: 5/9

Summa 20/27; p=[insert formula]

[IngOehman]

Klart man kan redovisa detta, men det är ju bara lite av den information som kan ha legat till grund för beräkningen av de statistiska signifikansen. Därför kan informationen vara vilseledande. Leda någon vilse tycker jag inte man skall göra.

F/E-lyssning handlar initialt om att höra skillnad, inte om att veta vad som är vad. Din matematik förslår därför inte. Prova serierna 9/9, 1/9, 8/9, 0/9 så förstår du nog ett av svårigheterna med att bruka förenklade statistiska metoder...

Därtill finns massor av ytterligare komplicerande faktorer.


Vh, iö

[Morello]

Tabellen bör minst kompletteras med info om vem som svarat först om det i förekommande fall har avgetts fler svar vid samma svarstillfälle.

[IngOehman]

Ja, minst.

Men det räcker inte på långa vägar. Det finns mycket mera information som måste ingå. När all info är på plats kommer tillgängligggörandet bara att leda till missförstånd av vad allt betyder.


Vh, iö

[Morello]

Kan du exmeplifiera ang den informationen?

[Svante]

Jag läste igenom det igen, och tror att jag svarade på allt, men jag kanske har fel.

Du svarade inte på de frågor jag ställde för att det skulle bli lättare för andra att (med din erfarenhet av hur jag agerat som grund) bedöma om det finns skäl att ha förtroende för mig - det vill säga för min förmåga att säkerställa vetenskaplig ackuratess exempelvis genom att korrekt beräkna statistisk signifikans.

Ok, det missade jag.

Jag kan ju bara svara för mig själv, och jag tror att du drivs av en uppriktig vilja att vaska fram huruvida en apparat hörs eller inte*. Jag tror att lyssningarna har haft hög signifikans när de har visat på hörbarhet.

[IngOehman]

Bra, men det var verkligen inget svar på de frågor jag ställde.

[n3mmr]

Njae...

Det där är ju en av de grundläggande vetenskapliga Popperska teserna, men den har ingenting med det här att göra. Det är snarare en variant på första tesen, eller egentligen är det resonemanget som ledde honom fram till den första tesen*. Vad Popper skrev var ju bara att det är meningslöst att försöka bevisa något, som man inte kan bevisa frånvaron av.

Jag tror att Popper skrev mer än det. Från wikipedia: http://sv.wikipedia.org/wiki/Demarkationsproblemet

Det mest kända kriteriet för vetenskap infördes av Karl Popper och säger att en vetenskaplig teori måste vara falsifierbar, det vill säga att den måste vara sårbar.

Nu är jag dålig på vetenskapsteori, men för mig betyder det att man måste utsätta sina metoder för granskning, annars är det inte falsifierbara. Men it amma, vi ska inte spåra ur i vetenskapsteori också nu.

Falsifierbarhet är egenskapen att man ska kunna föreställa sig ett experiment och ett visst utfall av experimentet som klart motbevisar den falsifierbara tesen.

Eller uttryckt annorlunda: meningsfulla vetenskapliga utsagor har egenskapen att det gör praktisk (dvs mätbar) skillnad om dom är sanna eller ej. Så att en mätning i princip kan motbevisa ett påstående (med viss konfidens, naturligtvis...)

Änglarna kan existera eller ej utan att det gör skillnad. Alltså är påståenden om dom vetenskapligt ( t o m epistemologiskt) ointressanta.

Man får gärna prata om små gröna gubbar, men om man tror att dom finns bör man söka hjälp. Samma med gud, själavandring, panteism och single ended triode amps...

Du bör läsa vetenskapsteori, men Popper är bara en bit av sanningen. Nog så viktig, men leder ingenstans på egen hand. Frågor han inte svarar på är t ex hur man kommer på vad nästa steg i utvecklingen av en vetenskaplig teori ska vara.

[Thomas_A]

Ang. möjlighet att svara tvärtom så är det ju lätt testbart också, med Fisher's test. Hypotesen att svaren är signifikant skilt åt varandra alltså.

Naturligtvis måste tabellen kompletteras om svaren inte kan garanteras vara oberoende av varandra.

[Kaffekoppen]

Du menar som styrelsemedlem?

Nej, jag menade som medlem. Du vet redan hur jag ser på den här soppan. Det skall vara kul och man skall ha en vilja att hitta vägar tillsammans. Jag vill se det först.

Handlar helt enkelt om att verkställa.

Precis Det behöver inte vara svårt för att vara omständigt!

varför skulle jag göra nåt sånt? jag är inte ens med i lts, enda gången jag skulle testa en apparat jag egentligen inte har nåt intresse av är om det finns några ekonomiska vinster att göra i projektet...

jag menade bara på att om det nu finns ett genuint intresse för tex lts så är det inga större problem

Precis, det finns helt enkelt olika arbetsinsatser man är beredd att göra om det är ideelt arbete. Det är alltså inte svårt, utan omständigt och rejält tidskrävande. Det var du som översatte "omständigt" till "svårt". De orden har inte samma betydelse för mig. Det finns många som anser att det är omständigt att renovera upp sitt hus som du gör, men du anser nog inte att det är speciellt svårt. Det är tidskrävande och kräver mycket kraft och engagemang, men svårt är det inte.

Eftersom LTS hittills resonerat att resultaten primärt är för sina medlemmar och att de uppnådda resultaten varit av tillräcklig pålitlighet, har metoder använts som innebär klart mindre arbetsinsats.

Det är naturligtvis fritt för vem som helst att arrangera en sådan här tillställning och jag skulle glädjeligen delta, av rena nyfikenhetsskäl. Däremot skulle jag nog inte anse mig ha lust att arrangera det.

[Svante]

Jag läste igenom det igen, och tror att jag svarade på allt, men jag kanske har fel.

Du svarade inte på de frågor jag ställde för att det skulle bli lättare för andra att (med din erfarenhet av hur jag agerat som grund) bedöma om det finns skäl att ha förtroende för mig - det vill säga för min förmåga att säkerställa vetenskaplig ackuratess exempelvis genom att korrekt beräkna statistisk signifikans.

Ok, nytt försök då...

"Har jag förtroende för din förmåga att korrekt beräkna signifikans".

Nej.

Jag tror iofs att du har förmåga att beräkna signifikansen om man skulle använda den förenklade proceduren som jag har föreslagit och jag tror att du har en förmåga att uppskatta signifikansen såsom testerna har gjorts hittills.

Men jag tror inte att du kan beräkna den verkliga signifikansen såsom testerna har gjorts historiskt.

Om du vill debattera det så kan vi väl ta ett exempel, ta den där lyssningen som påminde om mitt exempel 3. Hur stor blev konfidensen där?

[Kaffekoppen]

Är vi ute efter en exakt siffra, eller räcker det om vi vet att vi har tillräcklig signifikans?

[Svante]

Är vi ute efter en exakt siffra, eller räcker det om vi vet att vi har tillräcklig signifikans?

Jag är ute efter en exakt siffra, det är det man brukar mena med att beräkna något.

Om det inte går är det iofs också intressant att få se beräkningen som visar att det är mer än 99% konfidens.

[Morello]

Är vi ute efter en exakt siffra, eller räcker det om vi vet att vi har tillräcklig signifikans?

För att ta reda på huruvida konfidensniån är tillräcklig (tex >0,99) måste vi rimligtvis beräkna den först, inte sant?

[Svante]

Är vi ute efter en exakt siffra, eller räcker det om vi vet att vi har tillräcklig signifikans?

För att ta reda på huruvida konfidensniån är tillräcklig (tex >0,99) måste vi rimligtvis beräkna den först, inte sant?

Nja, jo det är ungefär dit jag vill. Man kan iofs ge sig på en analogi med en påhittad funktion och fråga sig om

0.995+0,003*sin(x) > 0,99

och komma fram till ett säkert svar utan att känna till funktionens exakta värde, om bara x är ett reellt tal. Den stora frågan i analogin med F/E-lyssningen är om det okända, här representerat av sinusen, verkligen är tillräckligt begränsat i verkliga livet. Det är det som är så svårt att bevisa.

[Thomas_A]

Här är några exempel Fishers resultat från två lyssnare där man vill testa om deras svar är signifikant skilda från varandra:

I första fallet har de svarat 7/9 resp 2/9.
I andra fallet har de svarat 8/9 resp 2/9.
I tredje fallet har de svarat 8/9 resp 1/9.
I fjärde fallet har de svarat 13/18 resp 5/18.

I första fallet ligger svaret i gränslandet för vad man bör acceptera som skillnad, och det är därför tveksamt om de svarat tvärtom. Deras sammanlagda resultat bör därför ses som 9/18 och inte 12/18. I övrigas fall är det dock tveksamt om deras resultat beror på en slump och att de faktiskt svarat tvärtom. Som alltid gäller att man inte får selektera dessa svar utifrån ett flertal serier i efterhand. För en power på 80% behöver n vara minst 7 i varje varje grupp om man ska jämföra en proportionsskillnad på 0.9 och 0.1.

------------------------------------------
TABLE = [ 7 , 2 , 2 , 7 ]
Left : p-value = 0.9983134512546278
Right : p-value = 0.028342245989305112
2-Tail : p-value = 0.056684491978610224
------------------------------------------
TABLE = [ 8 , 1 , 2 , 7 ]
Left : p-value = 0.9997943233237352
Right : p-value = 0.007610037021801789
2-Tail : p-value = 0.015220074043603577
------------------------------------------
TABLE = [ 8 , 1 , 1 , 8 ]
Left : p-value = 0.9999794323323735
Right : p-value = 0.0016865487453722927
2-Tail : p-value = 0.0033730974907445854
------------------------------------------
TABLE = [ 13 , 5 , 5 , 13 ]
Left : p-value = 0.9988922269842082
Right : p-value = 0.009196977371786517
2-Tail : p-value = 0.018393954743573034
------------------------------------------

[IngOehman]

Jag läste igenom det igen, och tror att jag svarade på allt, men jag kanske har fel.

Du svarade inte på de frågor jag ställde för att det skulle bli lättare för andra att (med din erfarenhet av hur jag agerat som grund) bedöma om det finns skäl att ha förtroende för mig - det vill säga för min förmåga att säkerställa vetenskaplig ackuratess exempelvis genom att korrekt beräkna statistisk signifikans.

Ok, nytt försök då...

"Har jag förtroende för din förmåga att korrekt beräkna signifikans".

Nej.

Vilket skämt!

Du byter ut de frågor om sakförhållandena jag ställt dig (för att folk skall kunna bedöma värdet av dina gissningar), men en fråga du skriver själv - som efterfrågar din gissning!

Du sätter den till och med inom citationstecken så att det skall verka som om det var min fråga.

Jag tror iofs att du har förmåga att beräkna signifikansen om man skulle använda den förenklade proceduren som jag har föreslagit och jag tror att du har en förmåga att uppskatta signifikansen såsom testerna har gjorts hittills.

Men jag tror inte att du kan beräkna den verkliga signifikansen såsom testerna har gjorts historiskt.

Om du vill debattera det så kan vi väl ta ett exempel, ta den där lyssningen som påminde om mitt exempel 3. Hur stor blev konfidensen där?

1. Det svarade jag på redan på första sidan i den här tråden!
(Liksom jag svarade på alla andra exempel du kom med samtidigt.) Du har inte kommenterat mina svar överhuvudtaget.


2. Jag är inte på något sätt intresserad av vad du tror/gissar/misstänker.

Är det verkligen svårt att svara på frågorna jag ställt?

Jag har INTE ställt någon fråga överhuvudtaget där jag frågar om din bedömning. Den har du ju erbjudit alldeles själv genom att starta den här tråden. Din bedömning är subjektiv, felaktig och dessutom redan känd.

Det jag frågat om är saker som gör att alla andra, som hittills bara sett din bedömning, skall få veta vilken grund det finns till den, det vill säga skall få veta att dina misstankar är grundlösa.

Jag har bara frågat dig om FAKTA. Jag har gjort det för att det skal framgå att det du skriver bara är misstankar/spekulationer. Det faktaunderlag som finns är att du flera gånger har bett mig redogöra för signifikansen i specifika fall, vilket jag gjort mer eller mindre ögonblickligen, och du har inte i NÅGOT ENDA FALL kunna visa att jag haft fel (trots att du i förekommande fall bett att få fundera på saken och räkna i lugn och ro hemma).


Inlägget med alla sex (3+3) frågorna finns högre upp på denna sida. Jag tänker inte ställa dem igen, och jag har inte längre något hopp om att du kommer att ens försöka svara på dem. Hoppas dock att alla inser varför, och därmed förstår vilka svaren är. Jag hade hoppats att du skulle vilja hjälpa till och ge dem, men det tycks inte finnas något sätt att få dig att svara på dem.


För ungefär två tusen år sedan sade en klok man* ungefär detta:

-Skall man berätta om sina misstankar? I brist på fakta tar misstankar faktans roll i människors medvetande, och om man har fel riskerar man därför att göra människor mycket illa. Det är ett ansvar man har att reflektera över. Har man inget annat än misstankar att komma med så gör man rätt i att hålla dem för sig själv.


Vh, iö

- - - - -

*På latin, eftersom han var romare, men det finns goda skäl att misstänka att funderingarnas upphovsman var grek, ty romaren ifråga var en stor fan av de grekiska tänkarna.

[Kaffekoppen]

Svante!

Istället för massa textmassa kan man konstatera att IÖ är besviken eftersom Svantes kritik mot testgenomförandet* kan tolkas som om IÖ (och därmed LTS) tester genom åren varit för vaga i fråga om att säkerställa signifikansen och därmed helt saknar värde.

Är det så man skall uppfatta din kritik/dina förslag till förändringar Svante?







* själva metoderna har jag förstått att Svante i mångt och mycket anser är korrekt utvalda. Även om han ser potentiella problem i vissa fall, så kan han inte specifikt peka på om det någonsin varit ett problem för själva slutsattsen.

[Morello]

Den här diskussionen ter sig mer och mer märklig för var dag som går.

Ni satt enligt utsago i många timmar och diskuterade spörsmålet, men varför tog ni inte ett konkret testfall och gick igenom det i detalj och granskade de beräkningar som legat till grund för eventuella slutsater?


Innan ett komplett testprotokoll finns att studera ser jag det som helt omöjligt att granska den statistiska analysen.

[Morello]

Istället för massa textmassa kan man konstatera att IÖ är besviken eftersom Svantes kritik mot testgenomförandet* kan tolkas som om IÖ (och därmed LTS) tester genom åren varit för vaga i fråga om att säkerställa signifikansen och därmed helt saknar värde.

Är det så man skall uppfatta din kritik/dina förslag till förändringar Svante?

Så har jag inte tolkat Dr. Svantes kritik. Är frågan månne en smula retorisk?

[Kaffekoppen]

Den är inte så retorisk som man kan tro.

Den är helt enkelt ställd på det sätt som kritiken uppfattats.

Svaret behöver således inte vara uttömmande och förklarande, utan ett JA eller NEJ räcker gott.


Jag håller med om att det blir märkligare och märkligare. Jag tror nästan inte att de vill förstå varandra.

[Haakan_W]

jag uppfattar det som att svante tycker att testerna inte riktigt fungerar tillfredsställande och man borde göra nånting annorlunda för att få bättre statisktisk signifikans..

rätt?

[Kaffekoppen]

Helt fel är det ju inte uppfattat kanske, men det leder ju till ett antal frågeställningar, varav den största torde vara om Svante anser att alla tidigare tester saknar relevans...

[IngOehman]

Den här diskussionen ter sig mer och mer märklig för var dag som går.

Ni satt enligt utsago i många timmar och diskuterade spörsmålet, men varför tog ni inte ett konkret testfall och gick igenom det i detalj och granskade de beräkningar som legat till grund för eventuella slutsater?

Om du lovar att ta jobbet, så lovar jag att vara på dig dygnet runt och kräva redovisningar av allting, utan ände, i offentlig miljö (således att du inte får någon lugn stund att ägna dig åt själva uppdraget att testa apparater för LTS-medlemmarna).


För övrigt tog svante upp minst ett hypotetiskt exempel som jag skulle ange signifikansen för (en person gissar 10 gånger och av dessa är 10 rätt i rad, samtidigt som en annan gissar 5 gånger, varav alla 5 är fel). Det gjorde jag, ögonblickligen.
(Det blir >>99,0%, närmare bestämt >99,8% vid ursprungsbestämd serie. Givet mera information om hur det gick till kan signifikansen vara väldigt mycket högre ytterligare, men med bara det givna känt blir det >99,8%. På plats under testen är dock självklart allting känt om hur det hela går till.)

Han har fortfarande inte kommenterat om han håller med mig.


Vh, iö

[Svante]

Ja, jag försöker verkligen förstå frågan, men nu är jag på väg till landet och kommer tillbaka om någon vecka. Vi får se om modemet klarar fortsatt debatt.

[Morello]

Den här diskussionen ter sig mer och mer märklig för var dag som går.

Ni satt enligt utsago i många timmar och diskuterade spörsmålet, men varför tog ni inte ett konkret testfall och gick igenom det i detalj och granskade de beräkningar som legat till grund för eventuella slutsater?

Om du lovar att ta jobbet, så lovar jag att vara på dig dygnet runt och kräva redovisningar av allting, utan ände, i offentlig miljö (således att du inte får någon lugn stund att ägna dig åt själva uppdraget att testa apparater för LTS-medlemmarna).


För övrigt tog svante upp minst ett hypotetiskt exempel som jag skulle ange signifikansen för (en person gissar 10 gånger och av dessa är 10 rätt i rad, samtidigt som en annan gissar 5 gånger, varav alla 5 är fel). Det gjorde jag, ögonblickligen.
(Det blir >>99,0%, närmare bestämt >99,8% vid ursprungsbestämd serie. Givet mera information om hur det gick till kan signifikansen vara väldigt mycket högre ytterligare, men med bara det givna känt blir det >99,8%. På plats under testen är dock självklart allting känt om hur det hela går till.)

Han har fortfarande inte kommenterat om han håller med mig.


Vh, iö

Jag var ju som bekant inte med på ert möte. Jag bara tycker det är lite märkligt att det inte kunde redas ut på plats. Hela diskussionen verkar gå lite i cirklar och då kommer man inte direkt framåt med någon vidare fart.

Vad är det för jobb jag ska ta föresten som sedan ska nagelfaras? Jag är inte alls med på vad du menar och vad det har för betydelse i sammanhagnet.

[Morello]

Ja, jag försöker verkligen förstå frågan, men nu är jag på väg till landet och kommer tillbaka om någon vecka. Vi får se om modemet klarar fortsatt debatt.

http://www.faktiskt.se/wap/

[IngOehman]

Vad är det för jobb jag ska ta föresten som sedan ska nagelfaras? Jag är inte alls med på vad du menar och vad det har för betydelse i sammanhagnet.

Du skall inte ta något jobb, men du är välkommen att göra det, liksom Svante eller någon annan, som förstört möjligheterna för den som hade ansvaret tills nyss.

Om du gör det (tar ansvaret för LTS tekniksektion), så kan jag bidra med det jag själv blivit utsatt för - alltså ständiga angrepp och ifrågsaättnaden, det vill säga till att en situation där det blir omöjligt att göra något konstruktivt arbete uppstår, eftersom allting skall nagelfaras i all oändlighet, inte bara av Svante eller någon annan internt i sektionen - utan allt skall nagelfaras offentligt.

Å andra sidan - om du tar jobbet och vill slippa bli utsatt för sådan skit, så kommer du slippa det från mig i varje fall. Jag skulle aldrig bete mig så mot någon mot deras vilja.


Vh, iö

[Kaffekoppen]

Du skall inte ta något jobb, men du är välkommen att göra det, liksom Svante eller någon annan, som förstört möjligheterna för den som hade ansvaret tills nyss.
Vh, iö

Vi är oense om den här debattens betydelse. Vi är oense om konsekvenserna av den här debatten. Vi är oense om Svantes ensidiga "skuld" till situationen.

Men vi är nog ense om att de tidigare testerna som genomförts och som redovisats är tillräckligt välgenomtänkta med ett resultat som är tillförlitligt, dvs inga felaktiga slutsatser har redovisats.

Ingen av oss vet om Svante delar den uppfattningen.


Men vi är alla medvetna om konsekvenserna av den här lekstugan. Det redogjorde jag för sist vi alla sågs.

[dimitri]

En konstig känsla:
Å ena sidan kan jag med handen på hjärnan, ärligt säga att jag har läst tråden noggrant, fortlöpande med stor uppmärksamhet. Jag har även bidragit med ett par inlägg.

Men

Å andra sidan skulle jag ha stora svårigheter att för en utomstående redogöra för trådens innehåll, essens, agendor.

Lite som att läsa "På spanning efter den tid som flytt" där olika händelser, fakta, tankar får anorlunda färg, tolkning beroende på sinnelag, närhet till andra exponerade fakta eller när minnet återkallas.

Ta t.ex Svantes svar den 23/12 på mitt inlägg om en likanande tråd från i maj:
"...Ja, jag har anlitat statistiker ibland. Jag tycker statistik är svårt, det ska medges, och det är alltid en massa farbröders namn som poppar upp när man ska välja analysmetod. Ändå verkar det som att det där med att avbryta en serie när man har fått tillräcklig konfidens är väldigt oortodoxt, trots att det är det som varje normal människa gör när man testar något intuitivt. Ingvar är väl ett exempel på det. Därför finns det kanske skäl att tro att det är en effektiv metod, sett rent evolutionelllt. Därför tycker jag att det är intressant att formalisera även det och försöka ta fram hur stor konfidensen egentligen är. Jag tror att jag kan det om jag bara får designa experimentet. ..."

Till saken hör också att jag i majtråden gav ett exempel på ett fullständigt korrekt, formaliserat förfarande där fortlöpande "tjuvkikande" på resultaten och ett eventuellt i förtid avbrytande av en planerad serie är korrekt och ibland nödvändigt. Och med bibehållen statistik trovärdighet/stringens dessutom.

Det ovanciterade skulle jag kunna tänka mig att tolka som så att Svante tar ett (eller flera) steg tillbaka från sin ursprungliga föreställning om den bristfälliga statistiska stringensen i f/e sammanhang.

Nu kan ngn (med fog?) säga att det jag kan tänka mig tolka, tro, tycka är irrelevant. I så fall är vi inte överens.

[IngOehman]

Jag tror jag förstår det du skriver, och håller med, om jag fattat rätt.

Det du tar upp är en av orsakerna till att jag blev både förvånad och illa berörd av angreppen i den här tråden. Jag hade ju uppfattat att Svante i praktiken dragit tillbaka kritiken mot testmetoderna efter att vi diskuterat alla detajer och jag redovisat alla bedömningsgrunder, efter bästa förmåga.

Ja, jag försöker verkligen förstå frågan, men nu är jag på väg till landet och kommer tillbaka om någon vecka. Vi får se om modemet klarar fortsatt debatt.

Vad är svårt att förstå?

Frågorna är skrivna i klartext! Jag frågade dig:


1. Du Svante, som varit med på några av LTS lyssningstester, har du NÅGON ENDA GÅNG stött på ett resultat som du vet inte ger en statistisk signifikans om >99%, men som ändå kommit i MoLt och påståtts ha en statistisk signifikans högre än 99%?

2. Det vill säga: Finns det någon grund, i form av ett faktiskt fall (där det blivit fel) för dig att ifrågasätta om jag tagit mitt ansvar att upprätthålla en adekvat vetenskaplig hantering av mätdata?

3. Eller handlar det bara om att just du inte tycker dig kunna bedöma signifikansen på plats, som jag har gjort? (Utöver att jag förstås kontrollräknat i de fall det finnits minsta tveksamhet.)
(Denna sista kräver följdfrågor, som jag ställer strax...)


Att ställa dessa tre frågor känns minst sagt olustigt, eftersom jag ju tycker du borde ha redogjort för dessa saker självmant. Jag ställer frågorna för att jag vill ha fram att de antydningar/framställningar du kommit med inte varit vad jag tycker är ärliga - utan de har varit avsiktligt färgade (=du har kanske skrivit dem i affekt, med avsikt att skada mig och/eller LTS? Även om du gjort det med en "god" avsikt - nämligen för att få fram en förändring).

Du har berättad vad du tror/gissar/bedömer, men du har, trots upprepade uppmaningar, inte givit någon annan möjligheten att få veta att det inte finns någon hård substans bakom. Du har valt att inte berätta att det saknas konkreta fakta (fall där något blivit fel) som stöder din förtroendebrist, och du har avstått från att berätta att det finns gott om fakta (alla faktist!) som stöder att beräkningarna varit riktiga. Du har exempelvis flera gånger ställt mig "kontrollfrågor", som jag besvarat invändningsfritt, vilket du inte berätta om, ens när jag specifikt bett dig. Då är det lät att tro att du ställde mig frågorna bara för att du hoppades att jag skulle svara fel, så du kunde berätta om det.

Oavsett vilket behöver alla få veta hur det är nu, när affekten (förhoppningsvis) är överspelad.

Jag förstår om frågorna är lika olustiga att svara på också, av samma skäl som det är olustigt att ställa dem, men jag hoppas du gör det ändå.


Som en avslutning på detta (jag frågar dig bara så att jag skall slippa påstå något - jag vill ju hellre att du klargör för dem som läser den här tråden, det som jag vet att de inte vet) så vill jag alltså även ställa dig några specifika fråger - som klargör hur verkligheten sett ut - den verklighet som jag noterat att du inte berättat om spontant.

Jag vill fråga dig detta:

4. Är det sant att du vid ett antal tillfällen kommit med (enligt dig "svårbedömda") exempel på fall till mig, där jag ombetts att uttala mig om den statistiska signifikansen - och att jag svarat dig ögonblickligen, med antingen ett exakt svar, eller med worst case-svar (">X%")?

5. Är det också sant att du ännu inte har ett enda exempel på att du (efter att ha gått hem och räknat på det hela (och ägna uppgiften din fulla uppmärksamhet)) funnit att mitt ögonblickliga svar varit felaktigt?

6. Kort sagt: Är det riktigt att jag - så vitt du känner till - ALDRIG har kommit med någon enda felaktig bedömning avseende statistisk signifikans?


Är glad om du startar dina svar med JA eller NEJ.

Är i själva verket glad om du alls svarar.


Observera gärna att jag i INGEN av frågorna efterfrågar någon bedömning från dig. Jag vill bara ha konkreta svar på de faktauppgifter jag frågar om.

Att du inte har förtroende för att det går att lita på min förmåga att beräkna den statistiska signifikansen har redan framgått, det är ju liksom det den här tråden har handlat om.

Därför frågar jag dig om FAKTA, så att andra skall kunna bedöma om det finns skäl att ha förtroende för din bedömning.

Jag ogillar att ifrågasätta din bedömning, och hade inte gjort det om du inte initierat diskussionen genom att med gissningar/spekulationer (helt utan fakta) ifrågasätta mitt förtroende.


Vh, iö

[Harryup]

Som utomstående känns denna diskussion en aning märklig. Eftersom det tidigare "rått enighet" om att om en person hör skillnad så finns det en skillnad, så verkar 7 av 7 vara lagom. Har behovet av en andra persons upplevelse uppstått nu? För mig känns det mera tveksamt att man tydligen delger sina resultat muntligt under testens gång. Och utslaget där graden av färgningens betydelse för en normal lyssningsupplevelse i hemmiljö kan vara svår att tolka. Om en förstärkare knäar vid full volym och sjunker 0,5dB vid 20Hz så kommer ju i princip ingen att uppleva det som har ett normalt boende och normalt balanserad anläggning.
Annars tycker jag gott att ni kan bli sams, eller i varje fall ense om vad ni är oense om. För mig är det inte helt klart i varje fall att ni ens är det.

[dimitri]

Det som alla inblandade kombatanter är överens om är f/e metodens fördelar och nödvändighet i ljuset av vilka alternativ som erbjuds.

Där finns en gemensam platform. Något att vara rädd om.
Diskussionen gäller värdering av resultaten och möjligen även vissa procedurdetaljer syftande till säkerställande av dubbelblindhet.

JAg ser flera faktorer/nyanser här:

---LTS procedurer publicerade i MOLT är avsedda för LTS medlemmar. En icke medlem kan på sin höjd komma med en (mycket) försynt önskan om det ena eller det andra.

---En styrelsemedlem som avgår har inte automatiskt rätt att ifrågasätta procedurer offentligt. Däremot har denne rätt/plikt att starta diskussionen inom LTS framför allt innan han avgår från styrelsen.

---Det viktigaste: den uppkomna debatten får inte leda till att barnet hälls ut med badvattnet. Det finns många out there som bara väntar på att f/e metoden komprometteras. Det är de kommersiella aktörerna och deras hängivna kunder. E/E är en nagel i ögat/Örat för dessa och låt det förbli det.

---Jag har räknat igenom IÖ's exempel. Jag hittar inga fel. Detta är förstås förmätet eftersom jag är ingen expert, men ändå.

---F/E måste finnas kvar. Låt oss se det så här: Alla metoder utvecklas, förfinnas. Ibland bara som ett uttryck för pragmatism och/eller öppenhet att kompromissa. Sådana eventuella ändringar innebär inte prestigeförlust för någondera part. Alla konflikter har potential att leda till utveckling.

Alltså: E/E er nu den bästa/enda metoden att utvärdera apparater objektivt. Trots dess eventuella tillkortakommanden. De statistisk metoderna kan bli säkrare, t.ex. genom dubbelblindheten.

[Thomas_A]

Finns det något verkligt testutfall att räkna på, istället för alla hypotetiska exempel?

[Harryup]

---En styrelsemedlem som avgår har inte automatiskt rätt att ifrågasätta procedurer offentligt. Däremot har denne rätt/plikt att starta diskussionen inom LTS framför allt innan han avgår från styrelsen.

Öhhh, va? Är du för någon öststatscensur? Klart att alla får prata om vad man vill. Däremot så bör man ju göra försök att lösa allt med berörda parter direkt i alla lägen.

[IngOehman]

Som sagt...

För ungefär två tusen år sedan sade en klok man i Rom ungefär detta:

-Skall man berätta om sina misstankar? I brist på fakta tar misstankar faktans roll i människors medvetande, och
om man har fel riskerar man därför att göra människor mycket illa. Det är ett ansvar man har att reflektera över.
Har man inget annat än misstankar att komma med så gör man rätt i att hålla dem för sig själv.


Det handlar inte så mycket om vad man har möjlighet eller rättighet att göra, utan mera om vad som är rätt att göra.
(Rätt = hyggligt)

Bara för att man har en juridisk rättighet att (på vissa sätt) göra folk illa, är det inte rätt att göra det.


Vh, iö

[Morello]

Du skall inte ta något jobb, men du är välkommen att göra det, liksom Svante eller någon annan, som förstört möjligheterna för den som hade ansvaret tills nyss.

Vh, iö

Avses Svante, jag eller oss båda?

[IngOehman]

Ni är båda välkomna att ta ansvaret för tekniksektionen.

Jag tänkte inte på dig när jag skrev om de förstörda möjligheterna för mig att sitta
kvar som ansvarig. Du har mig veterligt aldrig någonsin på ren spekulation smuts-
kastat LTS offentligt, eller ifrågasatt min insats som ansvarig för tekniksekionen.


I själva verket är det inte längre min sak att säga vem som är välkommen att ta
ansvaret. Det är en fråga för LTS' styrelse att avgöra.


Vh, iö

- - - - -

PS. Språkpolisen informerar: Det heter antingen...

Avses Svante, jag eller vi båda?

...eller...

Avses Svante, jag eller gäller det oss båda?

[dimitri]

---En styrelsemedlem som avgår har inte automatiskt rätt att ifrågasätta procedurer offentligt. Däremot har denne rätt/plikt att starta diskussionen inom LTS framför allt innan han avgår från styrelsen.

Öhhh, va? Är du för någon öststatscensur? Klart att alla får prata om vad man vill. Däremot så bör man ju göra försök att lösa allt med berörda parter direkt i alla lägen.

Jag pratar inte om den juridiska rätten. Yttrandefrihet gäller och ska försvaras med alla medel.
Jag pratar om anständighet, respekt, tillit. Och om rådande föreningskultur. Det uppstår meningsskiljaktigheter inom (nästan) alla föreningar. Tom inom Montessori dagiskollektivet MARIA i Göteborg. Dessa löses galant genom diskussion inom föreningen.
Att gå ut till offentligheten måste ibland göras. Det verkar inte som att det var ett sådant läge, ur min oLTS-horisont.

[IngOehman]

Då uppfattade jag dig rätt.


Vh, iö

[n3mmr]

Jag kanske ska förtydliga en sak i min beskrivning av testerna. I LTS-versionen sitter försöksledaren och växlar på en omkopplare. Signalen är typiskt en kort snutt av en CD-skiva som har visat sig särskilt avslöjande, CD-spelaren sätts på repetering av denna snutt, och i varje repetering växlar försöksledaren på omkopplaren.

Man kan alltså "följa med" ett par växlingar och tänka "före-efter-före-efter..." och se om intrycket stämmer i varje växling för att till sist bestämma sig och ropa till "före" (eller "efter"). Då slutar försöksledaren växla och antecknar om svaret var rätt eller fel.

Sen får, och detta är problematiskt, även andra lyssnare instämma eller motsäga den första som svarade, och även detta antecknas.

Jag läser och begrundar det ovanstående och inser att jag fortfarande inte har sett en beskrivning av testet som du vill beskriva ovan.... Det fattas en del steg som beskriver hur man får referensen klar, hur man tränas in, hur man slumpar.

Som du beskriver det kan det ju vara så att man bara testar folks förmåga att inte tappa bort sig i en enkel sekvens av 121212121212121212121212....
Men det ska det väl inte vara???
Så, nåt litet fattas.

Orkar du fullständiga beskrivningen?

[IngOehman]

Det finns ingen beskrivning, för det finns inga metodregler. Metoden är fri, den är inte reglerad inom ramen för det som är F/E-lyssning.

En relevant beskrivningen är alltså inte bara omöjlig att formulera, utan ett försök till en förenklad beskrivning (alltså en som låtsas som om det alltid behöver gå till på ett specifikt sätt) kan rent av vara vilseledande.

Det finns nämligen inget specifikt sätt som "gäller". Det finns ingen "metod", utan "metoden" är en helt fri parameter.
Sättet att undersöka en apparats ljudande egenskaper kan nämligen variera väldeliga från gång till gång.

Det beror på att den till stor del beror på vilken sorts fel man letar efter - det vill säga vilken sorts fel man tror kan vara det dominerande problemet med den specifika apparaten och som det därför är värt att lägga extra ansträngningar för att finna, i F/E-lyssningen.

Möjligheten finns dessutom alltid för en lyssnare att begära någon speciell musiksignal, eller sekvens (lång, kort, kontinuerligt spelande musik, begärd eller spontan omkoppling...) - allt för att optimera chansen att lyssnarna kan göra sitt bästa. Den enda som är absolut fixt är att lyssningen sker blint och att statistiska sgnifikansen säkerställs.


Vh, iö

[n3mmr]

Det finns ingen beskrivning, för det finns inga metodregler. Metoden är fri, den är inte reglerad inom ramen för det som är F/E-lyssning.

En relevant beskrivningen är alltså inte bara omöjlig att formulera, utan ett försök till en förenklad beskrivning (alltså en som låtsas som om det alltid behöver gå till på ett specifikt sätt) kan rent av vara vilseledande.

.....

Vh, iö

Det var faktiskt inte det jag frågade efter, den fasta en-gång-för-alla-givna metoden. Jag ville veta mer om det Svante beskrev, just det tillfället, just den gången.

Du kanske kan svara själv?

[IngOehman]

Nej, jag tror jag nöjer mig med att lyssnandet varje gång har utformats på det bästa sätt jag kunnat komma på. Enda gemensamma nämnaren mellan gångerna är att jag sett till att vi ALLTID lyssnat mycket öppet (icke-blint) innan vi börjat med blindlyssningarna.

Då får man hjälp att lära sig vad att lyssna efter, men får även hjälp att välja passande programmaterial. Att slösa en massa tid på att blindlyssna en massa programmaterial med vilket ingen tycker sig kunna detektera skillnad mellan F och E ens i en öppen lyssning - brukar vara helt meningslöst.

Jag känner inte till vilket specifikt fall ni talar om och jag tycker inte heller att man skall nojja in på en massa ointressanta detaljer om testandet vid varje specifika tilfälle, vilket ju är det enda som INTE berättar något om själva testobjektet.

Det intressanta, och orsaken till att vi testat apparater, är ju att vi skall kunna berätta något om dem. Det man behöver veta om testerna har Johan Lindroos med bravur (tycker jag) berättat om i artiklarna.


Vh, iö

[Svante]

Ja, ifall någon undrar så har jag inte övergett den här tråden, jag sitter nu på landet via modem och vill inte sitta uppkopplad den tid det tar att debattera med exponentiell tillväxt.

Men svar kommer på Ingvars röda frågor, nån gång till helgen skulle jag tro. Kanske har jag ett par röda frågor till Ingvar också...

[Kaffekoppen]

*snyting*

[Morello]

Kanske har jag ett par röda frågor till Ingvar också...

Blir de av retorisk typ?

[Svante]

Kanske har jag ett par röda frågor till Ingvar också...

Blir de av retorisk typ?

Det skulle jag tro.

[IngOehman]

Du behöver inte svara Svante. Du har haft flera veckor och därtill åtskilliga upprepningar av frågorna på dig. Hade du velat svara på dem hade du nog redan gjort det. Nu är det liksom för sent.

Jag har fattat för länge sedan att du inte vill svara på dem, och då behöver du inte. Att så här i efterhand klämma fram ett svar (som du ändå med största säkerhet kommer att formulera för att försvara dig, och inte för att ge alla läsare en ärlig chans att se att du inte haft någon substans bakom kritiken, utan att det har varit spekulationer och en vilja att ventliera ett misstroende bara) känns föga meningsfullt.


Jag har nu hunnit vänja mig vid att från och med nu slippa ansvaret - och jag trivs rätt bra med det!

Så gör det rätta - du har framfört din kritik och att du inte har förtroende för pålitligheten i det jag redovisat, och jag har tagit konsekvensen av detta och avgått.

Nu bör du rimligen också ta på dig det ansvar* som du kritiserat mig för att undlåtit att ta.

Jag kan lova dig att jag inte kommer att returnera en liknade offentlig kritik som du utsatt mig för. Inte ens saklig kritik kommer jag att drabba dig med. Jag är bara glad om LTS har någon som vill ta på sig det ganska betungande ansvaret att säkerställa vederhäftighet med avseende på verksamheten.


Vh, iö

- - - - - -

*Jag hade med glädje överlämnat det till dig även utan att du startat detta olustiga krig. Du hade bara behövt fråga. Det är ett ansvar det är skönt att slippa ju.

[Kaffekoppen]

Ni borde lära er retorik båda två

[Morello]

*Jag hade med glädje överlämnat det till dig även utan att du startat detta olustiga krig.

Ingvar, tycker du verkligen att det sista stycket är förenligt med hela sanningen ang. denna soppa?

[Morello]

Försvann Ingvars inlägg?

[Kaffekoppen]

Flyttat nedåt.

[IngOehman]

*Jag hade med glädje överlämnat det till dig även utan att du startat detta olustiga krig.

Ingvar, tycker du verkligen att det sista stycket är förenligt med hela sanningen ang. denna soppa?

"Förenligt med sanningen???"

Vad tusan betyder det?

Det jag skrev är 100% sant. Det kan nog om inte annat Svante själv bekräfta. Jag tror i varje fall att han förstår att det är så.

Jag håller inte med om att det är 100% korrekt.

"Håller inte med om"? Huvuvida jag talar sanning är inte en subjektivt fråga för dig att "tycka" något om.

Men, ditt inlägg är ännu ett exempel på att folk inte har förtroende för det jag skriver - och som sålunda talar för att jag inte skall ha en förtroendepost i LTS.

I övrigt tycker jag det är dåligt stil av dig att på ren spekulation påstå att jag ljuger.

Men som sagt, tror du att det inte går att lite på det jag skriver har du inte förtroende för det, och då bör jag (oavsett om kritiken är obefogad) inte sitta krav. Känns skönt att inte göra det!

Godnatt!


Vh, iö

[Morello]

*Jag hade med glädje överlämnat det till dig även utan att du startat detta olustiga krig.

Ingvar, tycker du verkligen att det sista stycket är förenligt med hela sanningen ang. denna soppa?

"Förenligt med sanningen???"

Vad tusan betyder det?

Vh, iö

Föreligger verkligen tveksamheter om vad som menades?

[Kaffekoppen]

Jag håller inte med om att det är 100% korrekt.


Resultatet är i dagsläget att minst tre personer inte kommer vara med i styrelsen kommande år. Det är däremot 100% säkert.

[Morello]

Jag håller inte med om att det är 100% korrekt.


Resultatet är i dagsläget att minst tre personer inte kommer vara med i styrelsen kommande år. Det är däremot 100% säkert.

Varför upprepningen?

[Svante]

Jag hade med glädje överlämnat det till dig även utan att du startat detta olustiga krig. Du hade bara behövt fråga. Det är ett ansvar det är skönt att slippa ju.

Mja, det här kan man ju tolka som att jag ville ta över verksamheten. Men det är just precis av den anledningen som blev tvungen att avgå, för att visa att jag inte är intresserad av att ta över.

...jag återkommer med svar.

[Morello]

I övrigt tycker jag det är dåligt stil av dig att på ren spekulation påstå att jag ljuger.



Vh, iö

Kaffekoppen påstod aldrig att du ljög - han anmälde en avvikande uppfattning om händelseförloppet.

[Kaffekoppen]

Jag hade med glädje överlämnat det till dig även utan att du startat detta olustiga krig. Du hade bara behövt fråga. Det är ett ansvar det är skönt att slippa ju.

Mja, det här kan man ju tolka som att jag ville ta över verksamheten. Men det är just precis av den anledningen som blev tvungen att avgå, för att visa att jag inte är intresserad av att ta över.

...jag återkommer med svar.

Bra! Jag tycker att det är självklart att du svarar på de frågorna som Ingvar ställt eftersom din kritik kan uppfattas som väldigt långtgående. Det vore bra om du kunde ge konstruktiva svar och kanske ytterliggare nyansera dig. Jag utgår från att du skriver rakt och utan retoriska inslag. Det handlar ju inte bara om vem av er som klarar av att argumentera bort den andra, utan hur folk som läser detta skall se på LTS, LTS förhållning till vetenskaplighet och LTS tidigare arbete. Att se utvecklingspotential (som jag tolkat dig att du tror dig göra) är ju inte alltid detsamma som att förkasta allt tidigare arbete.

Det kan framstå som om LTS agerat ovetenskapligt (även om du bestämt påtalat att så inte varit fallet) då LTS inte kan (som du ser det) ge ett exakt tal på signifikansen. Det skulle ju innebära att alla tidigare resultat varit tveksamt framtagna och således av noll värde. Därför ber jag dig svara på ett tidigare inlägg av mig i tråden nedan.

Jag tror inte att din önskan var att säga att all verksamhet och LTS historiskt kan ifrågasättas

fre dec 29, 2006 12:51:

Svante!

Istället för massa textmassa kan man konstatera att IÖ är besviken eftersom Svantes kritik mot testgenomförandet* kan tolkas som om IÖ (och därmed LTS) tester genom åren varit för vaga i fråga om att säkerställa signifikansen och därmed helt saknar värde.

Är det så man skall uppfatta din kritik/dina förslag till förändringar Svante?


* själva metoderna har jag förstått att Svante i mångt och mycket anser är korrekt utvalda. Även om han ser potentiella problem i vissa fall, så kan han inte specifikt peka på om det någonsin varit ett problem för själva slutsattsen.

Kan du svara på detta så skulle det ge mig svar på om jag förstått dig rätt, eller om jag misstolkat dig.

I ditt sökande för att göra testerna mer dokumenterade hade du mitt stöd, men för mig innebär det inte att tidigare tester varit utan värde, utan bara att vi har en önskan om att ytterliggare stärka föreningens trovärdighet och bli än bättre på det vi gör.

[n3mmr]

Jag undrar vad LTS har för halveringstid just nu.

Vi får starta två konkurrerande föreningar, en för varje modell för testförtroendebildning.

Så kan jag vara med i båda, plus en alldeles egen subversiv förening.

[Kaffekoppen]

Jag undrar vad LTS har för halveringstid just nu.

En mycket bra fråga. Man skulle kunna tro att det är kris i LTS, men just att man står på sig och tycker att ens egna syn och tankegångar är så starka och viktiga för föreningen är ett bevis på engagemang.

Ideela föreningar är beroende av engagemang och det är föreningen som måste på bästa sätt ta tillvara på det. Föreningen behöver såväl Svante som Ingvar som aktiva medlemmar. De har mycket de kan delge och jag hoppas vi kan hitta former för dem att känna att engagemanget ger glädje och utbyte.

Nu är det ju lite trist för utomstående att ta del av diskussionen eftersom den inte alltid sker konstruktivt och objektivt då båda anser att de blivit felaktigt behandlade. Det har dom också. Känslor och starkt engagemang är inte alltid lätt.

Jag tror dock fortfarande att det finns gott hopp att få pojkarna att sansa sig. Känslorna måste bara få vila till sig lite så att vi kan få en debatt där man inte känner att varje förändring eller förslag är en kritik, eller där den som vill ha förändring känner sig kränkt.

Faktum är att, förutom just det här spörsmålet så ser föreningen riktigt ljus ut! Tidningsutgivningen är strax i fas efter mycket möda och engagemang och medlemsaktiviteterna som var under 2006 och som är planerade för 2007 bådar mycket gott för föreningen!

[Naqref]

Du behöver inte svara Svante. Du har haft flera veckor och därtill åtskilliga upprepningar av frågorna på dig. Hade du velat svara på dem hade du nog redan gjort det. Nu är det liksom för sent.

Nu finns inte SÖ kvar längre men enligt dem så innebar flera >=4. Och så länge har tråden inte ens existerat. Mer i regionen ett par veckor. Tråden startades 2006-12-19, 8:43

Dina frågor skrevs och förtydligades dessutom i julhelgen/mellandagarna. Själv har jag max fått 20 minutersperioder framför datorn fram till i går och då misstänker jag att en mer socialt uppbunden snubbe som Svante (med fru och barn) med en mycket sämre internetuppkoppling kan ha haft mindre förutsättningar att svara på escalerande inlägg. Nu är det ju rimligt att Svante svarar på dina frågor just för att det är han som stod för kritiken men då ska han ju ges en rimlig chans tycker jag.

Fråga (kan verka dum men känns ändå relevant att få förtydligad): Var det den offentliga kritik som Svante framförde här som fick dig att avgå?

[Thomas_A]

Väldigt underlig tråd.

1. Det finns inget faktiskt exempel att räkna på.
2. Det finns ingen data på sensitivitetsskillnader mellan metoder och förklaringsmodeller (inkl brister, självkritik hör alltid till en analys)
3. Flera spörsmål diskuterar p-värdesskillnader mellan <=0.01 och 0.02 och att det skulle ha en stor betydelse. Mycket underligt, när man inte vet punkt 1.
4. Det finns ett försök till olika förklaringar till det ena och det andra, men inget som kan användas för punkt 1 och 2.

Vid sidan om detta löper en offentlig "LTS-intern diskussion".

[IngOehman]

Jag hade med glädje överlämnat det till dig även utan att du startat detta olustiga krig. Du hade bara behövt fråga. Det är ett ansvar det är skönt att slippa ju.

Mja, det här kan man ju tolka som att jag ville ta över verksamheten.

Den som tolkar kan få fram vad som helst - ur vad som helst. Det är därför du inte skall tolka det jag skriver, utan bara läsa det. Jag menar alltid precis det jag skriver, och aldrig något annat.

I detta fall är det ju bara att läsa det jag skrev strax ovanför dessutom, där det med önskvärd tydlighet framgår att jag vet att du inte vill ta över, och att jag UPPMANAR dig att göra det / att ta ansvaret.

Att jag vet att du inte vill ta över framgår tydligt. Det är därför jag skriver att du borde göra det, och det är därför jag även förtydligar att jag inte säger det på grund av det som skett, utan att jag välkomnat att du tagit ansvaret, och att denna min inställning INTE beror på det olustiga kriget.

Jag skriver om min egen inställning, inte något annat. Jag skriver att min inställning inte har med det olustiga kriget att göra. Det ser man om man läser det som står, och slutar att försöka tolka fram undermeningar. Om jag hade velat skriva att du haft som mål att starta kriget för att "ta över" så hade jag skrivit det.

Vad jag vill ha fram är dock det motsatta - att det hade varit helt ok om du gjort det, men att starta ett krig på det här viset och sedan lämna verksamheten utan att ta ansvaret - det är inte ok.

Men det är just precis av den anledningen som blev tvungen att avgå, för att visa att jag inte är intresserad av att ta över.

Du behöver inte visa det, det räcker med att säga det (vilket du ju gjrde redan för snart två år sedan när jag frågade dig första gången). Jag litar alltid på vad folk säger, om de inte gjort väldigt stora ansträngningar för att visa att de inte är att lita på. Jag litar på att det du säger är sant. Jag litar exempelvis på att du inte har förtroende för min förmåga att beräkna den statistiska signifikansen, vilket också är orsaken till att jag inte tycker det finns något skäl för att du skall ta tillbaka det.

Däremot tycker jag det är viktigt att det framgår att du inte har något endaste fall att peka på (där jag räknat fel) att ta spjärn mot när du berättar att du inte har förtroendet. För hur skall andra annars kunna bedöma värdet av din bedömning?

Jag har förjäves försökt få dig att kvittera att så är fallet, genom att ställa de där frågorna, som du inte svarat på. Nu kanske det inte spelar så stor roll i och för sig, eftersom frånvaron av svar är samma sak som att du kvitterar det jag skrivit.

Det förvånar mig dock att du inte vill göra ens den ynka lilla ansträngningen som det är att bekräfta de saker jag bett dig bekräfta, för att ställa situationen tillrätta. Det är ju liksom inte frågan om att jag ber dig förnedra dig själv, jag ber dig bara bekräfta saker som du vet är sant.


Frågan om kriget som sådant tycker jag kan summeras som: Jag tycker inte att det är rätt att angripa någon offentligt om man INTE är beredd att göra det jobb man kritiserar själv. Det är mig alltså oändligt främmande att kritisera dig för att ha "försökt ta över", vilket hade varit helt ok. Felet är att du raserar - och sedan drar dig ur.


Vh, iö

[IngOehman]

Du behöver inte svara Svante. Du har haft flera veckor och därtill åtskilliga upprepningar av frågorna på dig. Hade du velat svara på dem hade du nog redan gjort det. Nu är det liksom för sent.

Nu finns inte SÖ kvar längre men enligt dem så innebar flera >=4.

Isåfall är de ju helt tossiga. Flera är t ex 2.

Som i: "-Vi talar inte om en vecka, utan om flera".

Fråga (kan verka dum men känns ändå relevant att få förtydligad): Var det den offentliga kritik som Svante framförde här som fick dig att avgå?

Ja det var det, men inte ensamt.


Vh, iö

[Kaffekoppen]

Det har inte gått så lång tid, men om man är engagerad i något kan det te sig som evigheter...

Tex så fanns det skäl att inte skriva i den här tråden, men se det kunde man inte avhålla sig från det heller

[Naqref]

Du behöver inte svara Svante. Du har haft flera veckor och därtill åtskilliga upprepningar av frågorna på dig. Hade du velat svara på dem hade du nog redan gjort det. Nu är det liksom för sent.

Nu finns inte SÖ kvar längre men enligt dem så innebar flera >=4.

Isåfall är de ju helt tossiga. Flera är t ex 2.

Som i: "-Vi talar inte om en vecka, utan om flera".

Nu hamnar vi OT men det är en skillnad på fler och flera. Helt olika ord faktiskt och om man inte pratar om en vecka så kan man antingen prata om ett par, några, flera, många, kopiöst gigantiska antal (pronomen) o s v eller om fler veckor än en enda ynklig (adjektiv). Personligen är jag benägen att rangordna dem i just den ordning jag gjorde i föregående mening. Menar man två är det därför bättre att använda ett par som ord. Menar man i regionen över ett par men mindre än vad som entydigt blir flera så använder man några. Naturligtvis finns det ju ett visst överlapp.

Den andra delen tar jag via pm.

[Morello]

Jag tror aldrig att ni kommer att nå koncensus med bitvis extrem-retorisk debatt, utan att ni måste tillgripa ett konkret exempel och räkna igenom det här och nu. (om detta över huvud taget skall ske på forat).

Just nu är debatten övergödslad med känslor och retorik av allenhanda slag, som blir likt en rökridå över sakfrågan.

[n3mmr]

Jag tror aldrig att ni kommer att nå koncensus med bitvis extrem-retorisk debatt, utan att ni måste tillgripa ett konkret exempel och räkna igenom det här och nu. (om detta över huvud taget skall ske på forat).

Just nu är debatten övergödslad med känslor och retorik av allenhanda slag, som blir likt en rökridå över sakfrågan.

Hör! Hör!

Retorik funkar bra ibland, men det krävs att båda kontrahenter dels

inte betraktar varandra som fiender
har ungefär samma attityd till retorik (så att den bara blir ornament, eller
skämtsamhet, eller förtydligar men inte blockerar kanalen.)

Det är utmärkt om det sedermera genomräknade exemplet redovisas härstädes så vi andra kan få beundra arbetet.

Men debatten om den måste kanske inte tas här. Även om jag själv tycker sån här lite elak debatt är stimulerande. Men jag kan avstå det nöjet.

[IngOehman]

Om man med retorik menar det jag menar - nämligen försök att svindla åhörare genom att så falska uppfattningar i deras medvetanden, så betackar jag mig för beskyllningar om sådant.

Retorik är något av det värsta jag vet, och något jag är van vid att drabbas av bara från dem som inte har några sakargument att komma med, och från uslingar som tror att diskussioner går ut på att vinna, och inte på att reda ut sakförhållanden; så att alla kan nå koncensus om objektiviteter - och ta ställning subjektivt efter bästa förmåga. Det är alltid mitt mål.

Jag ägnar mig därför ALDRIG åt retorik! (Enligt ovanstående definition.)

Om man kallar allting (vad som helst) som någon kan säga för att få fram eller föra fram fakta i en diskussion, för retorik, är det ett språkbruk med väldigt dålig urskiljning.

Dina frågor skrevs och förtydligades dessutom i julhelgen/mellandagarna. Själv har jag max fått 20 minutersperioder framför datorn fram till i går och då misstänker jag att en mer socialt uppbunden snubbe som Svante (med fru och barn) med en mycket sämre internetuppkoppling kan ha haft mindre förutsättningar att svara på escalerande inlägg.

Jasså?

Såhär snabbt går det att svara på frågorna:

1. Du Svante, som varit med på några av LTS lyssningstester, har du NÅGON ENDA GÅNG stött på ett resultat som du vet inte ger en statistisk signifikans om >99%, men som ändå kommit i MoLt och påståtts ha en statistisk signifikans högre än 99%?

Ärligt svar från Svante: Nej.

2. Det vill säga: Finns det någon grund, i form av ett faktiskt fall (där det blivit fel) för dig att ifrågasätta om jag tagit mitt ansvar att upprätthålla en adekvat vetenskaplig hantering av mätdata?

Ärligt svar från Svante: Nej.

3. Eller handlar det bara om att just du inte tycker dig kunna bedöma signifikansen på plats, som jag har gjort?
(Utöver att jag förstås kontrollräknat i de fall det finnits minsta tveksamhet.)
(Denna sista kräver följdfrågor, som jag ställer strax...)

Ärligt svar från Svante: Ja.

4. Är det sant att du vid ett antal tillfällen kommit med (enligt dig "svårbedömda") exempel på fall till mig, där jag ombetts att uttala mig om den statistiska signifikansen - och att jag svarat dig ögonblickligen, med antingen ett exakt svar, eller med worst case-svar (">X%"), och att du inte kunnat påvisa något annat än att de undantagslöst varit korrekta?

Ärligt svar från Svante: Ja.

5. Är det också sant att du ännu inte har ett enda exempel på att du (efter att ha gått hem och räknat på det hela (och ägna uppgiften din fulla uppmärksamhet)) funnit att mitt ögonblickliga svar varit felaktigt?

Ärligt svar från Svante: Ja.

6. Kort sagt: Är det riktigt att jag - så vitt du känner till - ALDRIG har kommit med någon enda felaktig bedömning avseende statistisk signifikans?

Ärligt svar från Svante: Ja.

Alltså: Nej, nej, ja, ja, ja, ja.

Sammanlagt 14 bokstäver. Är det svårt och tidskrävande att plita ned dom?

En rimlig uppskattning är att Svante under samma tid skrivit snarare 100 gånger så många bokstäver under samma tid och i samma tråd här på faktiskt. Något han hade tid till uppenbart...


Hursomhelst: Han behöver inte svara alls nu när jag gjort det åt honom. Trist, för jag ville hellre att han skulle göra det - jag ville slippa vara den som berättade hur det varit, men:

1. Han ville inte berätta det helt självmant,

2. Han ville inte svara på några enkla icke ledande frågor jag ställde tidigt i tråden för att reda ut sakförhållandena (alltså de saker som ligger utanför hans välkända bedömningar) och,

3. Han ville inte ens svara på de EXTREMT LEDANDE FRÅGORNA jag till sist skrev - så klart formulerande att det bara var att säga JA eller NEJ. Påstående han hade att ta ställning till.

Jag gjorde vad jag kunde för att han skulle berätta själv, för jag tycker det är rätt att den som så gärna berättar om sina bedömningar - också själv berättar ärligt att de rr gjorda UTAN att det funnits någon faktisk grund.
(Med faktisk menar jag att det skall finnas fakta som stöder bedömningarna. Fakta är alltså motsatsen till gissningar och spekulationer. Bedömningar kan ju vara baserade på båda elementen, men i detta fall var de det inte.)


Vh, iö

[Kaffekoppen]

Seriöst.....

Inte ger det där inlägget sympatipoäng hur illa behandlad du än kände dig.

[IngOehman]

Sympatipoäng?

Jag är inte ute efter några sympatipoäng. Jag sysslar inte med retorik - sa jag ju!

Jag är lika ointresserad av att agera strategiskt för att få sympati som jag är av att agera strategiskt åt andra hållet.


Jag vill bara att alla skall ha möjlighet att göra en seriös bedömning av fakta bakom de beskyllningar om opålitlighet, som Svante fört fram. Har det verkligen inte framgått???

Det handlar om kompromisslöshet. Jag säger det som är sant, för sanningen är rätt - oavsett om det leder till att någon tycker illa om sanningssägaren.


Vh, iö

[Kaffekoppen]

Då kanske man skall invänta hans svar istället för att ha så bråttom att man anser att man svarar bäst själv. Det blir ju löjligt eftersom Svante sitter i en stuga på landet med familjen.

Retorik eller inte, men det är nog rätt retoriskt att själv svara på de frågor man ställer till andra. Men det är klart, du får de svar du vill ha, och de svar du förväntar dig att få.

Osagt hur Svante skulle svarat, så har du helt rätt nu. Det är meningslöst för honom att svara.

Du har ju lyckas rätt bra med att i din bitterhet försöka framhäva din syn på saken - att Svante inte svarar för att han har fel och du har rätt. Frågan är hur värdefullt det är för alla andra att få den informationen från just dig. De flesta inser väl redan att du känner så.

[Morello]

Istället för att skriva spaltmeer ed mitt tycke fullkomligt ovidkommande text om "krig" och "raserande" och allmänna känslor, tycker jag det vore konstruktivt att redogöra i detalj hur senaste testet gick till och sedan redovisa exakt hur konfidensnivån beräknades. Det är väl vad som är relevant?

t

[Kaffekoppen]

För Ingvar är det förtroendet för honom som är mer vässentligt än hur andra ställer sig till sakfrågan.

[Morello]

För Ingvar är det förtroendet för honom som är mer vässentligt än hur andra ställer sig till sakfrågan.

Vad har egentligen förtroende för Ingvar, Svante elelr någon annan med frågan att göra?

Ska vi reda ut statistik får vi nog lämna sådana saker och ta fram den kalla matematiken.

[dimitri]

Kaffekoppen,
Du verkar ha självpåtagit dig rollen som kommentatör, medlare, uttolkare. Du kanske gör det i någon sorts föreställning att din position inom LTS kräver att du påtar dig denna roll. Risken är påtaglig att dina insatser (i tråden) aktivt motarbetar din eventuella medlarroll.

[Haakan_W]

För Ingvar är det förtroendet för honom som är mer vässentligt än hur andra ställer sig till sakfrågan.

Vad har egentligen förtroende för Ingvar, Svante elelr någon annan med frågan att göra?

Ska vi reda ut statistik får vi nog lämna sådana saker och ta fram den kalla matematiken.

precis så svårt kan det ju inte vara att räkna lite

[Kaffekoppen]

Kaffekoppen,
Du verkar ha självpåtagit dig rollen som kommentatör, medlare, uttolkare. Du kanske gör det i någon sorts föreställning att din position inom LTS kräver att du påtar dig denna roll. Risken är påtaglig att dina insatser (i tråden) aktivt motarbetar din eventuella medlarroll.

Jag gör ingen som helst föreställning om någonting längre vad det gäller det här.

Jag har ingen position alls i LTS som förpliktigar och även jag kan nog få säga vad jag tycker och skita i konsekvenserna.

[IngOehman]

Statistiken behöver inte redas ut, eftersom den är självklar.

Det som behöver redas ut är hur faktabakgrunden (=det finns ingen, bara spekulationer) till de ogrundade beskyllningar som gjorts ser ut. Beskyllningar som antytt att de tester som gjorts under LTS mantel inte skulle vara pålitliga.

Kort sagt: De beskyllningar som varit fel måste rättas!

Att räkna signifikans på ett enstaka exempel är helt meningslöst. Vad skall det tjäna till? Det har redan funnits flera exempel på det i den här tråden, och jag har svarat på det, till ingen nytta.

Då kanske man skall invänta hans svar istället för att ha så bråttom att man anser att man svarar bäst själv. Det blir ju löjligt eftersom Svante sitter i en stuga på landet med familjen.

Om du vill låtsas att du tycker det så för du göra det.

Det du skriver är dumheter dock, i skenet av att han har skrivit många gånger de där 14 bokstäverna, under samma tid. Det vet du lika bra som jag.

Du vet också att jag ställde frågorna långt innan han åkte till landet.

Du vet att han dessutom under samma tid har slösat tid på att svara på frågor som han låtsats att de skulle vara sammanfattningar av saker jag frågat.

Och du vet att han kan svara på frågorna utan att offra någonting själv, annat än möjligen att han måste låta folk få veta förutsättningarna, och att det kan göra att de bedömer han bedömningar på ett nytt sätt. Hans svar behöver dock bara vara ett bekräftande av några saker som är fakta - och de kan hjälpa att reda upp eländet.

Retorik eller inte, men det är nog rätt retoriskt att själv svara på de frågor man ställer till andra. Men det är klart, du får de svar du vill ha, och de svar du förväntar dig att få.

Osagt hur Svante skulle svarat, så har du helt rätt nu. Det är meningslöst för honom att svara.

Du gör den bedömningen ser jag.

Du har ju lyckas rätt bra med att i din bitterhet försöka framhäva din syn på saken - att Svante inte svarar för att han har fel och du har rätt. Frågan är hur värdefullt det är för alla andra att få den informationen från just dig. De flesta inser väl redan att du känner så.

Jag tycker det är lämpligt att låta var och en (som känner behovet) själv bedöma / gissa om*, vad det beror på att Svante inte svarar, trots långvariga önskemål om att få svar från min sida.


Vh, iö

- - - - -

*Eller ännu hellre att han svarar, så ingen behöver gissa.

[DQ-20]

Vad har egentligen förtroende för Ingvar, Svante eller någon annan med frågan att göra?

Förtroendet för Ingvar har i princip allt med saken att göra eftersom han tycks välja vilka serier/resultat som skall vara med i realtid eller post hoc. Han ovilja att på förhand definiera hur data skall behandlas gör att i princip hela förfarandet står och faller med förtroendet för hans kapacitet att ta rätt beslut när det gäller att skilja slumputfall från verkliga effekter.

Ska vi reda ut statistik får vi nog lämna sådana saker och ta fram den kalla matematiken.

Utan att vara trivial så gäller inte den centrala frågeställningen hur man behandlar matematiken utan vilket utfallsrum man skall räkna på. En utomstående betraktare kan inte skilja IÖ:s anstängningar att öka känsligheten hos experimentet från att post hoc dra nytta av slumpmässiga variationer. Och där i ligger dilemmat.

/D

Edit: typos

[Haakan_W]

Då kanske man skall invänta hans svar istället för att ha så bråttom att man anser att man svarar bäst själv. Det blir ju löjligt eftersom Svante sitter i en stuga på landet med familjen.

Om du vill låtsas att du tycker det så för du göra det.

fast både du jag å alla andra har vid detta laget förstått att svante vill skriva nånting vettigt som kanske tar en stund att komponera, inte svammla runt som på övriga forumet...

jag tror säkert att han kommer svara precis som du svarade på dina frågor, men jag tror du har tagit åt dig lite för hårt av hans "kritik"

bättre vore det om det löses matematiskt och eftersom du har tid så är det väl bättre lägga upp ett test exempel med tillhörande matematiska uträkningar så får svante lägga sin beräkning på densamma....
å sen tillsammans utvärdera vilket som verkar vara rätt...jag tycker det är lite för mycket ömma tår och sårade känslor vilket jag är helt säker på att svante inte menade med denna tråden

[Martin]

En sak som jag insett är att informationen drunkar lätt i onödigt dravel som få orkar tillgodogöra sig. Jag håller med Morello.

[berma]

Jag tror att det bästa sättet för Öhman att svara på sina egna konstiga frågor till Svante vore att presentera några testprotokoll inklusive uträkningar. Då skulle alla kunna se vem som har rätt eller fel.

Nu kommer han inte att göra det! Om ni pressar honom kommer han att bli kokett och låtsat oförrättad och/eller oförskämd mot frågeställaren, möjligen också påpeka något semantiskt fel i frågan.

Orsaken är ungefär att matematiken är så enkel att ett barn kan klara det, men samtidigt så komplicerad att det inte går att förklara, detta beroende på metodiken som är så enkel att den inte behöver förklaras samtidigt som den skiljer sig från testobjekt till testobjekt och därför blir så komplicerad den inte går att förklara.

[Svante]

Vad har egentligen förtroende för Ingvar, Svante eller någon annan med frågan att göra?

Förtroendet för Ingvar har i princip allt med saken att göra eftersom han tycks välja vilka serier/resultat som skall vara med i realtid eller post hoc. Han ovilja att på förhand definiera hur data skall behandla gör att i princip att hela förfarandet står och faller med förtroende för hans kapacitet att ta rätt beslut när det gäller att skilja slumputfall från verkliga effekter.

Ska vi reda ut statistik får vi nog lämna sådana saker och ta fram den kalla matematiken.

Utan att vara trivial så gäller inte den centrala frågeställning hur man behandlar matematiken utan vilket utfallsrum man skall räkna på. En utomstående betraktare kan inte skilja IÖ:s anstängningar att öka känsligheten hos experimentet från att post hoc dra nytta av slumpmässiga variationer. Och där i ligger dilemmat.

/D

Tack Dahlqvist!

Det är precis detta som är min invändning, varför kan inte jag formulera mig så där solklart?

Den som inte har förstått det jag har skrivit rekommenderas att läsa Dahlqvists inlägg i stället.

[Svante]

Sammanlagt 14 bokstäver. Är det svårt och tidskrävande att plita ned dom?

Givet graden av retorik i frågorna, så krävs det betydligt fler bokstäver. Jag har en wordfil i magen på den här datorn som just nu innehåller 8236 tecken, exklusive mellanslag. Jag ska se om det är möjligt att korta ner den något till helgen, men som någon känd person sa, man ska göra saker så enkelt som möjligt, men inte enklare.

[Morello]

8236

Får så många tecken plats i din lilla dator?

[Kaffekoppen]

Sammanlagt 14 bokstäver. Är det svårt och tidskrävande att plita ned dom?

Givet graden av retorik i frågorna, så krävs det betydligt fler bokstäver. Jag har en wordfil i magen på den här datorn som just nu innehåller 8236 tecken, exklusive mellanslag. Jag ska se om det är möjligt att korta ner den något till helgen, men som någon känd person sa, man ska göra saker så enkelt som möjligt, men inte enklare.

Men det går att svara på frågorna också. Det är faktiskt inte så svårt. Det går att svara på min fråga med. Det är heller inte svårt.

[n3mmr]

Sammanlagt 14 bokstäver. Är det svårt och tidskrävande att plita ned dom?

Givet graden av retorik i frågorna, så krävs det betydligt fler bokstäver. Jag har en wordfil i magen på den här datorn som just nu innehåller 8236 tecken, exklusive mellanslag. Jag ska se om det är möjligt att korta ner den något till helgen, men som någon känd person sa, man ska göra saker så enkelt som möjligt, men inte enklare.

Men det går att svara på frågorna också. Det är faktiskt inte så svårt. Det går att svara på min fråga med. Det är heller inte svårt.

Jag gissar att Svante vill svara så fullständigt som möjligt.

Bara Ja eller Nej blir inte alltid korrekt svar.

Stressa nu inte farbror doktorn.

[IngOehman]

Jo. Frågorna jag ställt gäller ju bara att få svar på framställningar som ser ut ungefär såhär:

-Är det inte så att...?

Då är alltid antingen Ja eller Nej ett korrekt svar - antingen är det så som jag skrivit i framställningen - eller också är det inte det. Förtydliganden efteråt må vara hänt, men ja eller nej är korrekt, ehuru inte komplett.*


Sedan kan den som får sådana frågor förstås vilja utlägga sig i all oändlighet (i det här fallet troligen för att ännu en gång "försvara sin bedömning", men det har ingenting att göra med frågorna jag ställt, och det är ingenting som jag efterfrågat någonstans. Inte någonstans har jag gjort det.

Det enda jag vill är att få en kvittens på att de sex framställningar jag gjort stämmer - så lovar jag att vila mitt fall sedan (kan man säga så på svenska?).

Och en kvittens är inte gömd bakom en massa "men..." eller prat om annat. Jag vill ha tydliga ja- och nej-svar FÖRST. Sen får han förklara hur mycket han vill (jag lovar inte att läsa dem dock, för jag tror jag gjort det redan, tillräckligt många gånger).


Vh, iö

- - - - -

*Exempel:

Jag frågar dig: - Är du snäll och blond?

Du svarar: -Nej.

Sen kan du (om du vill) lägga till: -Bara det ena.
(Fast om jag känner dig rätt skulle du föredra att skriva: Varken eller! Då har du fel dock. )

[Kaffekoppen]

Antingen så förkastar man alla tidigare resultat, eller så anser man att de haft ett värde. Det finns faktiskt inte mycket mellanting där.

Därmed inte sagt att man kan ha synpunkter på att det hade varit än trevligare med mer dokumentation kring testerna, eller att man velat ha en 100 sidig metodikbeskrivning* där samtliga fall man hittills använt sig av fanns upptaget. Det är en helt annan sak än att påstå att resultaten i sig inte är tillräckligt väl underbyggda. Särskillt efter att ha deltagit i tre tester.

Jag är inte helt övertygad själv över hur pass mycket textmassa som är rimmligt att kräva att varje test medför, men om det finns någon som är beredd att göra sådan dokumentation så är det i mina ögon något att ta tillvara. Personligen är jag för spårbarhet och väldokumenterat arbete, inte minst för att det är kul att läsa år efter ett testtillfälle. Det är ju vi som skriver morgondagens historia i allt vi gör.

Men det centrala i testerna har varit att tillse att ett adekvat resultat som kan vara till nytta för medlemmarna presenteras. Inte att i extrem detalj redogöra för hur de framkommit (även om det finns väldokumenterat hur själva testningen är utformad rent generellt), utan man har givit testledaren rätt fria händer att anpassa testerna så att ett användbart och korrekt resultat erhållits.

Nu kommer funderingar över hur vi kan förbättra oss i vårt arbete. De funderingarna resulterade i att Svante försökte få fram förändringar i testprocessen som Ingvar motsatte sig. De hade helt enkelt skillda åsikter om förändringarnas värde och vilka effekter förändringarna kunde ha för resultatframtagandet. Svante gick ut med sina funderingar i den här tråden, lite som förtäckt frågeställning, eftersom han kände att han stångat huvudet blodig för att få gehör för sina tankar. I den här tråden har Ingvar försökt få svar på om Svante anser att alla tidigare resultat är ifrågasättsbara, eller om Svante hittills sett något resultat i de tester han medverkat som tyder på felaktiga slutsatser. Ingvar får inget svar på de frågorna.

Det är därför så enkelt som att Svante inte kan dölja sig bakom en textremsa på över 8000 ord. Det finns bara ett sätt att svara:

Antingen så är alla tidigare redovisade resultat så tveksamt framtagna att de är föremål för att starkt ifrågasätta, eller så har de inblandade faktiskt tagit fram resultat som är användbara, om än inte tillräckligt spårbara eller dokumenterade i Svantes ögon.

Det kan bara svaras JA eller NEJ på det!**







*Ett levande dokument som succesivt utökas till att innehålla oändligt många varianter av situationer. Det kan dock enklast göras så att en enkelt utgångsmetodik beskrivs och att man i varje testprotokoll redogör för eventuella avsteg och redogör för varför de görs.

** I det här läget behövs inte argumenteras för den ståndpunkt Svante har. Det behöver inte utvecklas. Det kan han göra senare. Att föra fram önskemål om förbättringar är ju en annan sak än att offentligt tala om att tidigare arbete är under all kritik. Det oävet om alla forskningsresultat eller resultat i undersökningar skall vara föremål för kritisk granskning och ifrågasättande - ty så är vetenskapen uppbyggd.

För att så här stark kritik skall kunna vara anses befogad måste man ju kunna säga JA eller NEJ på om man kan anse att tidigare resultat är tveksamma. Vill man sedan understryka det kan man ju komma med ett längre utlägg om det.


Kan tillägga att jag inte lägger en värdering i hur Svante svarar, jag utgår nämligen från att det han svarar är baserat på det han anser sig se. Om han har rätt eller fel är egalt. Det får man ta ställning till när han framlägger underlaget för sin tes.

[americantabloid]

Vad har egentligen förtroende för Ingvar, Svante eller någon annan med frågan att göra?

Förtroendet för Ingvar har i princip allt med saken att göra eftersom han tycks välja vilka serier/resultat som skall vara med i realtid eller post hoc. Han ovilja att på förhand definiera hur data skall behandla gör att i princip att hela förfarandet står och faller med förtroende för hans kapacitet att ta rätt beslut när det gäller att skilja slumputfall från verkliga effekter.

Ska vi reda ut statistik får vi nog lämna sådana saker och ta fram den kalla matematiken.

Utan att vara trivial så gäller inte den centrala frågeställning hur man behandlar matematiken utan vilket utfallsrum man skall räkna på. En utomstående betraktare kan inte skilja IÖ:s anstängningar att öka känsligheten hos experimentet från att post hoc dra nytta av slumpmässiga variationer. Och där i ligger dilemmat.

/D

Så uppfattad jag också det hela. Dock inte i början av tråden, utan det framkom först under den senare delen.

Med vänlig hälsning
at

[IngOehman]

at & dq: Ni har i det stora hela rätt - Morello har fel.


Kaffekoppen: Det var det bästa du skrivit på länge. Jag tappade nästan hoppet igår. Den enda betydelsefulla invändning jag har mot din historiebeskrivning är att Svante skulle ha stångat sig blodig. Han kom med synpunkter - jag kommenterade dem och pekade då även på felen i hans resonemang, och motiverade varför jag gjort på annat sätt. Jag fick ingen respons på det. Var det någon som stångade sig blodig i ett försök att få en dialog, så var det jag.

Eller förresten, du kanske bara skrev att han upplevde sig ha stångat sig blodig? (Hmmm, minns inte vad du skrev...) Isåfall kan jag hur som helst förstås inte invända mot det.

Vad har egentligen förtroende för Ingvar, Svante eller någon annan med frågan att göra?

Förtroendet för Ingvar har i princip allt med saken att göra eftersom han tycks välja vilka serier/resultat som skall vara med i realtid eller post hoc. Han ovilja att på förhand definiera hur data skall behandla gör att i princip att hela förfarandet står och faller med förtroende för hans kapacitet att ta rätt beslut när det gäller att skilja slumputfall från verkliga effekter.

Du har helt rätt i att förtroendet (för LTS, "via" mig) har med allt i den här tråden att göra. Vet inte vad du menar med "vilka serier som skall vara med", dock.

Oviljan från min sida att i förväg begränsa testen till att bara låta en person svara, och att därtill bara tillåta 99,7% signifikans tillsammans med att det inte skall kunna specificeras resultat för deltest i tidningen (m fl begränsningar), har dessutom en orsak, nämligen att jag inte vill stympa informationen innan man inhämtat den. Men det vet du säkert.

Måste dock korrigera en sak - hur data skall behandlas bestäms inte i efterhand. Det bestäms i förväg, av statistikens lagar.

Ska vi reda ut statistik får vi nog lämna sådana saker och ta fram den kalla matematiken.

Utan att vara trivial så gäller inte den centrala frågeställning hur man behandlar matematiken utan vilket utfallsrum man skall räkna på.

En utomstående betraktare kan inte skilja IÖ:s anstängningar att öka känsligheten hos experimentet från att post hoc dra nytta av slumpmässiga variationer. Och där i ligger dilemmat.

Tror faktiskt att du har rätt igen...

Fast ett dilemma är det bara om man tycker att just den specifika osäkerheten (=kan man lite på att jag är båda kunnig och ärlig?) av många andra, är viktigare än allt det andra som är lika osäkert avseende testförfarandet...

Vad hindrar till exempel att någon skriver en test som ser väldigt överblickbart ut, men vars resultat som är fabulerade lögner från början till slut!? Är det bättre att sådant tryckt i MoLt?

Den enda skillnaden är ju att den senare kommer att vara en lögn, en som en utomstående betraktare dock tycker sig kunna följa och hålla med om resultatet för...

I båda fallen är man som läsare av testen utelämnad till det förtroendet man har för den som har i ansvar att göra testen vetenskapligt invändingsfri.

Kort sagt: Oavsett vilken lösning man väljer behöver man faktiskt ha förtroende för att den som ansvarar för att allt blir rätt, klarar av det!


Jag har valt lösningar för testförfarandet som gör att detektionströsklarna bli så låga som möjligt, och att testförfarandet går snabbt och inte minst att det blir rimligt trevligt för de inblandade. Jag har provat hundratals annorlunda metoder (ALLA de som föreslagits i den här tråden), som inte ens är en bråkdel så kraftfulla som den "fria metod" jag använt under de år jag varit ansvar för testandet*.


Vh, iö

- - - --

*Kan tillägga att jag ett flertal gånger genom åren även "testat metoden" genom att försöka få fram skillnader mellan apparat A och apparat A. Hittills, med de lyssnare jag brukar använda, har resultatet varit detsamma nästan varje gång: Det har inte ens gått att räkna ut den statistiska signifikansen - för ingen vill svara! De inbillar sig ens att de hör några skillnader. Det finns ju inget stressmoment överhuvudtaget inblandat, så tycker man inte att man hör några skillnader så behöver man inte svara.

Då brukar jag dock be folk att svara fast de inte är säkra på att de hör skillnader, och då blir det förstås slumpresultat.

(Med verkliga apparater på testbänken kan liknande situation också uppstå, men då har det faktiskt hänt att väldigt entydiga serier (>99,9% SS) uppstått, trots att den som svarat menar att det gränsar till att varje svar varit avgivet med stor osäkerhet. )

[Kaffekoppen]

Utan att vara trivial så gäller inte den centrala frågeställning hur man behandlar matematiken utan vilket utfallsrum man skall räkna på. En utomstående betraktare kan inte skilja IÖ:s anstängningar att öka känsligheten hos experimentet från att post hoc dra nytta av slumpmässiga variationer. Och där i ligger dilemmat. /D

Lite tillhöftat kanske, men just däri ligger det centrala att det handlar om förtroende.

Alltså, kan det finnas fog att misstänka att Ingvar dragit nytta av slumpmässiga variationer, medvetet eller omedvetet.

Kan Svante, på sina tre tillfällen som testdeltagare sett sådan information som gör att det finns fog att misstänka att:

a) Det blev felaktiga resultat i något av de testerna

b) Det var så bristfälligt genomförda tester att man kan ifrågasätta alla tidigare resultat.


Jag hoppas inte det, eftersom om jag förstått det rätt, så avslutas varje testtillfälle med att deltagarna gemensamt bestämmer sig för om resultatet är korrekt. Då undrar jag hur de tre testtillfällerna som Svante deltagit i ens kunnat presentera ett resultat.

Märk väl att frågan inte gäller om det är 98% eller 99,34% fastställt, utan om det presenterade resultatet är tillräckligt starkt för att en slutsats skall kunna presenteras offentligt. Att LTS intern bestämt sig för att de vill ha 99% innan resultat redovisas öppet är en annan fråga, även om den kan vara här Svante finner en del brister. Vi kanske når 98% och då är det ju fel att säga att vi hade 99% - men resultatet - rekommendationen kanske likväl var väl underbyggd.

Edit: vansinniga meningsformuleringar.

[IngOehman]

Bra ställda frågor!

Dina är nästan lika bra (TROTS att de frågar om en bedömning) som mina, så...

Om Svante svarar nej på dem båda, kan vi lägga ned den delen av diskussionen. Det vore skönt.
Så man kan börja njuta av att inte ha ansvaret för de där LTS-testerna längre.


Vh, iö

[Style]

Vad har egentligen förtroende för Ingvar, Svante eller någon annan med frågan att göra?

Förtroendet för Ingvar har i princip allt med saken att göra eftersom han tycks välja vilka serier/resultat som skall vara med i realtid eller post hoc. Han ovilja att på förhand definiera hur data skall behandlas gör att i princip hela förfarandet står och faller med förtroendet för hans kapacitet att ta rätt beslut när det gäller att skilja slumputfall från verkliga effekter.

Ska vi reda ut statistik får vi nog lämna sådana saker och ta fram den kalla matematiken.

Utan att vara trivial så gäller inte den centrala frågeställningen hur man behandlar matematiken utan vilket utfallsrum man skall räkna på. En utomstående betraktare kan inte skilja IÖ:s anstängningar att öka känsligheten hos experimentet från att post hoc dra nytta av slumpmässiga variationer. Och där i ligger dilemmat.

/D

Edit: typos

D gör här en mycket bra sammanfattning.

Även om samtliga tester som gjorts hittills har varit 100% korrekta och uppsåtet 100% ärligt /vilket jag inte har anledning att betvivla) så är metoden olämplig.

En metod som bygger på att testledaren ska göra precis rätt och som samtidigt är komplicerad och dessutom inte dokumenterad faller på sin egen orimlighet. Vem som helst med lite erfarenhet av testmetodik inser detta.

[Kaffekoppen]

En metod som bygger på att testledaren ska göra precis rätt och som samtidigt är komplicerad och dessutom inte dokumenterad faller på sin egen orimlighet. Vem som helst med lite erfarenhet av testmetodik inser detta.

Utan att vara trivial vill jag att du redogör för hur mycket insyn du har i det du påstår här. Jag tror nämligen varken Svante eller Ingvar håller med dig.

Det skulle vara kul om tråden inte rann iväg innan Svante svarar, eftersom det känns som det mest angelägna nu.

Tack på förhand

[Style]

En metod som bygger på att testledaren ska göra precis rätt och som samtidigt är komplicerad och dessutom inte dokumenterad faller på sin egen orimlighet. Vem som helst med lite erfarenhet av testmetodik inser detta.

Utan att vara trivial vill jag att du redogör för hur mycket insyn du har i det du påstår här. Jag tror nämligen varken Svante eller Ingvar håller med dig.

Det skulle vara kul om tråden inte rann iväg innan Svante svarar, eftersom det känns som det mest angelägna nu.

Tack på förhand

Jag grundar det på att de inblandade verkar hålla med om Dahlquists sammanfattnig, samt att det framkommit att metoden är odokumenterad tidigare.

Men visst, så länge metoden är odokumenterad borde jag egentligen inte uttala mig alls. Förutom då om det olämpliga i att metoden är just odokumenterad. Det är dock en viktig invändning.

[IngOehman]

En metod som bygger på att testledaren ska göra precis rätt och som samtidigt är komplicerad och dessutom inte dokumenterad faller på sin egen orimlighet. Vem som helst med lite erfarenhet av testmetodik inser detta.

Utan att vara trivial vill jag att du redogör för hur mycket insyn du har i det du påstår här. Jag tror nämligen varken Svante eller Ingvar håller med dig.

Jag kan bekräfta att Dalquist har rätt, och att jag inte håller med Style!

Dalqvist har rätt, och därmed finns det inget FAKTISKT problem, bara ett som drabbar folk som inte har förtroende. Det problemet finns å andra sidan ALLTID, så länge inte man deltar i varenda lyssning själv...

Kan tillägga att det inte finns något svårt med att F/E-lyssna en apparat. Det är en mycket säker och pålitlig process. Det enda man behöver säkerställa för att kunna garantera vetenskaplighet är ju att lyssningen sker blint och att resultatet nogsamt analyseras. Resten är mjuka variabler, som i sig inte påverkar vetenskapligheten, men som i högsta grad påverkar hur bra detektionsgräns som kan nås ned till. Att optimera denna komponent är faktist en VERKLIG svårighet, som jag dock efter snart 30 år* tycker att jag har ganska bra koll på.


Vh, iö

- - - - -

*Startade institutionen Audio Purus och drog därmed igång forskningen på hörseln 1977. Första året ägnades dock mest åt att sätta upp premisserna och att skapa den hårdvara som skulle behövas.

[Style]

bra då det är det bekräftat

Mina invändningar står jag då för till 100%

En metod som bygger på carte-blanche-förtroende för testledaren känns inte direkt robust för att uttrycka sig milt.

[Kaffekoppen]

Det är ju inte så att metoden är odukumenterad, det är inte så att testgenomförandet görs utan protokoll, det är ju inte så att resultaten redovisas utan kommentarer.

I själva verket dokumenteras processen och man skulle kunna säga att det är graden av dokumentering och små justeringar i testgenomförande som skilljer dem åt. Dessa justeringar anser Ingvar visserliggen ökar spårbarheten, men sänker detektionssäkerheten och förlänger testprocessen i onödan - eftersom det viktiga är det resultat som redovisas - inte exakt hur det framkommit. Svante anser att man med tillräckliga resurser (kan bli oerhörda summor) alltid skall kunna återskapa testet så som det utfördes. Det tillhör den akademiska vetenskapsteorin där det är centralt att kritiskt kunna granska alla framtagna resultat. Med Ingvars begränsas tolkningen av de framkomna resultaten i mångt och mycket av det förtroendet man har till LTS och till testets deltagare och testledaren. Med Svantes metod kan dokumentationen bli en oerhörd textmängd, faktiskt så stor att det kanske bara mäktas med ett eller några test om året, vilket kanske är mindre än medlemmarna önskar. Det är lite att välja mellan pest eller kolera.

De har alltså lite olika filosofi till uppgiften. Båda folisofierna är lika viktiga. De behövs båda två. Jag hoppas att man kan jämka dem till att samarbeta och få fram något som var och en kanske inte anser är optimalt, men som är optimalt för LTS.

Ibland måste man vara stor nog att mötas på halva vägen. Särskillt om man kan se skogen trots att alla träd är i vägen.

Varken Ingvar eller Svante är prestigelåste personer varvid tvisten i sig handlar om principer och målsättningar. De borde kunna komma till punkt med detta. En förutsättning är nog att Ingvar får svar på de två sista frågorna jag ställde, att han får bekräftat att Svante har förtroende för att de tester han deltagit i kommit till korrekt slutsats, även om de kan vara oense om den exakta stringensen.

Nu skall jag sluta tolka och babbla som Paa redan påpekat. Nu låter vi Svante ha sin torpvistelse ifred och inväntar hans kommentarer.

[IngOehman]

bra då det är det bekräftat

Mina invändningar står jag då för till 100%

En metod som bygger på carte-blanche-förtroende för testledaren känns inte direkt robust för att uttrycka sig milt.

Visst sirru, och du får gärna referera till något fall där det förhåller sig på något annat sätt.

Jag har läst säkert tusen forskningsrapporter, och jag har aldrig sett någon där inte rapporteringen kan vara förfalskad eller på annat sätt opålitlig, det vill säga där man behöver ha förtroende för den som författat den. Man behöver alltid utgå ifrån ett förtroende för den man läser.


Det som rapporteras i MoLt är resultatet av våra ansträngningar att i F/E-lyssning (en metod som i sig är väldigt väl redovisad) detektera några färgningar från den apparat som genomflutits av de musiksignaler vi använt. Det finns inga mysterier eller hemligheter, men stor flexibilitet i testförfarandet.

Den som misstror det vi rapporterat kan vi inte hjälpa, men personen kan ju - om intresse finns - själv göra en F/E-lyssning, och se om han eller hon kan bekräfta resultaten vi rapporterat. Så är det inom all forskning! Den som misstror kan undersöka själv.


Själv utgår jag nästan alltid ifrån att det som rapporteras från olika studier är sanningsenligt, och jag måste ärligt säga att jag har aldrig uppfattat just detta som ett problem.

Större problem med "på grund av metodiken usla detektionströsklar", är däremot MYCKET vanliga. Sådana rapporteringar blir i praktiken helt värdelösa. Lika vanligt, eller vanligare, är alla studier som begränsar informationsextraktionen genom illa formulerade frågor och/eller i förväg bestämda men icke entydiga svarsalternativ. Rapporteringen från sådana studier blir "enligt akademisk praxis", men mer eller mindre utan värde, "icke sorterbara", och därför (faktiskt) ovetenskapliga!

Jag har därför försökt undvika att ägna mig åt sådana meningslösa studier. Det skall vara meningsfullt, annars kan det kvitta!


Vh, iö

[Morello]

bra då det är det bekräftat

Mina invändningar står jag då för till 100%

En metod som bygger på carte-blanche-förtroende för testledaren känns inte direkt robust för att uttrycka sig milt.

Visst sirru, och du får gärna referera till något fall där det förhåller sig på något annat sätt.

Jag har läst säkert tusen forskningsrapporter, och jag har aldrig sett någon där inte rapporteringen kan vara förfalskad eller på annat sätt opålitlig, det vill säga där man behöver ha förtroende för den som författat den. Man behöver alltid utgå ifrån ett förtroende för den man läser.


Vh, iö

Skillnaden ligger i uppsåtet. Jämförelsen är inte relevant, men något retoriskt.

[IngOehman]

Jag tror att det bästa sättet för Öhman att svara på sina egna konstiga frågor till Svante vore att presentera några testprotokoll inklusive uträkningar. Då skulle alla kunna se vem som har rätt eller fel.

Nu kommer han inte att göra det! Om ni pressar honom kommer han att bli kokett och låtsat oförrättad och/eller oförskämd mot frågeställaren, möjligen också påpeka något semantiskt fel i frågan.

Orsaken är ungefär att matematiken är så enkel att ett barn kan klara det, men samtidigt så komplicerad att det inte går att förklara, detta beroende på metodiken som är så enkel att den inte behöver förklaras samtidigt som den skiljer sig från testobjekt till testobjekt och därför blir så komplicerad den inte går att förklara.

Hi, hi... Du har verkligen inte fattat någonting. Kul.


Vh, iö

[Haakan_W]

kan inte nån förklara exakt vad som är problemet....det verkar saknas en jävla massa information på forumet

[IngOehman]

bra då det är det bekräftat

Mina invändningar står jag då för till 100%

En metod som bygger på carte-blanche-förtroende för testledaren känns inte direkt robust för att uttrycka sig milt.

Visst sirru, och du får gärna referera till något fall där det förhåller sig på något annat sätt.

Jag har läst säkert tusen forskningsrapporter, och jag har aldrig sett någon där inte rapporteringen kan vara förfalskad eller på annat sätt opålitlig, det vill säga där man behöver ha förtroende för den som författat den. Man behöver alltid utgå ifrån ett förtroende för den man läser.


Vh, iö

Skillnaden ligger i uppsåtet.

Det finns mig veterligt ingen skillnad alls i uppsåtet. Jag utgår ifrån att det är gott i samtliga fall, och mig veterligt har heller ingen antytt något ont uppsåt. Det gör jämförelsen helt relevant.

Jämförelsen är inte relevant, men något retoriskt.

Dina inlägg tycks bli allt meninglösare och liknar trolleri mer och mer för var månad som går. När ämnen är roliga vill du säga något torrt och irrelevant, när en pågående diskussion är på allvar vill du tramsa.

Vad vill du uppnå med dem egentligen?


Vh, iö

[Morello]

Nej, ingen har anklagat LTS för ont uppsåt och det är jag glad över.

Du talade om "rapporteringen kan vara förfalskad" och där finns ett uppsåt. Det var vad jag syftade till.


Ditt andras stycke är så olustigt att jag häpnar. Jag tänker inte kommentera det vidare och hoppas att du själv tar bort det.

[IngOehman]

Nej, ingen har anklagat LTS för ont uppsåt och det är jag glad över.

Du talade om "rapporteringen kan vara förfalskad" och där finns ett uppsåt. Det var vad jag syftade till.

Läs det jag skrev i sin helhet.

Vad jag skrev var ju att det ALDRIG finns skäl att tro att så är fallet, utan att det finns något argument för det. Men att faktum kvarstår - man är hänvisad till det förtroende man har för skribenten, för ingen kan ju förneka att det KAN var osant. Eller hur?

Inser du vad som menas med det jag skriver? Det är applicerbart på samtliga fall, alltså de vi diskuterar. Därför är "jämförelsen" relevant. Egentligen finns ingen "jämförelse" i det jag skrivit. Jag talar ju om en generellt förhållande (att man alltid är utelämnad till sitt förtroende för den som skivit det man läser). Jag jämför inte olika fall med varandra.

Ditt andras stycke är så olustigt att jag häpnar. Jag tänker inte kommentera det vidare och hoppas att du själv tar bort det.

Det gör jag med glädje om du ger upp dina trista och ständigt återkommande beskyllningar om retorik. Det om något är retorik!

[Maarten]

kan inte nån förklara exakt vad som är problemet....det verkar saknas en jävla massa information på forumet

Vet inte men jag tolkar det på följande vis, se längre ner:
IÖ ställde bla 6 frågor, av vilka några refererar till tidigare diskussion mellan Svante och Ingvar (se några sidor tillbaka. Jag tycker mig ha läst att Svante skulle kunna svara 'Nej' på fråga ett, samt 'Ja' på fråga tre av IÖ. I varje fall när jag tolkar följande citerade svar nedan av Svante, där jag dessutom har fetstilat vad jag uppfattar som kärnan i hans resonemang. Det återstår förstås att se när/om Svante svarar.
Jag uppfattar dock att endast fråga 3 och dess svar speglar Svante's kritik; att han inte kan bedöma signifikansen, vilket ihop med kritik mot en icke öppen redovisning utgör imho sakfrågan i tråden. De andra frågorna; 1,3-6, är till viss del relevanta för att kunna bedöma grunden till kritiken, men jag uppfattar dem inte som primära sakfrågor.

Svante sid 10:

Jag svarar ändå på den fråga som stod här förut, även om det blir svårare att komma ihåg den exakta lydelsen. Det var ungefär: "Kan jag säga ett enda tillfälle som LTS har rapporterat detektion med 99% konfidens fast det inte har varit det".

Svaret på det är nej, det har jag inte på de tre sessioner jag har deltagit.

Däremot har jag varit med om tre sessioner där jag inte skulle vilja ta på mig att räkna ut hur stor signifikansen egentligen var. Det är troligt att den har varit över 99% på de tre tester jag har deltagit i och det är möjligt att den har varit det i alla tester som har gjorts under de x år som du har hållit i testerna.
.................................

samt från sid 9:
Kritiken gäller alltså att testförfarandet inte är transparent. Det går inte för en utomstående bedömmare att avgöra om den statistiska behandlingen är riktig....

Men, och det är också viktigt, det betyder inte att den statistiska behandlingen och slutsatserna i LTS tester historiskt har varit felaktiga. Är det så att vi litar på testledarens förmåga att bedömma konfidensen, så är testerna ok.

Kärnfrågan här är väl om ''man' har förtroende för Ingvars förmåga att behandla statistiken korrekt. Det är en bedömning som varje person gör efter sin förmåga och sina kriterier.
En följdfråga avseende denna bedömning är om det är lämpligt att redovisa en svarstabell + beskrivning av varje praktiskt test, för att statistiken skall kunna bedömas i efterhand och av flera individer? Detta för att på så vis lättare kunna göra egen bedömning och eventuellt uppfylla kriteriet av transparent databehandling?

Efter vad jag har förstått av Ingvars svar i tråden, ser han det varken som meningsfullt, relevant eller praktiskt möjligt att få en sådan redovisning sanningsenlig. Detta då den fria formen är utprovad under lång tid och att alla överväganden skulle kräva en lång avhandling (min tolkning) och lätt kan missförstås.
Något sånär korrekt uppfattat?

I avsaknad av detaljredovisning av test får man helt enkelt göra sin tillitsbedömning på mer sekundära grunder såsom generella redovisningar, Ingvars och Svantes svar på frågor i denna tråd och räkning på fiktiva exempel.
Det är generellt en svår gränsdragning att lämna ut 'lagom' med information för utomstående bedömning av läsare, för att dessa skall kunna dra egna slutsatser. Är det inte betydelsen av detta avvägande som meningsskiljaktigheterna handlar om?

[IngOehman]

Klockrent!

Du Mårten, är på gränsen till genialisk i diciplinen att förstå och sammanfatta!


Du borde användas mer, och till viktigare saker - typ så det blir fred på jorden.


Vh, iö

[Morello]

Ingvar,

Style talade från början om att han tyckte det var olämpligt med tester där man är utelämnad till sitt förtroende för testledaren (eller motsv.) och de misstag, kunskapsbrister och liknande. Sådana bidrag till felaktiga slutsater är inte uppsåtliga. Jag vill minnas att han även påpekade att han hade förtroende för LTS och dess tester.

Sedermera talade du om förflaskningar och dylikt, vilket är sådant man gör uppsåtligen, varför jag uppfattade stycket som irrelevant.


Att anklaga någon för retorik är lika orimligt som att anklaga någon för fysik. Var jag retorisk nu?

[Kaffekoppen]

Det är generellt en svår gränsdragning att lämna ut 'lagom' med information för utomstående bedömning av läsare, för att dessa skall kunna dra egna slutsatser. Är det inte betydelsen av detta avvägande som meningsskiljaktigheterna handlar om?

Det är en del av det, men det ger ingen fullständig bild.

Problemet är att Svante även ser en möjlighet att det uppstår omedvetna fel, alltså att fel utan uppsåt kan inträffa, och det anser Svante sig ha fog att påpeka. Ingvar anser att risken inte föreligger, utan ser det framläggandet som personlig kritik mot såväl sig själv som testledare och tidigare redovisade resultat. En så stark kritik att han då ansåg sig nödgad att avgå.

Jag gör en annan bedömning av Svantes framläggande och det är att det är en vilja att förbättra ett väldigt bra verktyg som Ingvar till stor del utvecklat (och skall ha en stor eloge för). Det är ju löjeväckande att tro att metoden/genomförandet aldrig kan bli bättre.

Det är ju rätt intressant att deltagarna i testet kan träta om signifikansen, bara det är ett bevis för att det finns utvecklingspotential.

Om man gör förändringar, i dokumentering, genomförande och att deltagarna känner sig fullkommligt hemma i de resultat som redovisas, är det i sig ingen kritik mot hur det varit tidigare. Det är en förbättring.

En verksamhet kan i förlängningen inte bygga på att en enskilld individ, en eldsjäl, håller verksamheten vid liv.

[Svante]

Jahaja, det är tydligt att man måste ha bandbredd för att delta på faktiskt... Fasen vad mycket svårare det är att hänga med i svängarna via WAP och långsamt modem. Speciellt när man vill vara lite noga med sina svar. Att svara på nedanstående, retoriska frågor med enbart ja eller nej är liksom inte möjligt. Det kommer att bli en hel mängd reservationer...

Tanken med det här inlägget är att sammanfatta de funderingar som jag har haft den senaste veckan om sakfrågorna kring den statistiska behandlingen som utförs vid LTS F/E-lyssningar och att svara på Ingvars vid det här laget berömda röda frågor.

1. Du Svante, som varit med på några av LTS lyssningstester, har du NÅGON ENDA GÅNG stött på ett resultat som du vet inte ger en statistisk signifikans om >99%, men som ändå kommit i MoLt och påståtts ha en statistisk signifikans högre än 99%?

Nej. Detta måste dock ses i ljuset av att frånvaro av fynd inte betyder att fyndet inte finns att göra. Tre saker försvårar undersökning av frågan. Det första är att jag endast har närvarat vid tre testkvällar, det andra att eftersom metoden inte finns beskriven så är den svår att validera, den tredje är att rådata inte är sparade så det finns inget att kontrollräkna på.

2. Det vill säga: Finns det någon grund, i form av ett faktiskt fall (där det blivit fel) för dig att ifrågasätta om jag tagit mitt ansvar att upprätthålla en adekvat vetenskaplig hantering av mätdata?

Ja, samtliga fall jag har sett. Det är praxis i vetenskapliga sammanhang att spara rådata, i många fall i tiotals år, och definitivt till dess att slutsatserna är publicerade. Det har mig veterligen inte skett. Vid samtidigt avgivna svar har mig veterligen ingen notering om detta förts till protokollet, vare sig om att de har avgivits samtidigt, eller i vilken ordning. Vidare är det vetenskaplig praxis att behandla statistiska data med tidigare väl beskrivna metoder och tala om vilken man har använt, alternativt att använda en icke dokumenterad metod som man själv beskriver. Den referensen eller beskrivningen har jag heller inte sett. Det är förstås möjligt att det står en pärm med rådata och/eller metodbeskrivning någonstans som motbevisar det jag säger, men jag tror inte det.

3. Eller handlar det bara om att just du inte tycker dig kunna bedöma signifikansen på plats, som jag har gjort? (Utöver att jag förstås kontrollräknat i de fall det finnits minsta tveksamhet.)
(Denna sista kräver följdfrågor, som jag ställer strax...)

Ja. Eller nej. Alltså jag kan inte svara för alla andra, men det beror på att jag inte kan bedömma signifikansen, vare sig på plats eller långt senare. Metoden Ingvar använder är extremt svår att beräkna en exakt konfidens med, den innehåller många faktorer vars storlek måste bedömmas eller gissas fram. Pga detta och att han inte kan dokumentera hur han gör förstår jag inte hur han räknar. Frågan är dock retorisk i den meningen att den flyttar fokus från att Ingvar inte har lyckats beskriva sin metod till att det kanske är jag som är så dum att jag inte förstår hur han räknar.

4. Är det sant att du vid ett antal tillfällen kommit med (enligt dig "svårbedömda") exempel på fall till mig, där jag ombetts att uttala mig om den statistiska signifikansen - och att jag svarat dig ögonblickligen, med antingen ett exakt svar, eller med worst case-svar (">X%")?

Nja. Jo, det är det. Betyder det att ditt svar har varit rätt? Jag har annars för vana att börja mina förklaringar med enkla exempel (dvs alla har inte varit svåra) för att förtydliga en ståndpunkt, men du verkar inte tänka som vanligt folk gör, så det har funkat ganska dåligt.

5. Är det också sant att du ännu inte har ett enda exempel på att du (efter att ha gått hem och räknat på det hela (och ägna uppgiften din fulla uppmärksamhet)) funnit att mitt ögonblickliga svar varit felaktigt?

Ja. Jag har inte räknat så på exemplen som jag har givit. Jag har gjort simuleringar som resulterade i mitt förslag till avbrottsvillkor, är det dem du menar? Men återigen, frånvaro av exempel kan bero på många saker.

6. Kort sagt: Är det riktigt att jag - så vitt du känner till - ALDRIG har kommit med någon enda felaktig bedömning avseende statistisk signifikans?

Ja. Men frånvaro av bevis betyder inte att din metod är bra. Frånvaro av begriplighet/öppenhet betyder däremot att metoden är dålig. Mer om detta nedan.

Sen har jag hittat på några frågor till som kanske någon har:

Kan man lita på de tester som utförts hittills i LTS regi?
Trots det ovanstående är min bedömning att man kan det. Jag kan säga det eftersom jag tror att Ingvar drivs av en uppriktig vilja att undersöka hur apparaterna presterar. Däremot tycker jag att det är tråkigt att man måste lita på min, Ingvars eller någon annans bedömning av det. Det vore bättre om jag kunde lägga fram fakta så att den som begriper statistik själv kan undersöka om data har behandlats vettigt.

Tror jag att Ingvar kan beräkna konfidensen i testerna, så som de har utförts hittills?
Nej. Jag tror däremot att han kan däremot uppskatta konfidensen med någon viss säkerhet. Genom att ”ta höjd”, dvs utsätta lyssnarna för fler lyssningar än nödvändigt, så kan han göra det troligt att konfidensen ändå är större än 99%.

Vilken är då min kritik?
Min kritik är framför allt att den statistiska metoden inte finns dokumenterad. Det gör den svårvaliderad. Resultaten i testerna står och faller med tilliten till Ingvars förmåga att bedömma svarssekvenserna. I denna kritik ligger också att flera personer tillåts svara samtidigt, med kännedom om varandras svar. Ingvar menar att han kan väga in samtidiga svar i den statstiska behandlingen, något som för mig förefaller svårt utan att göra antaganden om hur stark korrelationen är mellan de samtidigt avgivna svaren eller kräva onödigt många lyssningar.
Det må vara så att det inte vid ett enda tillfälle har påståtts att konfidensen har varit högre än den verkligen är. Oavsett hur det är med det är det dålig försöksdesign om man inte kan redovisa hur beräkningen av konfidensen går till. Det är dåligt av flera anledningar.

1. Eftersom det inte går att tala om hur beräkningarna utförs så går det inte att säga hur stor konfidensen egentligen är. I strikt mening blir det svårt att garantera att den är över 99%. Det man kan göra är att ”ta höjd” så att det blir troligt att man har kanske 99,8% konfidens, så att man är nästan säker på att man har 99% konfidens. Det här blir någon sorts konfidensintervall på konfidensen. Om man kan sätta siffror på de bedömningar man gör under analysens gång kan man möjligen räkna ut hur stor den slutliga konfidensen blir, men det blir bökigt. Ingvar kanske kan göra det i huvudet, själv kan jag inte ens göra det på papper.
2. Att behöva ”ta höjd” medför med nödvändighet att man behöver utsätta lyssnarna för fler lyssningar än vad som egentligen behövs, de blir alltså mer uttröttade än om man vet exakt när 99% konfidens har uppnåtts och kan bryta då.
3. Trovärdigheten. Att inte kunna redovisa hur man har gjort gör att metoden kan ifrågasättas utan att den går att försvara med sakargument.
4. Till sist, och detta är nog det allvarligaste: Eftersom metoden är så komplicerad att den är omöjlig att skriva ner på papper så blir det mycket svårt att byta testledare. Det blir också mycket svårt för någon annan att ta över eller duplicera/anamma LTS testmetodik. Testerna är alltså knutna till Ingvar, vilket knappast kan vara en fördel för LTS, vilket är högaktuellt just nu när han väljer att lämna LTS tekniksektion. Gör man något bra, så ska man underlätta för andra att göra samma sak om man vill att det som är bra ska leda till en positiv utveckling.

Hur vill jag att testdesignen ska förändras?
Jag vill att man i förväg bestämmer vilka avbrottsvillkor som ska gälla. Hur detta kan gå till finns beskrivet i min statistikartikel i MoLT 1/2006. Det som inte finns beskrivet där är hur man hanterar flera samtidigt närvarande lyssnare. Vid samtidigt avgivna svar måste alla utom det första bortses ifrån, eller så avges de i konsensus. Alternativet är att man ser avgivna svarsserier som individuella, och då måste man höja konfidenskraven eftersom det då rör sig om upprepade tester (lika många som antalet försökspersoner). Hursomhelst måste multipla, möjligen korrelerade svar hanteras på ett dokumenterat sätt och det dokumentet måste finnas innan försöket startar. Det finns också en del tekniska lösningar för avgivande av flera samtidiga svar som jag hade velat testa, det är möjligt att de inte ger något, men det är också möjligt att de nästanlöser problematiken med korrelation mellan samtidigt avgivna svar. Jag ska också villigt erkänna att jag inte har en färdig lösning på hur testerna bör gå till, framförallt map hanteringen av samtidiga lyssnare. Där behöver man experimentera för att hitta en lösning som är acceptabel både för lyssnarna och ur databehandlingssynpunkt. Till sist skulle jag också vilja att testerna vore dubbelblinda, inte enkelblinda som nu.
Allt behöver inte lösas på en gång, det vore dumt att göra avbrott i testandet för detta, men på lite sikt menar jag att en förändring är önskvärd.

En personlig reflexion:
När jag påbörjade den här diskussionen för något år sedan var mina synpunkter närmast reflexmässiga att ”så här gör man inte”. Med min akademiska skolning så var och är det främmande att höfta konfidensen på det sätt som gjordes genom att väga in en massa svårmätta företeelser, trots att man tog höjd för den osäkerhet som man trodde sig ha. I det läget kom diskussionerna att handla väldigt mycket om huruvida man måste känna till konfidensen exakt. Ju mer vi har diskuterat desto mer har jag insett att det inte är konfidensnivån i sig som är viktig, utan dokumentationen av hur den beräknas. I akademiska sammanhang är dokumentation och arkivering så självklart att man sällan reflekterar över det. Den här debatten har fått mig att fundera över hur värdefull dokumentation och ifrågasättande är för reproducerbarhet och den vetenskapliga kvaliteten och det har varit nyttigt och utvecklande att påminnas om det.

LTS är en förening som säger sig stå på vetenskaplig grund. Enligt mitt synsätt innebär det att man ska låta sina metoder nagelfaras helt öppet. Det finns ingenting att vinna på att lämna delar av metoden dold annat än om man vill att den ska framstå som svårförstådd/avancerad eller mystisk. Det fina med att vara helt öppen är att många personer blir delaktiga i utformningen och att man därmed konvergerar mot en metod som inte bara en person tycker är bäst, utan flera. Dessutom kommer flera personer att kunna använda samma metod och troligen få samma resultat. Öppenheten innebär förstås att personer som inte kan eller vill förstå får möjlighet att klämma på de svaga punkterna, men om man verkligen har minimerat dem till antal och storlek så bör en sådan debatt vara ganska snart vara avklarad, om man bara är lite smidig.
En odokumenterad metod får dock, hur bra den än är, begränsad möjlighet att vara till nytta för andra. Den enda nyttan blir genom de resultat som kommer ur att uppfinnaren själv använder metoden och trovärdigheten blir densamma som trovärdigheten för uppfinnaren, eftersom metoden inte kan granskas. Det binder testverksamheten till uppfinnaren, som därmed blir oumbärlig.

Till sist vill jag också säga att F/E-lyssning i sig är en väldigt bra metod. Den har enligt min uppfattning förutsättningar att detektera upplevbara fysikaliska skillnader som är långt mindre än vad man kan höra vid öppna lyssningar eller vid ett typiskt apparatbyte hemma. Den kringutrustning som används vid LTS tester är av mycket hög klass och borgar för att det knappast är troligt att man skulle lyckas höra storleksmässigt mindre skillnader med annan utrustning. Mina anmärkningar gäller bara försöksdesignen och den aningen slafsiga behandlingen av statistiska data. Sett i perspektivet av andra populära hifi-skrifters lyssningstester är min kritik petimetersaker, det är en milsvid skillnad i kvaliteten på LTS tester och blaskornas, men även bra saker bör förbättras. Faktum är väl att det är just de som är intressantast att förbättra. Och som sagt, LTS har ju ambitionen att göra vetenskapligt hållbara undersökningar och det är det jag har försökt hjälpa till med.

Allra sist vill jag ställa en retorisk fråga till Ingvar (jag har ju redan formulerat mitt svar på den ovan). Jag gör min blå.

Vilken metod tycker du att LTS ska använda för behandling av statistiken nu när du har avgått från LTS tekniksektion?

[Kaffekoppen]

Svante!

Vi är överrens om den största svagheten med dagens testmetod:

En verksamhet kan i förlängningen inte bygga på att en enskilld individ, en eldsjäl, håller verksamheten vid liv.

4. Till sist, och detta är nog det allvarligaste: Eftersom metoden är så komplicerad att den är omöjlig att skriva ner på papper så blir det mycket svårt att byta testledare. Det blir också mycket svårt för någon annan att ta över eller duplicera/anamma LTS testmetodik. Testerna är alltså knutna till Ingvar, vilket knappast kan vara en fördel för LTS, vilket är högaktuellt just nu när han väljer att lämna LTS tekniksektion. Gör man något bra, så ska man underlätta för andra att göra samma sak om man vill att det som är bra ska leda till en positiv utveckling.

Lite högre upp i tråden ställde jag två frågor jag ville ha svar av dig på:
Jag tolkar dig rätt alltså som inte kan se något fel eller anledning att misstro era slutsatser vid varken de testerna du medverkat vid eller tidigare tester. Du vill utveckla testförfarandet helt enkelt. Har jag uppfattat dig rätt?

[Svante]

Kan Svante, på sina tre tillfällen som testdeltagare sett sådan information som gör att det finns fog att misstänka att:

a) Det blev felaktiga resultat i något av de testerna

Ja, givetvis kan jag det. Jag gör en analogi, hur obehagligt det än är: Låt säga att jag ser en person spela rysk roulette. Han överlever. Han gör det två gånger till och överlever fortfarande. Har jag fog att påstå att han har svävat i livsfara? Pistolen gick ju aldrig av.

Jag behöver inte ha sett ett felaktigt resultat på mina tre sessioner för att förstå att metoden för bedömning av konfidens är slafsig. Jag ser ju hur metoden fungerar och förstår att den åtminstone i princip kan ge felaktiga resultat. Även om jag inte tror det.

b) Det var så bristfälligt genomförda tester att man kan ifrågasätta alla tidigare resultat.

Ja, där också. Om jag ser grava metodfel, så räcker det att närvara vid ett enda tillfälle. Även om resultatet från just det testet inte går att ifrågasätta.

Jag hoppas inte det, eftersom om jag förstått det rätt, så avslutas varje testtillfälle med att deltagarna gemensamt bestämmer sig för om resultatet är korrekt. Då undrar jag hur de tre testtillfällerna som Svante deltagit i ens kunnat presentera ett resultat.

Man samtalar om man tror att man har uppnått tillräcklig konfidens, ja. Att detta skulle vara ett vattentätt sätt att säkerställa vetenskaplig kvalitet kan förstås diskuteras, men det är absolut inget fel med det.

Det som däremot är fel är att bedömma konfidensen i stället för att se till att kunna beräkna den.

Märk väl att frågan inte gäller om det är 98% eller 99,34% fastställt, utan om det presenterade resultatet är tillräckligt starkt för att en slutsats skall kunna presenteras offentligt. Att LTS intern bestämt sig för att de vill ha 99% innan resultat redovisas öppet är en annan fråga, även om den kan vara här Svante finner en del brister. Vi kanske når 98% och då är det ju fel att säga att vi hade 99% - men resultatet - rekommendationen kanske likväl var väl underbyggd.

Ja, som jag skrev är inte största problemet konfidensnivån utan transparensen. Jag tror som sagt att man kan lita på slutsatserna från LTS tester. Det finns metodproblem, det har flera statistikkunniga instämt i i den här tråden, och det mest upprörande är att Ingvar inte verkar vilja rätta till dem.

[Svante]

Lite högre upp i tråden ställde jag två frågor jag ville ha svar av dig på:
Jag tolkar dig rätt alltså som inte kan se något fel eller anledning att misstro era slutsatser vid varken de testerna du medverkat vid eller tidigare tester. Du vill utveckla testförfarandet helt enkelt. Har jag uppfattat dig rätt?

Ja, fast jag tror du ställde dem fel...

Frågan var om jag kan ha sett, inte om jag hade sett.

[Morello]

Antalet tecken har de facto ökat från blygsamma cirka 8000 till kopiösa 10540 exkl. blanksteg.

[Svante]

Antalet tecken har de facto ökat från blygsamma cirka 8000 till kopiösa 10540 exkl. blanksteg.

Hoppsan, ja jag hade ju inte klippt in Ingvars frågor ännu. Och så växte det nog lite till.

Annars är det väl Ingvar som inte brukar kunna svara med 14 bokstäver, så jag ligger nog lite i lä, trots allt.

[dimitri]

Mina 6 ören:
Har läst Svantes inlägg noga och upprepade gånger, lite reflektioner:

--LTS har så vitt jag vet aldrig förbundit sig att följa de ALLRA striktaste vetenskapliga reglerna.
--F/E metodiken är med överlägsen marginal överlägsen de metoder som redovisas eljest (tidskrifter t.ex.)
--Ingvars påstående att den som kommer med kritik (Befogad eller inte) måste vara beredd att axla manteln gäller.
--Jag som som dagligdags sysslar med statistik, epidemiologi förvisso, i mitt forskningsarbete kan inte beslå Ingvar med några avgörande metodfel.
--Även utan hänsynstagande till att LTS INTE är en förening med strikt akademisk förankring, kan konkreta, demonstrerbara fel i metodologin inte påvisas.
--Den mest substantiella kritiken är är att rådata inte sparats. Hur hade det varit möjligt? Ett antal "Ja"?. Torftigt i ljuset av vilket källmaterial som spelades, riggen. Men ändå, ja, det hade varit mera opportunt att spara rådata. Åtmistone för att kunna parera framtida kritik.

Ja, jag är en akedemiskt skolad naturvetare. Icke desto mindre kan jag inte till fullo uppskatta din (Svantes) kritik.
Dessutom håller jag helt med Ingvar om att det åligger dig Svante att axla manteln och visa hur det skulle kunna gå till på ett mera vetenskapligt acceptabelt sätt.

[Svante]

Mina 6 ören:
Har läst Svantes inlägg noga och upprepade gånger, lite reflektioner:

--LTS har så vitt jag vet aldrig förbundit sig att följa de ALLRA striktaste vetenskapliga reglerna.
--F/E metodiken är med överlägsen marginal överlägsen de metoder som redovisas eljest (tidskrifter t.ex.)

Instämmer.

--Ingvars påstående att den som kommer med kritik (Befogad eller inte) måste vara beredd att axla manteln gäller.

Jaså? Så en metod som används av LTS får inte kritiseras om man inte vill ta över verksamheten? Det är ett synnerligen effektivt sätt att hålla tillbaka kritik och permanenta en dålig metod.

--Jag som som dagligdags sysslar med statistik, epidemiologi förvisso, i mitt forskningsarbete kan inte beslå Ingvar med några avgörande metodfel.
--Även utan hänsynstagande till att LTS INTE är en förening med strikt akademisk förankring, kan konkreta, demonstrerbara fel i metodologin inte påvisas.

Hmm. Beror det på att metoden inte har redovisats, eller på att du faktiskt begriper hur Ingvar räknar fram konfidensen?

--Den mest substantiella kritiken är är att rådata inte sparats. Hur hade det varit möjligt? Ett antal "Ja"?. Torftigt i ljuset av vilket källmaterial som spelades, riggen. Men ändå, ja, det hade varit mera opportunt att spara rådata. Åtmistone för att kunna parera framtida kritik.

Ja, jag är en akedemiskt skolad naturvetare. Icke desto mindre kan jag inte till fullo uppskatta din (Svantes) kritik.
Dessutom håller jag helt med Ingvar om att det åligger dig Svante att axla manteln och visa hur det skulle kunna gå till på ett mera vetenskapligt acceptabelt sätt.

Det åligger mig ingenting. Åligger det en granskare av en vetenskapligt manus att göra om arbetet om han har kritik? Åligger det en "Sarah" (lex Sarah) att rätta till brister inom sjukvården själv?

Det finns inte en susning att jag skulle kunna göra allt det som Ingvar har gjort för LTS.

Jag har fö tidigare i tråden föreslagit hur jag tycker att testerna borde gå till, jag upprepar länkarna:

http://user.faktiskt.io/svante/Forslag_till_LTS_testmetodik.htm
http://user.faktiskt.io/svante/om_blindtester.htm

[IngOehman]

Ingvar,

Style talade från början om att han tyckte det var olämpligt med tester där man är utelämnad till sitt förtroende för testledaren (eller motsv.) och de misstag, kunskapsbrister och liknande. Sådana bidrag till felaktiga slutsater är inte uppsåtliga. Jag vill minnas att han även påpekade att han hade förtroende för LTS och dess tester.

Sedermera talade du om förflaskningar och dylikt, vilket är sådant man gör uppsåtligen, varför jag uppfattade stycket som irrelevant.

Ja, så kan man uppfatta det när man inte läser hela texten.

Att anklaga någon för retorik är lika orimligt som att anklaga någon för fysik. Var jag retorisk nu?

Kan inte säga det med bestämdhet, men du var i varje fall trevlig, kompis!

Jo förresten, det kan jag: Du var inte retorisk, du var konkret.

Du var inte anklagande på ett sätt som man inte kan försvara sig mot. Du gav ett konkret exempel/kom med en... faktikt rätt intressant parallell!

Om den var relevant kan jag inte uttala mig alldeles säkert om dock, men jag tycker definitivt att det är en trist anklagelse att säga att "någon är retorisk", utan att förklara varför (eftersom det antyder att personen ifråga försöker påverka omgivningens "uppfattning om motstånderen" på ett sätt som inte inkluderar något sakfrågeelement, istället för att klarlägga de faktiska förutsättningarna, vilket är ett uselt beteende). I synnerhet tycker jag det är trist att se prat om retorik, när ingen förekommit.

Men... Om man säger att "någon är fysikalisk" skulle jag inte lägga någon negativ värdering i det dock. Men det är jag det.
Den som ogillar fysik kanske ser det som värsta förolämpningen!


Vh, iö

[screen]

Vore det inte bättre att samarbeta med varandra inom LTS, än att föra dialog om detta inför öppen publik här på Faktiskt?

Detta misskrediterar bara förtroendet för LTS vad gäller förtroendeposterna och hur dessa agerar, här visat öppet.

Jag tycker att detta är ett ickevuxet sätt att hantera frågan och ett ologiskt sätt att reda ut den. Att ifrågasätta bör vara legio för denna (LTS) förening (även internt) och sålunda föra denna framåt.

Att inbördes "gnabba" utan att samarbetsmässigt kunna diskutera fram metoder för säkerställande av testfakta är barnsligt och hör sandlådan till anser jag!

I övrigt är i.a.f. jag fullständigt novis på det som görs, men någorlunda förnuft förstår jag mig åtminstone på. Det är bara det jag åsyftar med detta inlägg och inte något rörande den tekniska utformningen i sakfrågan.

Har f.ö. största förtroende för de båda kombatanterna annars...

Tack...


Mvh Björn//

[Svante]

Vore det inte bättre att samarbeta med varandra inom LTS, än att föra dialog om detta inför öppen publik här på Faktiskt?

Jo, det hade det varit.

[dimitri]

Svante,
Helt rätt beträffande Sarah och granskare av vetenskplig artikel.
Om Sarah kriticerade LTS metoder skulle hon inte behöva känna sig förpliktigad att axla manteln. Så långt har du rätt.
Men om Sarah på ett personalmöte på det sjukhus hon sedan arbetade (Saltsjöbaden) öppet kritiserade närmsta chefen, varvid chefen och ledningen efbjöd henne att ta över chefskapet så är läget lite annat. Eller hur.

Det sägs att den som framför kritik måste visa mod och vara beredd på även de värsta konsekvenserna, som att bli avskedad, tvingad att avgå osv.

En annan möjlighet är att performera en svanesång, och sedan stillfullt avgå med hela publiken gråtande. Och Fatiskt är ju faktist en Svanesångarnas Mecka.

Om Leijonborg skulle få för sig att kritisera Bildt och denne skulle välja att avgå, inte kan du väl säga att Lille Lars kan låtsats som om inget och vissla en låt. Eller Hur?
Nåiallafall, jag kan ha fel, hårddra det allt för mycket. Det är inte alls uteslutet Svante att din kritik kan leda till utveckling. Allt kan utvecklas. I så fall kan man kanske förvänta sig att du visar den praktiska vägen. Du som har både formella och reella meriter.

[Kaffekoppen]

Det är det fortfarande. Ni kan båda mitt telefonnummer. Ring.

Vore det inte bättre att samarbeta med varandra inom LTS, än att föra dialog om detta inför öppen publik här på Faktiskt?

Jo, det hade det varit.

[Maarten]

Svante,
..........
Nåiallafall, jag kan ha fel, hårddra det allt för mycket. Det är inte alls uteslutet Svante att din kritik kan leda till utveckling. Allt kan utvecklas. I så fall kan man kanske förvänta sig att du visar den praktiska vägen. Du som har både formella och reella meriter.

Tycker att du både har rätt och fel,men i detta fall mest fel. Detta då det i mina ögon ser ut som att du saknar information om dialog innan faktiskt.se blev indraget(?) (det gör även jag till viss del) och hårdrar slutsatserna för mycket utifrån den senare utveckligen i detta drama. Dessutom tycker jag att ansvaret för dialogen och resulterande beslut ligger hos båda (alla) parter, -inte bara hos en av parterna, vilket jag läser ur ditt inlägg.
Jag tycker även att Svante har försökt visa vägen genom att komma med konkreta förslag till förbättringar.
Jag tycker att du har rätt apropå att möjligheten till utveckling finns, men det krävs imho en bättre dialog och vilja till utveckling än vad det verkar vara just nu (vad utveckling innebär råder det nog skilda meningar om och däri ligger en del av problemet).

[Svante]

Svante,
Helt rätt beträffande Sarah och granskare av vetenskplig artikel.
Om Sarah kriticerade LTS metoder skulle hon inte behöva känna sig förpliktigad att axla manteln. Så långt har du rätt.
Men om Sarah på ett personalmöte på det sjukhus hon sedan arbetade (Saltsjöbaden) öppet kritiserade närmsta chefen, varvid chefen och ledningen efbjöd henne att ta över chefskapet så är läget lite annat. Eller hur.

Verkligen inte. Den som är bäst lämpad att leda en organisation ska göra det, inte den som kritiserar den mest.

Det sägs att den som framför kritik måste visa mod och vara beredd på även de värsta konsekvenserna, som att bli avskedad, tvingad att avgå osv.

Typ.

En annan möjlighet är att performera en svanesång, och sedan stillfullt avgå med hela publiken gråtande. Och Fatiskt är ju faktist en Svanesångarnas Mecka.

Ja, det dä var ju närmast lustigt hur det blev när jag hade sjungit...

http://www.faktiskt.se/modules.php?name=Forums&file=viewtopic&p=313750#313750

Om Leijonborg skulle få för sig att kritisera Bildt och denne skulle välja att avgå, inte kan du väl säga att Lille Lars kan låtsats som om inget och vissla en låt. Eller Hur?

Nja, skillnaden är väl att det ligger i politikers natur att vilja ha makten. Det här är inget politiskt spel från min sida och absolut inget försök att ta makten.

Nåiallafall, jag kan ha fel, hårddra det allt för mycket. Det är inte alls uteslutet Svante att din kritik kan leda till utveckling. Allt kan utvecklas. I så fall kan man kanske förvänta sig att du visar den praktiska vägen. Du som har både formella och reella meriter.

Ja, jag ställer gärna upp som utomstående granskare av en eventuell utveckling som LTS gör av sina tester. Ingen vill hellre än jag att LTS ska forstätta med sitt arbete, men jag börjar tro att jag gör det bättre som en granskande medlem än som styrelsemedlem. Intressant tanke.

[n3mmr]

Svante,
Helt rätt beträffande Sarah och granskare av vetenskplig artikel.
Om Sarah kriticerade LTS metoder skulle hon inte behöva känna sig förpliktigad att axla manteln. Så långt har du rätt.
Men om Sarah på ett personalmöte på det sjukhus hon sedan arbetade (Saltsjöbaden) öppet kritiserade närmsta chefen, varvid chefen och ledningen efbjöd henne att ta över chefskapet så är läget lite annat. Eller hur.

Nej, inte det minsta...
Även om Sarah har aldrig så rätt i den kritik hon framför behöver det inte innebära att hon själv vill eller kan vara chef.
Det visar på en oerhört förtryckande (och ärtkänslig) attityd från chefen. Dessutom direkt infantil. Som i o f s bör leda till omedelbart avsked för chefen, och snabb rekrytering av en chef som faktiskt kan hantera umgänge med andra människor alls. Och Sarah kanske kan få frågan, om man tycker att hennes kritik förutom att ev vara korrekt också indikerar att hon skulel vara ett bra chefsämne.
Småungar ska leka i sandlådan, seriösa människor hanterar sin situation rationellt.

Det sägs att den som framför kritik måste visa mod och vara beredd på även de värsta konsekvenserna, som att bli avskedad, tvingad att avgå osv.

En annan möjlighet är att performera en svanesång, och sedan stillfullt avgå med hela publiken gråtande. Och Fatiskt är ju faktist en Svanesångarnas Mecka.

Om Leijonborg skulle få för sig att kritisera Bildt och denne skulle välja att avgå, inte kan du väl säga att Lille Lars kan låtsats som om inget och vissla en låt. Eller Hur?
Nåiallafall, jag kan ha fel, hårddra det allt för mycket. Det är inte alls uteslutet Svante att din kritik kan leda till utveckling. Allt kan utvecklas. I så fall kan man kanske förvänta sig att du visar den praktiska vägen. Du som har både formella och reella meriter.

Förhoppningsvis ber i alla fall ingen Lille Lasse att bli utrikesminister. Det vore inte så bra. Han kan fortfarande ha rätt i sin kritik, i alla fall.

[IngOehman]

Jahaja, det är tydligt att man måste ha bandbredd för att delta på faktiskt... Fasen vad mycket svårare det är att hänga med i svängarna via WAP och långsamt modem. Speciellt när man vill vara lite noga med sina svar. Att svara på nedanstående, retoriska frågor med enbart ja eller nej är liksom inte möjligt.

1. Du Svante, som varit med på några av LTS lyssningstester, har du NÅGON ENDA GÅNG stött på ett resultat som du vet inte ger en statistisk signifikans om >99%, men som ändå kommit i MoLt och påståtts ha en statistisk signifikans högre än 99%?

Nej.

Tack för rakt svar!

2. Det vill säga: Finns det någon grund, i form av ett faktiskt fall (där det blivit fel) för dig att ifrågasätta om jag tagit mitt ansvar att upprätthålla en adekvat vetenskaplig hantering av mätdata?

Ja, samtliga fall jag har sett.

Hupp!

Det där var ju liksom en checkkodsfråga till fråga 1 - en koll att du förstått implikationen... Ditt svar renderar felaktig checkkod.

Jag måste förmoda att du läst frågan slarvigt. Missade du månne:"...i form av ett faktiskt fall (där det blivit fel)..."? Jag tror nästan det, så läs igen och återkom med rätt svar, eller rättar jag det bara här, så checkkoden blir rätt: Det vill säga ändrar ditt svar till ett rungande: NEJ.

3. Eller handlar det bara om att just du inte tycker dig kunna bedöma signifikansen på plats, som jag har gjort? (Utöver att jag förstås kontrollräknat i de fall det finnits minsta tveksamhet.)
(Denna sista kräver följdfrågor, som jag ställer strax...)

Ja. Eller nej.

Vet du inte vad du själv kan bedöma?

Alltså jag kan inte svara för alla andra, men det beror på att jag inte kan bedömma signifikansen, vare sig på plats eller långt senare.

Det var ju det jag frågade om!

Nåja... där kom svaret i varje fall, och dessutom ett någotsånär rakt svar (även om JA varit rakare. Du inte tycktes vilja skriva just bokstäverna JA...).

Du svarar alltså JA! Tack.

4. Är det sant att du vid ett antal tillfällen kommit med (enligt dig "svårbedömda") exempel på fall till mig, där jag ombetts att uttala mig om den statistiska signifikansen - och att jag svarat dig ögonblickligen, med antingen ett exakt svar, eller med worst case-svar (">X%")?

Nja. Jo, det är det.

Ett intressant och slingrigt sätt att skriva ett rakt: JA…

Trots slinger: Tack för svaret!

Betyder det att ditt svar har varit rätt?

Rakt svar: Nej.

Det har jag inte heller påstått att det betyder. Däremot har de varit det, men självklart inte ”på grund av” att det inte finns något som tyder på motsatsen.

Den faktiska brist på minsta tecken på motsatsen (som jag ville att du skulle bekräfta så att alla fick veta att det faktiskt inte finns några) betyder att det inte finns någon indikation på att jag någonsin svarat fel. Inget annat.

Jag har annars för vana att börja mina förklaringar med enkla exempel (dvs alla har inte varit svåra) för att förtydliga en ståndpunkt, men du verkar inte tänka som vanligt folk gör, så det har funkat ganska dåligt.

Ehhh... Jaha?

5. Är det också sant att du ännu inte har ett enda exempel på att du (efter att ha gått hem och räknat på det hela (och ägna uppgiften din fulla uppmärksamhet)) funnit att mitt ögonblickliga svar varit felaktigt?

Ja.

Tack för rakt svar!

Jag har inte räknat så på exemplen som jag har givit. Jag har gjort simuleringar som resulterade i mitt förslag till avbrottsvillkor, är det dem du menar?

Nej. Jag menar samtliga fall – jag isolerar inte en begränsad del av dina falsifikationsförsök - jag menar ALLA dina försök att finna några fel i de beräkningar jag gjort, liksom alla dina generella iakttagelser, eller dina iakttagelser av de svar jag givit dig i den här tråden, eller vad du vill!

Jag vill peka på den fullständiga bristen på något endaste tecken på att jag gjort något angivelse av statistisk signifikans som inte stämmer.

Att jag vill att just du skall bekräfta det beror på att just du har varit med på några F/E-lyssningar, och därför förhoppningsvis har en hög trovärdighet som informationskälla om sakförhållandena för dem som läser här på faktiskt.
Om du bekräftar att det inte finns några bevis överhuvudtaget för att jag har räknat fel, det vill säga att det inte finns något enda konkret fall där du vet att så skett – trots att du varit närvarande och kunna följa testförfarandet i detalj! Ja, då tycker jag det är bra att du berättar det, för det kan hjälpa till att återställa förtroendet för LTS tester, inte bara i modern tid, utan även de som gjorts historiskt (läs: Från 90-talets början).

Att jag ville att just du skulle bekräfta det beror förstås också på att de ”bedömningar” du kommit med tidigare har verkat i den motsatta riktningen.

Men återigen, frånvaro av exempel kan bero på många saker.

Absolut. Jag har inte påstått något annat.

Vill bara att alla skall veta att det inte finns några exempel - trots att det finns massor av fall där du fått mina svar och har kunnat nagelfara dem.

Kort sagt: Om du vill argumentera med spekulationer, genom att berättar för andra att du inte tror att jag kan beräkna den statistiska signifikansen, tycker jag det är viktigt att de också får veta att du inte har några belägg för det, trots att du givit mig exempel att ta ställning till, och att du har varit med på faktiska F/E-lyssningar.

6. Kort sagt: Är det riktigt att jag - så vitt du känner till - ALDRIG har kommit med någon enda felaktig bedömning avseende statistisk signifikans?

Ja.

Tack för rakt svar.

Men frånvaro av bevis betyder inte att din metod är bra.

(Igen:) Nej, det har jag verkligen varken antytt eller påstått heller.

Det som gör "metoden" bra har ingenting med "frånvaron av bevis" att göra. Det är dess kraftfullhet som gör den bra - alltså att den genom sin extremt låga detektionströskel har kunnat användas för att detektera fel (och beskriva dem) från nästan vilka apparater som helt, som utsatts för F/E-lyssningen. Och att resultatet verifierats/bekräftats många gånger, både i repeterade tester och genom korrelation till mätresultat.

Jag säger bara att om det inte finns några bevis som tyder på att "metoden" resulterat i några felsvar, någonsin, så kanske det finns viktigare saker att ge sig på och kritisera?

Man kan självklart leta efter, och rent av bekämpa eller varna för, saker som det inte finns några som helst bevis för - men det blir rätt många saker att hojta om till slut.


Jag antar att du Svante såsom icke-religiös, inte menar dig ha några bevis för att djävulen finns?

Jag tror också att jag bedömer rimligt när jag säger att du inte tar fasta på detta, för att kunna gå ut och säga: Att det inte finns några bevis betyder inte att han inte finns! Låt oss hitta fanskapet och ta kål på’n!


Kort sagt: Antalet problem i audio-verkligheten (myter, missförstånd och okunskaper) som lyser med sin tydliga närvaro är stort!

Det finns mycket gott man kan lägga energi på, för att göra en insats att åtgärda dessa verkliga problem, till ljudåtergivningens fromma. Att bekämpa hypotetiska problem som inte visat sig, bara för att de KAN finnas, känns då liksom lite överkurs...

När bekämpandet därtill går via angrepp på någon som faktiskt försökt göra gott (jag lovar!) så att det leder till att man tappar all ork och lust att fortsätta, vete tusan om det var en bra insats.


Vh, iö

[IngOehman]

Här kommer mina kommenterar till resten:

Sen har jag hittat på några frågor till som kanske någon har:

Kan man lita på de tester som utförts hittills i LTS regi?
Trots det ovanstående är min bedömning att man kan det. Jag kan säga det eftersom jag tror att Ingvar drivs av en uppriktig vilja att undersöka hur apparaterna presterar. Däremot tycker jag att det är tråkigt att man måste lita på min, Ingvars eller någon annans bedömning av det. Det vore bättre om jag kunde lägga fram fakta så att den som begriper statistik själv kan undersöka om data har behandlats vettigt.

Jag tycker du letar efter problem som inte finns. Detta är idéellt arbete. Det är svårt nog att få någon att ställa upp och göra det, redan utan att man klagar på deras insats offentligt.

Tror jag att Ingvar kan beräkna konfidensen i testerna, så som de har utförts hittills?
Nej. Jag tror däremot att han kan däremot uppskatta konfidensen med någon viss säkerhet. Genom att ”ta höjd”, dvs utsätta lyssnarna för fler lyssningar än nödvändigt, så kan han göra det troligt att konfidensen ändå är större än 99%.

Jag är mera intresserad av fakta än av dina spekulationer. Är glad för de bekräftanden av FAKTA-förhållanden som dina sex svar gav. Tack.

Vilken är då min kritik?
Min kritik är framför allt att den statistiska metoden inte finns dokumenterad. Det gör den svårvaliderad. Resultaten i testerna står och faller med tilliten till Ingvars förmåga att bedömma svarssekvenserna. I denna kritik ligger också att flera personer tillåts svara samtidigt, med kännedom om varandras svar. Ingvar menar att han kan väga in samtidiga svar i den statstiska behandlingen, något som för mig förefaller svårt utan att göra antaganden om hur stark korrelationen är mellan de samtidigt avgivna svaren eller kräva onödigt många lyssningar.

Det är inte svårt alls. Man utgår ifrån att korrelationen är stark, eftersom den kan vara det. Ibland tror jag nästan du glömmer att det är APPARATEN som testas, och inte lyssnarna. Att låta folk båda samtala och svara som de vill (utan facit dock nota bene - det vill säg blindt) påverkar förvisso ibland möjligheten att "testa" en enskild lyssnare, men det är inte det jag velat undersöka. Det är apparaterna som vi vill lära oss saker om.

Det må vara så att det inte vid ett enda tillfälle har påståtts att konfidensen har varit högre än den verkligen är. Oavsett hur det är med det är det dålig försöksdesign om man inte kan redovisa hur beräkningen av konfidensen går till. Det är dåligt av flera anledningar.

Jag vill påminna om syftet med testerna: Det handlar om att berätta om olika hifi-apparater för LTS' medlemmar. Arbetet görs idéellt, och ju mera information vi kan extrahera per nedlagt arbete, desto större är chansen att testerna alls blir av! Denna nonsensdebatt har lamslagit testverksamheten fullständigt.

1. Eftersom det inte går att tala om hur beräkningarna utförs så går det inte att säga hur stor konfidensen egentligen är. I strikt mening blir det svårt att garantera att den är över 99%. Det man kan göra är att ”ta höjd” så att det blir troligt att man har kanske 99,8% konfidens, så att man är nästan säker på att man har 99% konfidens. Det här blir någon sorts konfidensintervall på konfidensen. Om man kan sätta siffror på de bedömningar man gör under analysens gång kan man möjligen räkna ut hur stor den slutliga konfidensen blir, men det blir bökigt. Ingvar kanske kan göra det i huvudet, själv kan jag inte ens göra det på papper.

Old News...

Du blandar dock ihop hård och mjuk information. Det gör aldrig jag - konfidensen beräknas bara från hård information. Däremot måste man blanda i redovisningen (i artikeln).

Och kom ihåg: Den signifikans man anger gäller bara för den specifika sak man anger! Svårare än så är det inte.

2. Att behöva ”ta höjd” medför med nödvändighet att man behöver utsätta lyssnarna för fler lyssningar än vad som egentligen behövs, de blir alltså mer uttröttade än om man vet exakt när 99% konfidens har uppnåtts och kan bryta då.

I praktiken är det tvärtom. Enstaka extra svar är ett marginellt besvär jämfört med att sätta upp en massa regler som förstör detektionströskeln.

3. Trovärdigheten. Att inte kunna redovisa hur man har gjort gör att metoden kan ifrågasättas utan att den går att försvara med sakargument.
4. Till sist, och detta är nog det allvarligaste: Eftersom metoden är så komplicerad att den är omöjlig att skriva ner på papper så blir det mycket svårt att byta testledare. Det blir också mycket svårt för någon annan att ta över eller duplicera/anamma LTS testmetodik. Testerna är alltså knutna till Ingvar, vilket knappast kan vara en fördel för LTS, vilket är högaktuellt just nu när han väljer att lämna LTS tekniksektion.

Lite av ett cirkelbevis det där va? Du ser till att du får rätt genom att verka för min avgång... Helt ok om du tar över verksamheten.

I övrigt vidhåller jag värdet av att använda den bästa möjliga metoden. Det är därför jag valt att göra det. Att jag skulle välja en sämre metod bara för att någon skall kunna ta över ansvaret är ologiskt. Det går ju utmärkt att byta till en sämre metod då istället.

Gör man något bra, så ska man underlätta för andra att göra samma sak om man vill att det som är bra ska leda till en positiv utveckling.

Du har mycket åsikter om vad andra skall göra, men du vill inte göra det själv. Trist. Tycker du att det du åstadkommit är en positiv utveckling?

Hur vill jag att testdesignen ska förändras?
Jag vill att man i förväg bestämmer vilka avbrottsvillkor som ska gälla. Hur detta kan gå till finns beskrivet i min statistikartikel i MoLT 1/2006. Det som inte finns beskrivet där är hur man hanterar flera samtidigt närvarande lyssnare. Vid samtidigt avgivna svar måste alla utom det första bortses ifrån, eller så avges de i konsensus. Alternativet är att man ser avgivna svarsserier som individuella, och då måste man höja konfidenskraven eftersom det då rör sig om upprepade tester (lika många som antalet försökspersoner). Hursomhelst måste multipla, möjligen korrelerade svar hanteras på ett dokumenterat sätt och det dokumentet måste finnas innan försöket startar. Det finns också en del tekniska lösningar för avgivande av flera samtidiga svar som jag hade velat testa, det är möjligt att de inte ger något, men det är också möjligt att de nästanlöser problematiken med korrelation mellan samtidigt avgivna svar. Jag ska också villigt erkänna att jag inte har en färdig lösning på hur testerna bör gå till, framförallt map hanteringen av samtidiga lyssnare. Där behöver man experimentera för att hitta en lösning som är acceptabel både för lyssnarna och ur databehandlingssynpunkt. Till sist skulle jag också vilja att testerna vore dubbelblinda, inte enkelblinda som nu.

Jag har ingen kommenter till det ovanstående (annat än de invändningar på den sjunkande test-kvaliteten som jag framfört till dig, utan att få någon respons), men jag kan kontatera att det du skriver är rätt oanvändbart om det inte finns någon som vill ta ansvaret för ett användande av den metoden.

Jag vill det inte, och du vill det inte. Vem är det som skall göra det?

Allt behöver inte lösas på en gång, det vore dumt att göra avbrott i testandet för detta, men på lite sikt menar jag att en förändring är önskvärd.

"Önskvärd" låter som om du ser det som ett allmänt accepterat objektivt faktum. Det är dock bara din åsikt, eller hur?

En personlig reflexion:
När jag påbörjade den här diskussionen för något år sedan var mina synpunkter närmast reflexmässiga att ”så här gör man inte”. Med min akademiska skolning så var och är det främmande att höfta konfidensen på det sätt som gjordes genom att väga in en massa svårmätta företeelser, trots att man tog höjd för den osäkerhet som man trodde sig ha.

Höfta är ditt ordval. Jag har aldrig höftat någon konfidens. Ej heller påstått att sådana metoder har använts.

Den statistiska signifikansen beräknar man. Bara för att jag ibland gjort det i huvudet är det inte gissningar. Du har haft frihet att gå hem och kontrollräkna hur mycket du vill, jag har inte hindrat dig.

I det läget kom diskussionerna att handla väldigt mycket om huruvida man måste känna till konfidensen exakt. Ju mer vi har diskuterat desto mer har jag insett att det inte är konfidensnivån i sig som är viktig, utan dokumentationen av hur den beräknas. I akademiska sammanhang är dokumentation och arkivering så självklart att man sällan reflekterar över det. Den här debatten har fått mig att fundera över hur värdefull dokumentation och ifrågasättande är för reproducerbarhet och den vetenskapliga kvaliteten och det har varit nyttigt och utvecklande att påminnas om det.

Ok.

LTS är en förening som säger sig stå på vetenskaplig grund. Enligt mitt synsätt innebär det att man ska låta sina metoder nagelfaras helt öppet. Det finns ingenting att vinna på att lämna delar av metoden dold annat än om man vill att den ska framstå som svårförstådd/avancerad eller mystisk.

Det finns MASSOR att vinna på att inte redovisa annat än de resultat som varit studiens syfte att få fram! Arbetsinsatsen för att formulera beskrivningen, och det därefter obligatoriska deltagandet i den oändliga debatten, är bara två saker.

Det fina med att vara helt öppen är att många personer blir delaktiga i utformningen och att man därmed konvergerar mot en metod som inte bara en person tycker är bäst, utan flera.

Eftersom 100 000 000 000 flugor inte kan ha fel menar du?

Det är mig fullständigt främmande att skrota jakten på bästa sättet att nå sanningen, till förmån för en meningslös dröm om en halvsunkig konsensus bland människor som inte ens ser hela problemet.

Vissa kompromisser kan möjligen vara vettiga, men att kompromissa sönder så här viktiga saker har jag noll intresse av att vara ansvarig för.

Dessutom kommer flera personer att kunna använda samma metod och troligen få samma resultat. Öppenheten innebär förstås att personer som inte kan eller vill förstå får möjlighet att klämma på de svaga punkterna, men om man verkligen har minimerat dem till antal och storlek så bör en sådan debatt vara ganska snart vara avklarad, om man bara är lite smidig.

Vem är det som skall vara smidig då? Du vill inte ta ansvaret. Och menar du på allvar att bara svaga punkter kommer att kritiseras?

En odokumenterad metod får dock, hur bra den än är, begränsad möjlighet att vara till nytta för andra. Den enda nyttan blir genom de resultat som kommer ur att uppfinnaren själv använder metoden och trovärdigheten blir densamma som trovärdigheten för uppfinnaren, eftersom metoden inte kan granskas. Det binder testverksamheten till uppfinnaren, som därmed blir oumbärlig.

Varför det? Ansvaret och valet av metoder för testverksamheten kan väl bytas med den ansvarige?

Till sist vill jag också säga att F/E-lyssning i sig är en väldigt bra metod. Den har enligt min uppfattning förutsättningar att detektera upplevbara fysikaliska skillnader som är långt mindre än vad man kan höra vid öppna lyssningar eller vid ett typiskt apparatbyte hemma. Den kringutrustning som används vid LTS tester är av mycket hög klass och borgar för att det knappast är troligt att man skulle lyckas höra storleksmässigt mindre skillnader med annan utrustning.

Där håller jag nog med dig. I själva verket har detektionsnivån visat sig vara LÅNGT under vad man kan läsa sig till i "vetenskaliga" böcker* om hörseln...

*Eftersom jag har en vetenskaplig världsbild måste jag dock underkänna de böcker som anger en detektionsnivå (oavsett vilken) eftersom sådana anspråk strider mot vetenskapens första tes...

Mina anmärkningar gäller bara försöksdesignen och den aningen slafsiga behandlingen av statistiska data. Sett i perspektivet av andra populära hifi-skrifters lyssningstester är min kritik petimetersaker, det är en milsvid skillnad i kvaliteten på LTS tester och blaskornas, men även bra saker bör förbättras. Faktum är väl att det är just de som är intressantast att förbättra. Och som sagt, LTS har ju ambitionen att göra vetenskapligt hållbara undersökningar och det är det jag har försökt hjälpa till med.

LTS (eller rättare sagt min ambition som teknikansvarig) har varit att agera vetenskapligt. Det har ingenting med akademisk redovisningspraxis att göra.

Min ambition har varit att säkerställa att det som står i tidningen är sant och att de fynd och besrkivningar av egenskaper vi gör håller för en vetenskaplig granskning, inte att själva redovisningen till ingen nytta skall följa akademisk praxis. Den som är intresserad av redovisningen och inte av apparaternas egenskaper, bör söka andra tidksrifter, vars syfte är att erbjuda sådant.

Allra sist vill jag ställa en retorisk fråga till Ingvar (jag har ju redan formulerat mitt svar på den ovan). Jag gör min blå.

Vilken metod tycker du att LTS ska använda för behandling av statistiken nu när du har avgått från LTS tekniksektion?

Det har jag ingen åsikt om, men jag hoppas att den inte blir så betungande att resultaten försunkas, eller att de som tvingas göra jobbet tappar lusten. Det måste vara kul, annars kan det kvitta.

Det är inte min sak att tycka något, men jag hoppas den som tar ansvaret har förmågan att tillse att det blir högklassiga tester, som gör att jag får veta något om testobjekten.


Vh, iö

[Svante]

Ja, nu börjar den exponentiella tillväxten. Den gör det helt omöjligt att svara på allt (och jag är i detta fallet inte oskyldig till den själv).

Några kommentarer. Jag noterar att du har klippt bort alla mina förklaringar till ja/nejsvaren i ditt första inlägg. Utan dem ser det ut som jag håller med dina retoriskt upplagda frågor. När du inte fick svaren du ville, klippte du i dem. Illa. Du brukar ju vara den första att säga att man inte ska lyfta ord ur sitt sammanhang.

Noterar också att du inte vill ha någon åsikt om vilken metod som dina efterföljare ska använda. Jag förstår att du inte vill det, de måste ju ägna tio år till egna undersökningar om de ska kunna använda din metod. Eller hur var det du skrev?

Hursomhelst så har nog de flesta som fortfarande är intresserade snappat upp våra uppfattningar, vidare kommentarer kommer bara att bli upprepningar. Är det något specifikt som du tycker att jag inte har svarat på tidigare så kan du väl ställa det som en separat fråga.

[IngOehman]

Ja, nu börjar den exponentiella tillväxten. Den gör det helt omöjligt att svara på allt (och jag är i detta fallet inte oskyldig till den själv).

Några kommentarer. Jag noterar att du har klippt bort alla mina förklaringar till ja/nejsvaren i ditt första inlägg.

Det stämmer inte. Läs mitt inlägg igen.

Jag skippat några (kanske bara ett?) av de "med det betyder inte-upprepningar" du skrev, de kom ju flera gånger.

Men jag har behållit resten (=nästan allt du skrev). Jag har dessutom efter bästa förmåga och utan slingringar svarat på dessa delar (raka svar!).

Utan dem ser det ut som jag håller med dina retoriskt upplagda frågor.

De är inte det minsta retoriska, men de är ledande. Det är de på grund av att du genom tråden slingrat dig så till en milda grad, att du visat att det kanske inte fanns någon annan möjlighet att få svar på det jag frågade om.

När du inte fick svaren du ville, klippte du i dem. Illa. Du brukar ju vara den första att säga att man inte ska lyfta ord ur sitt sammanhang.

Jag har inte lyft några ord ur sitt sammanhang.

När ditt svar (fråga 2) inte var logiskt påpekade jag det. Det var ju uppenbart att du inte läst frågan ordentligt.

Noterar också att du inte vill ha någon åsikt om vilken metod som dina efterföljare ska använda. Jag förstår att du inte vill det, de måste ju ägna tio år till egna undersökningar om de ska kunna använda din metod. Eller hur var det du skrev?

Det där var retorik. Låg nivå dessutom.

Du påstår något du inte har belägg för. Fel har du dessutom.

Den som undrar varför jag på riktigt inte har någon bestämd åsikt kan läsa det jag skrev istället för ditt trams.

Hursomhelst så har nog de flesta som fortfarande är intresserade snappat upp våra uppfattningar, vidare kommentarer kommer bara att bli upprepningar. Är det något specifikt som du tycker att jag inte har svarat på tidigare så kan du väl ställa det som en separat fråga.

Äntligen håller jag med dig om något, nämligen att vidare kommenterar (nu när du äntligen bekräftat faktaförhållandena) nog kommer att bli mest upprepningar.

Däremot hoppas jag inte att någon tar fasta på varken mina eller dina uppfattningar, utan på föreliggande fakta, och tar hänsyn till vad som är realistiska krav att ställa på den som på idéell basis tar på sig det otacksamma jobbet.

Från mig kommer inga krav alls, men ett hjärtligt lycka till!

Möjligen kommer jag försöka bidra lite som frilans, och författa artiklar, om intresse finns. Vi får se om jag får lusten åter.


Vh, iö

[Kaffekoppen]

Svante,

Även om du må tycka att resultaten som redovisats på tre testtillfällen som du deltagit i Svante har framkommit på ett mindre exemplariskt vis, TROR du att resultatet hade blivit annorlunda med en annan metod/tillvägagångssätt?


(ursäkta upprepningen, men jag tror inte ditt svar på det gått fram i den retorisk djungeln, och svaret kan ha viss betydelse för hur vi skall förhålla oss till de resultaten)

Tack på förhand
Magnus

[n3mmr]

Svante,

Även om du må tycka att resultaten som redovisats på tre testtillfällen som du deltagit i Svante har framkommit på ett mindre exemplariskt vis, TROR du att resultatet hade blivit annorlunda med en annan metod/tillvägagångssätt?


(ursäkta upprepningen, men jag tror inte ditt svar på det gått fram i den retorisk djungeln, och svaret kan ha viss betydelse för hur vi skall förhålla oss till de resultaten)

Tack på förhand
Magnus

Jag är ganska säker på att Svante svarat på den frågan. Jag har i alla fall läst honom säga att de resultaten skulle stått sig så när som på konfidensens exakta värde

Nu blir det intressant att se om Svante tycker jag sett rätt.

Jag tyckte mig vilja påpeka att Svante varit tydlig nog, eftersom Magnus inlägg skulle kunna tolkas som att Svante varit otydlig på den punkten.

Det tycker jag inte att han har varit.

[Kaffekoppen]

Jag vill bara ha bekräftat precis som du. Ser fram emot Svantes svar på den väldigt enkla, och utan omskrivningar ställda frågan. Det är för mycket inlindningar och vinklat ställda frågor och det här svaret vill jag ha helt utan omskrivningar!

[Svante]

Kan man lita på de tester som utförts hittills i LTS regi?
Trots det ovanstående är min bedömning att man kan det. Jag kan säga det eftersom jag tror att Ingvar drivs av en uppriktig vilja att undersöka hur apparaterna presterar. Däremot tycker jag att det är tråkigt att man måste lita på min, Ingvars eller någon annans bedömning av det. Det vore bättre om jag kunde lägga fram fakta så att den som begriper statistik själv kan undersöka om data har behandlats vettigt.

[Sanny_X]

Så; för de LTS-medlemmar som är intresserade av hur testade apparater låter finns det inget att vinna på dessa disskussioner? Tidigare tester (gjorda under IÖs tid) är tillförlitliga.

De enda som möjligtvis har nåt "att vinna" på detta ältande är de som är intresserade av statistik.

Som enkel medlem i LTS; Ingvar kom tillbaka och fortsätt göra tester.

[Kaffekoppen]

Kan man lita på de tester som utförts hittills i LTS regi?
Trots det ovanstående är min bedömning att man kan det. Jag kan säga det eftersom jag tror att Ingvar drivs av en uppriktig vilja att undersöka hur apparaterna presterar. Däremot tycker jag att det är tråkigt att man måste lita på min, Ingvars eller någon annans bedömning av det. Det vore bättre om jag kunde lägga fram fakta så att den som begriper statistik själv kan undersöka om data har behandlats vettigt.

Tack!

Jag ville att det skulle tydliggöras och inte försvinna i den allt ökande textmassan.

[Kaffekoppen]

Det ultimata vore ju förståss fortfarande om samma gäng som tidigare fortsatte och gjorde testerna på ett sätt som tilltalade samtliga inblandade och som gjorde att de alla tyckte att det var kul.

De som inte tycker det är kul skall inte tvingas göra någonting i en ideel förening!

Båda personerna har redan visat i den här tråden att de har extremt höga målsättningar med verksamheten och det är något vi som medlemmar i föreningen skall vara glada för!

Man skall inte förringa eller glömma alla andra inblandade heller. Morello med mätningarna, Lindroos med sina artiklar, de som ägnar sin tid till att lyssna och analysera och Studio blue som ger oss möjlighet att ha en referenspunkt för samtliga tester. De är alla oumbärliga för slutresultaten. Tack allihop för ett fantastiskt arbete!

Jag lovar på stående fot att laga middag till dem. En exeptionellt god middag skall tillstås - som kommer tilltala alla inblandade. Den kommer avslutas med likväl exeptionellt god kaffe/glass/thé.

Så; för de LTS-medlemmar som är intresserade av hur testade apparater låter finns det inget att vinna på dessa disskussioner? Tidigare tester (gjorda under IÖs tid) är tillförlitliga.

De enda som möjligtvis har nåt "att vinna" på detta ältande är de som är intresserade av statistik.

Som enkel medlem i LTS; Ingvar kom tillbaka och fortsätt göra tester.

[Svante]

När jag skrev detta:

1. Du Svante, som varit med på några av LTS lyssningstester, har du NÅGON ENDA GÅNG stött på ett resultat som du vet inte ger en statistisk signifikans om >99%, men som ändå kommit i MoLt och påståtts ha en statistisk signifikans högre än 99%?

Nej. Detta måste dock ses i ljuset av att frånvaro av fynd inte betyder att fyndet inte finns att göra. Tre saker försvårar undersökning av frågan. Det första är att jag endast har närvarat vid tre testkvällar, det andra att eftersom metoden inte finns beskriven så är den svår att validera, den tredje är att rådata inte är sparade så det finns inget att kontrollräkna på.

2. Det vill säga: Finns det någon grund, i form av ett faktiskt fall (där det blivit fel) för dig att ifrågasätta om jag tagit mitt ansvar att upprätthålla en adekvat vetenskaplig hantering av mätdata?

Ja, samtliga fall jag har sett. Det är praxis i vetenskapliga sammanhang att spara rådata, i många fall i tiotals år, och definitivt till dess att slutsatserna är publicerade. Det har mig veterligen inte skett. Vid samtidigt avgivna svar har mig veterligen ingen notering om detta förts till protokollet, vare sig om att de har avgivits samtidigt, eller i vilken ordning. Vidare är det vetenskaplig praxis att behandla statistiska data med tidigare väl beskrivna metoder och tala om vilken man har använt, alternativt att använda en icke dokumenterad metod som man själv beskriver. Den referensen eller beskrivningen har jag heller inte sett. Det är förstås möjligt att det står en pärm med rådata och/eller metodbeskrivning någonstans som motbevisar det jag säger, men jag tror inte det.

3. Eller handlar det bara om att just du inte tycker dig kunna bedöma signifikansen på plats, som jag har gjort? (Utöver att jag förstås kontrollräknat i de fall det finnits minsta tveksamhet.)
(Denna sista kräver följdfrågor, som jag ställer strax...)

Ja. Eller nej. Alltså jag kan inte svara för alla andra, men det beror på att jag inte kan bedömma signifikansen, vare sig på plats eller långt senare. Metoden Ingvar använder är extremt svår att beräkna en exakt konfidens med, den innehåller många faktorer vars storlek måste bedömmas eller gissas fram. Pga detta och att han inte kan dokumentera hur han gör förstår jag inte hur han räknar. Frågan är dock retorisk i den meningen att den flyttar fokus från att Ingvar inte har lyckats beskriva sin metod till att det kanske är jag som är så dum att jag inte förstår hur han räknar.

4. Är det sant att du vid ett antal tillfällen kommit med (enligt dig "svårbedömda") exempel på fall till mig, där jag ombetts att uttala mig om den statistiska signifikansen - och att jag svarat dig ögonblickligen, med antingen ett exakt svar, eller med worst case-svar (">X%")?

Nja. Jo, det är det. Betyder det att ditt svar har varit rätt? Jag har annars för vana att börja mina förklaringar med enkla exempel (dvs alla har inte varit svåra) för att förtydliga en ståndpunkt, men du verkar inte tänka som vanligt folk gör, så det har funkat ganska dåligt.

...så blev det detta som citat:

Jahaja, det är tydligt att man måste ha bandbredd för att delta på faktiskt... Fasen vad mycket svårare det är att hänga med i svängarna via WAP och långsamt modem. Speciellt när man vill vara lite noga med sina svar. Att svara på nedanstående, retoriska frågor med enbart ja eller nej är liksom inte möjligt.

1. Du Svante, som varit med på några av LTS lyssningstester, har du NÅGON ENDA GÅNG stött på ett resultat som du vet inte ger en statistisk signifikans om >99%, men som ändå kommit i MoLt och påståtts ha en statistisk signifikans högre än 99%?

Nej. VAD SAKNAS HÄR?

Tack för rakt svar!

2. Det vill säga: Finns det någon grund, i form av ett faktiskt fall (där det blivit fel) för dig att ifrågasätta om jag tagit mitt ansvar att upprätthålla en adekvat vetenskaplig hantering av mätdata?

Ja, samtliga fall jag har sett. VAD SAKNAS HÄR?

Hupp!

Det där var ju liksom en checkkodsfråga till fråga 1 - en koll att du förstått implikationen... Ditt svar renderar felaktig checkkod.

Jag måste förmoda att du läst frågan slarvigt. Missade du månne:"...i form av ett faktiskt fall (där det blivit fel)..."? Jag tror nästan det, så läs igen och återkom med rätt svar, eller rättar jag det bara här, så checkkoden blir rätt: Det vill säga ändrar ditt svar till ett rungande: NEJ.

3. Eller handlar det bara om att just du inte tycker dig kunna bedöma signifikansen på plats, som jag har gjort? (Utöver att jag förstås kontrollräknat i de fall det finnits minsta tveksamhet.)
(Denna sista kräver följdfrågor, som jag ställer strax...)

Ja. Eller nej.

Vet du inte vad du själv kan bedöma?

Alltså jag kan inte svara för alla andra, men det beror på att jag inte kan bedömma signifikansen, vare sig på plats eller långt senare. VAD SAKNAS HÄR?

Det var ju det jag frågade om!

Nåja... där kom svaret i varje fall, och dessutom ett någotsånär rakt svar (även om JA varit rakare. Du inte tycktes vilja skriva just bokstäverna JA...).

Du svarar alltså JA! Tack.

4. Är det sant att du vid ett antal tillfällen kommit med (enligt dig "svårbedömda") exempel på fall till mig, där jag ombetts att uttala mig om den statistiska signifikansen - och att jag svarat dig ögonblickligen, med antingen ett exakt svar, eller med worst case-svar (">X%")?

Nja. Jo, det är det. VAD SAKNAS HÄR?

Ett intressant och slingrigt sätt att skriva ett rakt: JA…

Trots slinger: Tack för svaret!

<snip>

Trots att jag inledde med:

Att svara på nedanstående, retoriska frågor med enbart ja eller nej är liksom inte möjligt.

så valde du att klippa bort förtydligandena. Att tvinga fram förenklade svar på ledande frågor är verkligen inte din stil. Ändå gör du det här.

Frågorna är både ledande och retoriska, de fyller ett retoriskt syfte eftersom de för fokus bort från det som egentligen är min kritik och skenbart gör att det ser ut som att du har rätt, trots att de var en avledande manöver för att undvika sakfrågan. Ren retorik.

[Kaffekoppen]

Du är rätt söt Svante.

[Svante]

Det ultimata vore ju förståss fortfarande om samma gäng som tidigare fortsatte och gjorde testerna på ett sätt som tilltalade samtliga inblandade och som gjorde att de alla tyckte att det var kul.

Ja, absolut. Ingvar får det att låta som att jag vill rasera det och införa tråktester som ingen vill hålla på med. Faktum är att nästan alla förändringar jag föreslagit bara behöver beröra testledaren, dvs en person som själv inte får delta i (det blinda) lyssnandet. Han får ett annat sätt att tänka, som producerar vetenskapligt acceptabla resultat i stället för att sitta och höfta och avbryta när det känns som att 99% konfidens har uppnåtts.

För lyssnarna blir skillnaden mycket liten. Det är bara det där med samtidigt avgivna svar som märks.

[Kaffekoppen]

Behöver en testledare egentligen vara så kunnig i själva lyssnandet, eller är det slöseri att ha Ingvar som testledare?

Borde inte ett pucko som jag tex hålla i de delarna och utnyttja Ingvars kunskap som lyssnare?

[Morello]

Varför inte skriva protokoll så här:

SERIEN JUSTERAD

Svante Morello
1 F R
2 F R
3 F R
4 R R
5 F R
6 F R
7 R R
8 F R
9 R R


R=rätt, F=fel, fetstil=svarade först



Kan någon göra en analys av resultatet?

Med vilken konfidensnivå kan man göra gällande att jag de facto hörde skillnad på signalerna?

OM testledaren vill bortse från svar som inkommit efter det första är han fri att göra det.

[Svante]

Varför inte skriva protokoll så här:

Svante Morello
1 F R
2 F R
3 F R
4 R R
5 F R
6 F R
7 R R
8 F R
9 R F


R=rätt, F=fel, fetstil=svarade först



Kan någon göra en analys av resultatet?

Med vilken konfidensnivå kan man göra gällande att jag de facto hörde skillnad på signalerna?

OM testledaren vill bortse från svar som inkommit efter det första är han fri att göra det.

Mja en väsentlig del av min kritik är väl just att man inte kan räkna ut konfidensen om man inte vet premisserna. De där som måste bestämmas före lyssningen.

[Morello]

Testledaren avbröt testet. Någon bestämd längd på serien fanns inte.

Något mer ni undrar?

[Svante]

Testledaren avbröt testet. Någon bestämd längd på serien fanns inte.

Något mer ni undrar?

Svaret är detsamma.

[Haakan_W]

Testledaren avbröt testet. Någon bestämd längd på serien fanns inte.

Något mer ni undrar?

Svaret är detsamma.

sätt reglerna själv och gör en beräkning

[Thomas_A]

Morello har 7/7, Svante 2/2. Att M har svarat först i de allra flesta fall är också en indikation säkerhet, dock bara en indikation.

Sammanlagt 9/9, p-värden finns sen tidigare i tråden.

De som svarat först räknas, övriga svar kan inte garanteras vara oberoende. Ska man göra en individuell analys kan man först göra ett antagande, att de är oberoende av varandra:

Fisher's test mellan Morello och Svante: 8/1 resp 3/6; p=0.04977375565610897, two-tailed. Alltså är det osannolikt (p<0.05) att deras resultat har slumpats fram, även om det är på gränsen (nära 0.05). Det kan vara så att S har svarat tvärtom, men det kan man inte anta i detta fall (n är för litet för att bedöma).

P beräknad på Ms första serie.

[Svante]

Morello har 7/7, Svante 2/2. Att M har svarat först i de allra flesta fall är också en indikation säkerhet, dock bara en indikation.

Sammanlagt 9/9, p-värden finns sen tidigare i tråden.

De som svarat först räknas, övriga svar kan inte garanteras vara oberoende. Ska man göra en individuell analys kan man först göra ett antagande, att de är oberoende av varandra:

Fisher's test mellan Morello och Svante: 8/1 resp 3/6; p=0.04977375565610897, two-tailed. Alltså är det osannolikt (p<0.05) att deras resultat har slumpats fram, även om det är på gränsen (nära 0.05). Det kan vara så att S har svarat tvärtom, men det kan man inte anta i detta fall (n är för litet för att bedöma).

P beräknad på Ms första serie.

Utgår du ifrån att man i förväg har bestämt att man ska lyssna 9 ggr? Om det hade funnits två Svantar till med liknande resultat, hade p blivit större?

[Thomas_A]

Morello har 7/7, Svante 2/2. Att M har svarat först i de allra flesta fall är också en indikation säkerhet, dock bara en indikation.

Sammanlagt 9/9, p-värden finns sen tidigare i tråden.

De som svarat först räknas, övriga svar kan inte garanteras vara oberoende. Ska man göra en individuell analys kan man först göra ett antagande, att de är oberoende av varandra:

Fisher's test mellan Morello och Svante: 8/1 resp 3/6; p=0.04977375565610897, two-tailed. Alltså är det osannolikt (p<0.05) att deras resultat har slumpats fram, även om det är på gränsen (nära 0.05). Det kan vara så att S har svarat tvärtom, men det kan man inte anta i detta fall (n är för litet för att bedöma).

P beräknad på Ms första serie.

Utgår du ifrån att man i förväg har bestämt att man ska lyssna 9 ggr? Om det hade funnits två Svantar till med liknande resultat, hade p blivit större?

Du får förklara närmare vad du menar med två Svantar till, men naturligtvis blir det lägre signifikans om flera personer är med pga kombinatoriken. Ju fler som är med ju större sannolikhet att hitta någon med siffror som Morello av en slump. Detta om man i efterhand selekterar två av fyra med vetskap om resultaten. Väljer några att delta i lyssningen men inte "lämna in" sina resultat kan de aldrig heller medräknas som en till Svante. De som svarat och lämnar in är de som gäller. Icke-resultat kan inte selekteras i efterhand. Jag förväntar mig att dessa två serier inte är i efterhand selekterade serier.

Ang "i förväg bestämt" så antar jag att testseriens resultat inte påverkar testledarens beslut när han ska avbryta, exempelvis genom att inte veta de rätta svaren under testens gång, eller att man bestämt sig för 9 stycken. Det är iofs som jag sagt tidigare väldigt lågt med 9 omgångar. Skulle man tro att testet är styrt efter Morellos svar så kan det inte sägas vara styrt om han har 9/9 rätt vid stoppet (i hans sista exempel).

För övrigt:

Ang. att skilja två personer åt med en förväntad pi=0.5 resp 0.9 krävs n=24 från varje grupp för en power på 80%. Så om man antar att Svante inte är förmögen att höra skillnad (pi=0.5) men M är det (pi=0.9), krävs det alltså n=24 svar från varje. Det faktiska Fisher-resultatet ovan har således låg power, med dessa antaganden.

[n3mmr]

Morello har 7/7, Svante 2/2. Att M har svarat först i de allra flesta fall är också en indikation säkerhet, dock bara en indikation.

Sammanlagt 9/9, p-värden finns sen tidigare i tråden.

De som svarat först räknas, övriga svar kan inte garanteras vara oberoende. Ska man göra en individuell analys kan man först göra ett antagande, att de är oberoende av varandra:

Fisher's test mellan Morello och Svante: 8/1 resp 3/6; p=0.04977375565610897, two-tailed. Alltså är det osannolikt (p<0.05) att deras resultat har slumpats fram, även om det är på gränsen (nära 0.05). Det kan vara så att S har svarat tvärtom, men det kan man inte anta i detta fall (n är för litet för att bedöma).

P beräknad på Ms första serie.

Utgår du ifrån att man i förväg har bestämt att man ska lyssna 9 ggr? Om det hade funnits två Svantar till med liknande resultat, hade p blivit större?

Du får förklara närmare vad du menar med två Svantar till, men naturligtvis blir det lägre signifikans om flera personer är med pga kombinatoriken. Ju fler som är med ju större sannolikhet att hitta någon med siffror som Morello av en slump. Detta om man i efterhand selekterar två av fyra med vetskap om resultaten. Väljer några att delta i lyssningen men inte "lämna in" sina resultat kan de aldrig heller medräknas som en till Svante. De som svarat och lämnar in är de som gäller. Icke-resultat kan inte selekteras i efterhand. Jag förväntar mig att dessa två serier inte är i efterhand selekterade serier.

Ang "i förväg bestämt" så antar jag att testseriens resultat inte påverkar testledarens beslut när han ska avbryta, exempelvis genom att inte veta de rätta svaren under testens gång, eller att man bestämt sig för 9 stycken. Det är iofs som jag sagt tidigare väldigt lågt med 9 omgångar. Skulle man tro att testet är styrt efter Morellos svar så kan det inte sägas vara styrt om han har 9/9 rätt vid stoppet (i hans sista exempel).

För övrigt:

Ang. att skilja två personer åt med en förväntad pi=0.5 resp 0.9 krävs n=24 från varje grupp för en power på 80%. Så om man antar att Svante inte är förmögen att höra skillnad (pi=0.5) men M är det (pi=0.9), krävs det alltså n=24 svar från varje. Det faktiska Fisher-resultatet ovan har således låg power, med dessa antaganden.

Såvitt jag tolkade Morello så säger han att testledaren avbröt efter 9. Det var inte i förväg bestämt att man skulle köra 9 samples. Testledaren hade löpande kunskap om facit. Testledaren avbryter alltså därför att han tycker testresultatet hittills är utslagsgivande nog.

[Svante]

Du får förklara närmare vad du menar med två Svantar till,

Nja, jag vet inte egentligen, men det ser ju ut som att "Svante" har svarat tämligen slumpmässigt, men "Morello" har svarat rätt. Två svantar till är alltså två personer som inte hör någon skillnad och ger slumputfall.

men naturligtvis blir det lägre signifikans om flera personer är med pga kombinatoriken. Ju fler som är med ju större sannolikhet att hitta någon med siffror som Morello av en slump. Detta om man i efterhand selekterar två av fyra med vetskap om resultaten. Väljer några att delta i lyssningen men inte "lämna in" sina resultat kan de aldrig heller medräknas som en till Svante.

Det där är förstås en intressant möjlighet att varje person i efterhand får bestämma om han tycker att gissingarna var så bra att han vill lämna in dem. Utan kännedom om de var bra eller inte förstås.

De som svarat och lämnar in är de som gäller. Icke-resultat kan inte selekteras i efterhand. Jag förväntar mig att dessa två serier inte är i efterhand selekterade serier.

Ang "i förväg bestämt" så antar jag att testseriens resultat inte påverkar testledarens beslut när han ska avbryta,

Ok. Jag tycker, som jag sa i den här trådens stenålder att det verkar ineffektivt eftersom det oftast är klart vid de allra flesta lyssningar redan efter ett tiotal svar om det går att höra skillnad eller inte. Antingen är det många fel, eller så bara något. I de fallen kan man bryta tidigt om man bara har en metod som tillåter det.

Men nu var det inte det det handlade om här.

exempelvis genom att inte veta de rätta svaren under testens gång, eller att man bestämt sig för 9 stycken. Det är iofs som jag sagt tidigare väldigt lågt med 9 omgångar. Skulle man tro att testet är styrt efter Morellos svar så kan det inte sägas vara styrt om han har 9/9 rätt vid stoppet (i hans sista exempel).

För övrigt:

Ang. att skilja två personer åt med en förväntad pi=0.5 resp 0.9 krävs n=24 från varje grupp för en power på 80%. Så om man antar att Svante inte är förmögen att höra skillnad (pi=0.5) men M är det (pi=0.9), krävs det alltså n=24 svar från varje. Det faktiska Fisher-resultatet ovan har således låg power, med dessa antaganden.

24 lyssningar skulle behövas? Oj. Menar du 2x12 svar eller 2x24 svar när svaren avges i par som i exemplet?

[Thomas_A]

Svante,

jo testar man personer mot varandra för att verkligen säkerställa att de hör olika (exempelvis med en förväntad frekvens på 0.9 och 0.5) behövs n=24 för varje person (om man antar att n är lika för varje grupp) vid 80% power (vilket är vanligt att man väljer). Jag länkade till ett litet online-program för detta tidigare. Om du svarat 4/9 och M 8/9 så kan man inte säga att de två serierna är signifikant skilda (p=0.13).

Och så en fråga. Jag undrar om det är en skillnad om man väljer att avbryta ett test i förtid även om alla svar är rätt?

Man väljer att ha 12 omgångar. Man avbryter efter 10 då testpersonen haft 10 rätt av 10 möjliga. Skiljer sig p åt om man i förväg valt 10 omgångar? Jag tror det endast skiljer sig då man fått ett eller fler fel under testets gång. I Morellos sista exempel hade han 9 av 9 möjliga, det som komplicerar det är Svante's serie, om den möjligen kunnat påverka då hans två förstasvar var korrekta.

[Morello]

Om Fishers test, som Thomas talar om, kan man läsa här:

http://mathworld.wolfram.com/FishersExactTest.html

[Svante]

Och så en fråga. Jag undrar om det är en skillnad om man väljer att avbryta ett test i förtid även om alla svar är rätt?

Man väljer att ha 12 omgångar. Man avbryter efter 10 då testpersonen haft 10 rätt av 10 möjliga. Skiljer sig p åt om man i förväg valt 10 omgångar? Jag tror det endast skiljer sig då man fått ett eller fler fel under testets gång. I Morellos sista exempel hade han 9 av 9 möjliga, det som komplicerar det är Svante's serie, om den möjligen kunnat påverka då hans två förstasvar var korrekta.

Ja det är väl just det det blir. De serier du kommer att testa p på, dvs de där du har 10/10 kommer att bli ett urval av de tolv och det urvalet är inte slumpmässigt.

Tror jag. Det är nyttigt att diskutera sånt här.

[Thomas_A]

Svante,

i ditt papper så har du skrivit fel anser jag. Andelen med tre rätt i rad för provomgång 1, 2, 3 är 4/32 i fem-testserien, vilket ger konfidensen 87.5%, exakt som i fallet med 3-serien. Alla serier kan fortsättas i det oändliga med okända svar, även om man bestämt sig för ett fixed värde.

[Svante]

Svante,

i ditt papper så har du skrivit fel anser jag. Andelen med tre rätt i rad för provomgång 1, 2, 3 är 4/32 i fem-testserien, vilket ger konfidensen 87.5%, exakt som i fallet med 3-serien. Alla serier kan fortsättas i det oändliga med okända svar, även om man bestämt sig för ett fixed värde.

Nu ska vi se om vi pratar om samma sak till att börja med. Vi talar om tabell 2 i http://user.faktiskt.io/svante/om_blindtester.htm eller hur?

Att avbryta testet (som från början skulle göras 5 lyssningar långt) i läget när vi har nått tre rätt i rad är samma sak som att säga att vi accepterar vilket som helst av utfallen 8, 16, 24, och 32, dvs 4 rader.

Sannolikheten att vi får ett utfall med tre rätt i rad i början av vår 5 lyssningar långa serie är alltså 4/32.

Men det betyder inte att försöket som helhet ger p=4/32. När vi startade försöket så sa vi ju att "vi provar så ser vi om vi får 3 rätt i rad, får vi inte det så fortsätter vi och ser om vi får 4/5".

Det som rör till det är alltså att att vi hade kunnat fortsätta till 5 lyssningar om det hade smugit sig in ett fel bland de tre första. Det är det som kostar konfidens.

Tabellen listar alla möjliga utfall om man har bestämt sig för 5 lyssningar. Av dem skulle vi, med tillåtet avbrott vid tre rätt i rad, godkänna rad 8, 16, 24, 28, 30, 21 och 32. Det är 7 rader.

Man kan se det som tre fall:

1. Om vi tillåter avbrott efter tre rätt, men fortsätter och försöker få 4/5 i annat fall så skulle sannolikheten att vi fick en av de accepterade raderna vara 7/32=0,219.

2. Om vi däremot konsekvent fullföljde testet till 5 lyssningar för att få 4/5 så skulle inte rad 8 godtas. Sannolikheten skulle då bli 6/32=0,188. Rad 8 representerar alltså konfidenskostnaden att avbryta i förtid.

3. Och om vi alltid avbröt testet efter tre lyssningar och krävde alla rätt så skulle vi få 4/32=0,125.

Därför, menar jag, måste man bestämma i förväg vilken försöksdesign man har valt.

Metoden jag föreslår är 1 (fast med högre konfidens). Det finns otaliga varianter att välja på, i mitt förslag som Invar sågade föreslog jag ett som gav rätt hög konfidens. Om man siktar på 99% konfidens kan man tex välja 9-13-17-21 (namngivning analogt med 3-5 i exemplet ovan) och få ungefär 99,2% konfidens och då tillåter man "alla fel" lika gärna som "alla rätt", "högst ett rätt" lika gärna som "högst ett fel" osv.

Det här betyder att de flesta test kan avbrytas efter 9 lyssningar, eftersom man får 9 rätt (eller fel) i rad om det är lätt, och är det svårt så får man ganska snart fler än 3 fel (eller omvänt). Det är bara fallen som ligger precis på gränsen till hörbarhet som behöver köras lite längre än fallet med ett visst förutbestämt antal lyssningar. Tillåter man högst tre fel i en förutbestämd serie klarar man sig med 18 lyssningar i stället för 21. Som jag ser det är det ganska vanligt att man kan avbryta serien före 18 lyssningar i alla fall.

Jag har, som jag sa tidigt i tråden gjort en simulering av tankegångarna i artikeln och de stämmer. Simuleringen presenteras med en serie slumpsvar och de avbrottsvillkor man vill testa. Så tittar programmet på serien och applicerar avbrottsvillkoren på dem och då råkar en liten andel av den miljon tester jag gör bli falskt positiva. Denna andel är p-värdet.

Puh, vad långt det blev...

[Thomas_A]

Svante,

jag var för trött för konditional testing. Jag avsåg i första hand mitt eget exempel. Alla serier är ju stickprov, och jag kan inte se något annat att alla korta tester man gör är avbrutna från en längre serie. Det är inte samma sak som konditionella val. Se följande exempel från en och samma person vid olika tillfällen:

10/10,
11/12,
10/10,
10/12,
10/10,
11/12,

Summa: pi=62/66

I desingen har man bestämt sig för n=12 men avslutat vid 10/10 för varje omgång. Felen kan ju inträffa när som helst i serien och det är rätt stor sannolikhet för att man får just 10/10 i rad för pi=62/66.

Äh, glöm det förresten. Jag tar tillbaka mina senaste frågor och påståenden. Jag skulle helst vilja att man inte har några konditionella tester med alls under testets gång, som jag sagt från början. Samt att ha n>20.

[Svante]

Svante,

jag var för trött för konditional testing.

Ja, jag tror att vi har svårt båda två att se varandras tänkesätt.

Äh, glöm det förresten. Jag tar tillbaka mina senaste frågor och påståenden. Jag skulle helst vilja att man inte har några konditionella tester med alls under testets gång, som jag sagt från början. Samt att ha n>20.

Hehe... Ja, jag kontrar väl med då att jag med "min" metod uppnår 99% konfidens i en stor del av försöken med runt 10 lyssningar. Det är bara när man är precis på gränsen till det hörbara som den uppför sig lite sämre. Metoden är i någon mening optimerad för att ge en viss konfidens, i stället för att välja antal lyssningar och se vilken konfidens man fick.

Jag kan inte se att det är annat än bra att utsätta folk för så få lyssningar som möjligt.

[Svante]

I desingen har man bestämt sig för n=12 men avslutat vid 10/10 för varje omgång.

Ok, om man med det menar att man försöker få 10/12 så har man med min terminologi valt designen 10-11-12, dvs om man har alla rätt vid 10 bryter man, om man har högst ett fel vid 11 bryter man och har man högst två fel vid 12 så bryter man.

En simulering ger att ett sånt test ger konfidensen 96,1% (dubbelsidigt). Det är ekvivalent med att bestämma sig för att köra 12 lyssningar och tillåta högst två fel (eller högst två rätt)

Man kan tom räkna ut konfidensen för det som

1-2*(1+12+12*11/2)/2^12=96,1425%. Hehe, simuleringen stämde.

[Thomas_A]

Min tanke var ju att det var ett stickprov vi pratar om och då är alla n man väljer ett avbrott. Ponera följande, man bestämmer sig för följande n=10.

I fall 1 får man 10/10
I fall 2 får man 8/10

10/10 är signifikant skilt från pi=0.5 men inte 8/10.

Man bestämmer sig för att öka n med ytterligare 10 och får:

fall 1: 8/10
fall 2: 10/10

Summar i båda fallen är 18/20 vilket är signifikant skilt från pi=0.5

Nu, skiljer sig p mot en serie av 20 i rad jämfört med ändringen att öka n i strävan att minska risken för fel? Skiljer sig p i de två fallen där man har 18/20 men där den första serien i sig är signifikant skilt från slumpen men där man i första fallet fick ett signifikant utfall och i andra fallet inte fick det.

Det var väl det jag menade med att serierna bara är stickprov ur en längre serie.

I slutändan kanske man gjort 200 tester och fått 181 positiva. Varken 10/10 eller 8/10 skiljer sig mot denna signifikant, men det är väldigt väldigt skilt från 100/200, dvs slumpen.

[Svante]

Min tanke var ju att det var ett stickprov vi pratar om och då är alla n man väljer ett avbrott. Ponera följande, man bestämmer sig för följande n=10.

I fall 1 får man 10/10
I fall 2 får man 8/10

10/10 är signifikant skilt från pi=0.5 men inte 8/10.

Man bestämmer sig för att öka n med ytterligare 10 och får:

fall 1: 8/10
fall 2: 10/10

Summar i båda fallen är 18/20 vilket är signifikant skilt från pi=0.5

Nu, skiljer sig p mot en serie av 20 i rad jämfört med ändringen att öka n i strävan att minska risken för fel? Skiljer sig p i de två fallen där man har 18/20 men där den första serien i sig är signifikant skilt från slumpen men där man i första fallet fick ett signifikant utfall och i andra fallet inte fick det.

Det var väl det jag menade med att serierna bara är stickprov ur en längre serie.

I slutändan kanske man gjort 200 tester och fått 181 positiva. Varken 10/10 eller 8/10 skiljer sig mot denna signifikant, men det är väldigt väldigt skilt från 100/200, dvs slumpen.

Ah, ok. Stickprov förutsätter ju att det är slumpvis urval av en större datamängd, vilket i sin tur betyder att man vid avbrottet inte får ha kännedom om vilka svar som har avgivits, eftersom det då kan bli en bias i data.

Detsamma gäller om man villkorar att fortsätta göra flera delserier beroende på hur utfallet blev i de tidigare delserierna. Säger man "vi fortsätter eftersom det verkar finnas ett samband som vi inte har visat ännu" så har man ju använt utfallet och därmed gjort ett icke slumpmässigt urval, dvs ett icke representativt stickprov.

Det är denna bias jag försöker hantera, så att jag kan avbryta testet i förtid och ändå veta vilken konfidens jag har.

Om man inte vet något om utfallet och avbryter i förtid så är förstås varje sådan serie ett stickprov, om man inte har kännedom om utfallet i den första serien när man startar den andra. Isf kan serierna slås ihop så som du menar. Men jag tror att du menar att man har kännedom om utfallet i den första när man startar den andra serien, eller? I sådana fall får man en bias och då kan man inte slå ihop serierna rakt av.

Jag tycker Dahlqvists inlägg mycket bra sammanfattar vad jag vill säga:

Utan att vara trivial så gäller inte den centrala frågeställningen hur man behandlar matematiken utan vilket utfallsrum man skall räkna på. En utomstående betraktare kan inte skilja IÖ:s anstängningar att öka känsligheten hos experimentet från att post hoc dra nytta av slumpmässiga variationer. Och där i ligger dilemmat.

(Min fetstil)

[Thomas_A]

"Säger man "vi fortsätter eftersom det verkar finnas ett samband som vi inte har visat ännu" så har man ju använt utfallet och därmed gjort ett icke slumpmässigt urval, dvs ett icke representativt stickprov. "

Jo men eftersom man inte visat att 10/10 är skilt från 8/10 pga av för låg n så kan man anta att de inte skiljer sig åt signifikant. Vi vill därför öka n för att man i ett Fishers test får en felmarginal som ligger signifikant både mellan två testserier och mot pi=0.5. Alltså måste man besluta i efterhand att fortsätta, i båda fallen.

[Thomas_A]

Inom biologin använder man sig ofta av konsekutivt val eftersom det inte är att välja i efterhand. I ovanstående fall antas de båda serierna vara konsekutiva, alltså ej selekterade i efterhand.

[Svante]

Jo men eftersom man inte visat att 10/10 är skilt från 8/10 pga av för låg n så kan man anta att de inte skiljer sig åt signifikant.

Nej verkligen inte! Jag har inte visat för dig att min bil är grön. Kan vi då anta att den är det?

[Svante]

Inom biologin använder man sig ofta av konsekutivt val eftersom det inte är att välja i efterhand. I ovanstående fall antas de båda serierna vara konsekutiva, alltså ej selekterade i efterhand.

Ok, det vet jag ju ingenting om, men menar du att man väljer att generera en andra testserie, beroende på utfallet i den första?

I sådana fall vill jag ifrågasätta om de kan betraktas som slumpvisa urval.

[Thomas_A]

Inom biologin använder man sig ofta av konsekutivt val eftersom det inte är att välja i efterhand. I ovanstående fall antas de båda serierna vara konsekutiva, alltså ej selekterade i efterhand.

Ok, det vet jag ju ingenting om, men menar du att man väljer att generera en andra testserie, beroende på utfallet i den första?

I sådana fall vill jag ifrågasätta om de kan betraktas som slumpvisa urval.

De måste vara konsekutiva. Välj n=10 och två sessioner. Om du väljer från 10 olika sessioner med arbiträrt val så är det inte slumpmässigt.

Jämför istället att slumpa fram två sessioner, alt slumpa fram den första och sedan alltid välja den i tid nästföljande. Jämför utfallet.

[Thomas_A]

Jo men eftersom man inte visat att 10/10 är skilt från 8/10 pga av för låg n så kan man anta att de inte skiljer sig åt signifikant.

Nej verkligen inte! Jag har inte visat för dig att min bil är grön. Kan vi då anta att den är det?

Det är just det jag menar med n. Det finns alltid ett konfidensintervall som kan beräknas. Har man fått 8/10 så är det inte signifikant skilt åt varken 5/5 eller 10/10. Hade du istället valt n=24 hade du kunnat säkerställa en skillnad mellan pi=0.5 resp pi=0.9. Jag valde modellen 0.5 och 0.9 då jag fått framfört att det sällan finns gråzoner, alltså antingen hör man det (pi=1.0) eller också så är det ohörbart (pi=0.5), dvs hörbarhetströskeln är brant. Att sätta pi=0.9 är för att när det gränsar till hörbarhet så måste man ändå tillåta några "slarvfel" i bedömningen.

[Kaffekoppen]

n=24 låter som lång tid med hög koncentration...

[Thomas_A]

Well,

man måste ju bestämma sig vad man vill uppnå. Har man 4 preselekterade lyssnare och n=10 vardera så har man n=40.

Har man 1 preselekterad lyssnare får man välja 12 + nästföljande 12 i serie, eller 8 + 8 + 8 med vila mellan.

Notera alltså att detta n är för att få större power, i en modell där man vill kunna skilja på ett ratio mellan testutfallen 0.5 och 0.9.

[Kaffekoppen]

Så en genomlyssning med 4 lyssnare och n=10 ger n=40 vilket torde vara mer än vad som behövs?

Hur tolkar man 4 lyssnare och N=7 ... ---> N= 28?

[Thomas_A]

Ja, med de premisser om oberoende som gjorts tidigare.

[dimitri]

Så en genomlyssning med 4 lyssnare och n=10 ger n=40 vilket torde vara mer än vad som behövs?

Hur tolkar man 4 lyssnare och N=7 ... ---> N= 28?

Då är p=0.11 dubbelsvansat
Alltså 11 % chans att det uppnådda resultatet beror på slump.

[Kaffekoppen]

Utökar man till n=8, n=9, n=10 .. hur blir siffrorna då?

[Thomas_A]

Hum, med n avser jag total serie. Lägger man samman samtligas resultat får man ju bra power. Vill man dock använda dem för att skilja ut de bästa lyssnarna gör man ju ett test mellan personer. Ju fler jämförelser ju mer n behövs.

[dimitri]

Utökar man till n=8, n=9, n=10 .. hur blir siffrorna då?

vid 4 x 8/10 blir p=0.009
vid 4x 9/10 blir p=0.0002
vid 4 x 10/10 blip p=0.0000009


Observera att p aldrig blir 0 helt och hållet.
Återigen så tycker jag att (jag tror att det är i överensstämmelse med Ingvars tankegångar) det är resultat från de allra duktigaste lyssnarna som bör ingå i statistiken. Jag håller helt med honom att valet av "guldöron" förenklar proceduren avsevärt.

Anta att
2 pers uppnår 4/10
2 pers uppnår 10/10

p för alla dvs 28/40 blir 0.11
medan p för bara de 2 med 10 rätt blir 0.001

Som Ingvar påpekar det är inte testdeltagarna som testas utan apparat(er). Känner man dessa 2 (de som hör 10/10) personer sedan tidigare som duktiga lyssnare så behöver man inte fundera särskilt länge för att inse att det är dessas resultat som är gällande och inte alla fyras.

[IngOehman]

När jag skrev detta:

1. Du Svante, som varit med på några av LTS lyssningstester, har du NÅGON ENDA GÅNG stött på ett resultat som du vet inte ger en statistisk signifikans om >99%, men som ändå kommit i MoLt och påståtts ha en statistisk signifikans högre än 99%?

Nej. Detta måste dock ses i ljuset av att frånvaro av fynd inte betyder att fyndet inte finns att göra. Tre saker försvårar undersökning av frågan. Det första är att jag endast har närvarat vid tre testkvällar, det andra att eftersom metoden inte finns beskriven så är den svår att validera, den tredje är att rådata inte är sparade så det finns inget att kontrollräkna på.

2. Det vill säga: Finns det någon grund, i form av ett faktiskt fall (där det blivit fel) för dig att ifrågasätta om jag tagit mitt ansvar att upprätthålla en adekvat vetenskaplig hantering av mätdata?

Ja, samtliga fall jag har sett. Det är praxis i vetenskapliga sammanhang att spara rådata, i många fall i tiotals år, och definitivt till dess att slutsatserna är publicerade. Det har mig veterligen inte skett. Vid samtidigt avgivna svar har mig veterligen ingen notering om detta förts till protokollet, vare sig om att de har avgivits samtidigt, eller i vilken ordning. Vidare är det vetenskaplig praxis att behandla statistiska data med tidigare väl beskrivna metoder och tala om vilken man har använt, alternativt att använda en icke dokumenterad metod som man själv beskriver. Den referensen eller beskrivningen har jag heller inte sett. Det är förstås möjligt att det står en pärm med rådata och/eller metodbeskrivning någonstans som motbevisar det jag säger, men jag tror inte det.

3. Eller handlar det bara om att just du inte tycker dig kunna bedöma signifikansen på plats, som jag har gjort? (Utöver att jag förstås kontrollräknat i de fall det finnits minsta tveksamhet.)
(Denna sista kräver följdfrågor, som jag ställer strax...)

Ja. Eller nej. Alltså jag kan inte svara för alla andra, men det beror på att jag inte kan bedömma signifikansen, vare sig på plats eller långt senare. Metoden Ingvar använder är extremt svår att beräkna en exakt konfidens med, den innehåller många faktorer vars storlek måste bedömmas eller gissas fram. Pga detta och att han inte kan dokumentera hur han gör förstår jag inte hur han räknar. Frågan är dock retorisk i den meningen att den flyttar fokus från att Ingvar inte har lyckats beskriva sin metod till att det kanske är jag som är så dum att jag inte förstår hur han räknar.

4. Är det sant att du vid ett antal tillfällen kommit med (enligt dig "svårbedömda") exempel på fall till mig, där jag ombetts att uttala mig om den statistiska signifikansen - och att jag svarat dig ögonblickligen, med antingen ett exakt svar, eller med worst case-svar (">X%")?

Nja. Jo, det är det. Betyder det att ditt svar har varit rätt? Jag har annars för vana att börja mina förklaringar med enkla exempel (dvs alla har inte varit svåra) för att förtydliga en ståndpunkt, men du verkar inte tänka som vanligt folk gör, så det har funkat ganska dåligt.

...så blev det detta som citat:

Jahaja, det är tydligt att man måste ha bandbredd för att delta på faktiskt... Fasen vad mycket svårare det är att hänga med i svängarna via WAP och långsamt modem. Speciellt när man vill vara lite noga med sina svar. Att svara på nedanstående, retoriska frågor med enbart ja eller nej är liksom inte möjligt.

1. Du Svante, som varit med på några av LTS lyssningstester, har du NÅGON ENDA GÅNG stött på ett resultat som du vet inte ger en statistisk signifikans om >99%, men som ändå kommit i MoLt och påståtts ha en statistisk signifikans högre än 99%?

Nej. VAD SAKNAS HÄR?

Tack för rakt svar!

2. Det vill säga: Finns det någon grund, i form av ett faktiskt fall (där det blivit fel) för dig att ifrågasätta om jag tagit mitt ansvar att upprätthålla en adekvat vetenskaplig hantering av mätdata?

Ja, samtliga fall jag har sett. VAD SAKNAS HÄR?

Hupp!

Det där var ju liksom en checkkodsfråga till fråga 1 - en koll att du förstått implikationen... Ditt svar renderar felaktig checkkod.

Jag måste förmoda att du läst frågan slarvigt. Missade du månne:"...i form av ett faktiskt fall (där det blivit fel)..."? Jag tror nästan det, så läs igen och återkom med rätt svar, eller rättar jag det bara här, så checkkoden blir rätt: Det vill säga ändrar ditt svar till ett rungande: NEJ.

3. Eller handlar det bara om att just du inte tycker dig kunna bedöma signifikansen på plats, som jag har gjort? (Utöver att jag förstås kontrollräknat i de fall det finnits minsta tveksamhet.)
(Denna sista kräver följdfrågor, som jag ställer strax...)

Ja. Eller nej.

Vet du inte vad du själv kan bedöma?

Alltså jag kan inte svara för alla andra, men det beror på att jag inte kan bedömma signifikansen, vare sig på plats eller långt senare. VAD SAKNAS HÄR?

Det var ju det jag frågade om!

Nåja... där kom svaret i varje fall, och dessutom ett någotsånär rakt svar (även om JA varit rakare. Du inte tycktes vilja skriva just bokstäverna JA...).

Du svarar alltså JA! Tack.

4. Är det sant att du vid ett antal tillfällen kommit med (enligt dig "svårbedömda") exempel på fall till mig, där jag ombetts att uttala mig om den statistiska signifikansen - och att jag svarat dig ögonblickligen, med antingen ett exakt svar, eller med worst case-svar (">X%")?

Nja. Jo, det är det. VAD SAKNAS HÄR?

Ett intressant och slingrigt sätt att skriva ett rakt: JA…

Trots slinger: Tack för svaret!

<snip>

Trots att jag inledde med:

Att svara på nedanstående, retoriska frågor med enbart ja eller nej är liksom inte möjligt.

så valde du att klippa bort förtydligandena. Att tvinga fram förenklade svar på ledande frågor är verkligen inte din stil. Ändå gör du det här.

Frågorna är både ledande och retoriska, de fyller ett retoriskt syfte eftersom de för fokus bort från det som egentligen är min kritik och skenbart gör att det ser ut som att du har rätt, trots att de var en avledande manöver för att undvika sakfrågan. Ren retorik.

Ge dig Svante!

Dels svarade jag på allting du skrev som hade med mina frågor att göra, och dessutom är det faktiskt du som klagat på exponentiell tillväxt.


När det gäller fråga två förklarade att ditt svar visade att du inte läst frågan rätt. Jag bad dig ju att svara igen. Vad är då det toss-svar du kom med av för intresse?


I de övriga fallen handlar det ju (med ett undantag) bara om dina upprepade (som jag också redovisat!) påpekanden om att "frånvaron av bevis inte är ett bevis för frånvaron av företeelse".

Eftersom du sa det på flera stället tyckte jag det räcke att svara på det en av gångerna, men bara för att visa välvilja gjorde jag det ändå två gånger (de två sista har jag för mig).


Kort sagt: Jag tog bort ditt:

Detta måste dock ses i ljuset av att frånvaro av fynd inte betyder att fyndet inte finns att göra....

Men jag svarade på både:

Men återigen, frånvaro av exempel kan bero på många saker...

Och jag svarade på:

Men frånvaro av bevis betyder inte att din metod är bra...

Jag tyckte jag var rätt generös när jag svarade två gånger på samma i princip sak. Mer än så kan du inte begära, hur många gånger du än ältar samma sak.


För din skull tog jag även bort stycket med texten:

...Pga detta och att han inte kan dokumentera hur han gör förstår jag inte hur han räknar...

Den visar ju bara att du:

1. Begär att jag skall dokumentera något åt dig, som du själv varit med om!

2. Att du inte förstått frågan. Den handlade inte om huruvida du förstår hur jag räknar - bara om huruvida dina invändningar beror på att du (trots att du varit närvarande) inte kan beräkna signifikansen.

Eftersom din text var helt irrelevant och jag inte hade någon kommentar till den tog jag bort den. Men nu har du fått kommentarer till den ändå. Hoppas du är nöjd med det.


Ditt "vad fattas här" under punkt 4 visar att du behöver läsa bättre. Ingenting fattas. Jag tag med allt det du skrev. Det är du själv som klippt bort det.


Vh, iö

[Kaffekoppen]

Det är såhär mina tankegångar gått med under tråden. Bra formulerat. Det är lite av de här tankegångarna och tankemönstret som man kanske borde formulera in i en metodbeskrivning ?

Det bör inte alls vara svårt heller att notera och beskriva testets genomförande så det framgår vem/vilka som varit utslagsgivande i respektive test. Det i sig är dokumentation nog som jag ser det.

Det innebär iof kanske att testet i sig inte kan återupprepas under andra förutsättningar än att samma deltagare utför det (och kanske inte ens då), men det är väl som sagt apparater vi testar och inte deltagare...?

Utökar man till n=8, n=9, n=10 .. hur blir siffrorna då?

vid 4 x 8/10 blir p=0.009
vid 4x 9/10 blir p=0.0002
vid 4 x 10/10 blip p=0.0000009


Observera att p aldrig blir 0 helt och hållet.
Återigen så tycker jag att (jag tror att det är i överensstämmelse med Ingvars tankegångar) det är resultat från de allra duktigaste lyssnarna som bör ingå i statistiken. Jag håller helt med honom att valet av "guldöron" förenklar proceduren avsevärt.

Anta att
2 pers uppnår 4/10
2 pers uppnår 10/10

p för alla dvs 28/40 blir 0.11
medan p för bara de 2 med 10 rätt blir 0.001

Som Ingvar påpekar det är inte testdeltagarna som testas utan apparat(er). Känner man dessa 2 (de som hör 10/10) personer sedan tidigare som duktiga lyssnare så behöver man inte fundera särskilt länge för att inse att det är dessas resultat som är gällande och inte alla fyras.

[Morello]

Pojkar, tråden hamnade på rätt köl - låt det få vara så ett tag till.

[Svante]

Pojkar, tråden hamnade på rätt köl - låt det få vara så ett tag till.

Fdjmklnrk... Ok då.

[Kaffekoppen]

Så bidra nu då... ni som kan... är jag helt åt h-e med mina funderingar och isåfall varför?

[PerStromgren]

Finns det verkligen ingen som läst något i ämnet och kan citera en text som inte författats av en faktiskt-medlem? Ni må tycka att det är naivt, men inte fasiken är detta första gången någon analyserar ett försök av denna typ, och denne någon inte är en faktiskt-medlem?

Jag vägrar att tro att detta inte är väl studerat och dokumenterat. Ni som forskar, har ni verkligen ingen stat-bok i hyllan som diskuterar detta? Snart stegar jag själv iväg till bibblan och letar, om ni som sitter i soppan vägrar. Att slå varann i huvet med argument ger inget när respekten för den andres kunskap saknas. Därför vore det trevligt med några opartiska, för en gångs skull.

[Svante]

Finns det verkligen ingen som läst något i ämnet och kan citera en text som inte författats av en faktiskt-medlem? Ni må tycka att det är naivt, men inte fasiken är detta första gången någon analyserar ett försök av denna typ, och denne någon inte är en faktiskt-medlem?

Jag vägrar att tro att detta inte är väl studerat och dokumenterat. Ni som forskar, har ni verkligen ingen stat-bok i hyllan som diskuterar detta? Snart stegar jag själv iväg till bibblan och letar, om ni som sitter i soppan vägrar. Att slå varann i huvet med argument ger inget när respekten för den andres kunskap saknas. Därför vore det trevligt med några opartiska, för en gångs skull.

Jag tror faktiskt att det är ovanligt att man avbryter test i förtid på det sätt som jag föreslår. Men jag minns en gammal MoLT-artikel av Karl-Erik Ståhl, där han hade gjort en A/B-låda som han använde väldigt likt LTS F/E-lyssningar. Där skrev han att han använde designen 7-13-16 (enkelsidigt och enligt min terminologi) och att den gav 99% konfidens. Länge trodde jag att han hade räknat fel, men jag insåg för ett tag sen att han hade rätt och jag hade fel.

Annars kan man hitta metoder för i förväg längdbestämda tester, men de vet Thomas_A mer än jag om så jag kniper nog ihop där för att inte verka alltför dum.

[Thomas_A]

Finns det verkligen ingen som läst något i ämnet och kan citera en text som inte författats av en faktiskt-medlem? Ni må tycka att det är naivt, men inte fasiken är detta första gången någon analyserar ett försök av denna typ, och denne någon inte är en faktiskt-medlem?

Jag vägrar att tro att detta inte är väl studerat och dokumenterat. Ni som forskar, har ni verkligen ingen stat-bok i hyllan som diskuterar detta? Snart stegar jag själv iväg till bibblan och letar, om ni som sitter i soppan vägrar. Att slå varann i huvet med argument ger inget när respekten för den andres kunskap saknas. Därför vore det trevligt med några opartiska, för en gångs skull.

Jag tycker iofs jag angett min syn på det, och jag håller på lite med stat på jobbet. Det är inget alls fel på Svante's metod heller, jag tycker dock inte om konditionella val.

Ang proceduren som sådan så tycker jag att det redan är förklarat hur man kan förbättra den, allt från själva testproceduren till dokumentationen av densamma. Det hänger på hur mycket testpersonalen mäktar med.

[dimitri]

Per,
Det är en mycket bra idé av dig. Gå till biblioteket, ut på nätet och se vad som är skrivet.

Mitt intryck är att flertalet inlägg i statistiska spörsmål i tråden har hållit god klass (givetvis mina egna exkluderade från denna bedömning). De skillnader i uppfattningar som finns (funnits?) är inte primärt av statistisk art. Eller ja, kanske, ty val av testprocedur återspeglar sig i valet av statistisk metod. Emellertid är det mitt intryck att inläggen från de mest signifikanta debattörerna i tråden tenderar att alltmer konvergera i de viktiga aspekterna.

[n3mmr]

Fråga om flerstegstester:

Om man testar N olika, okorrelerade, egenskaper i N olika testserier (fast vid samma tillfälle, eller åtminstone fölr samma objekt med samma testomständigheter i övrigt), måste testserierna läggas samman då?

Tänk att man testar lågbasegenskaper (där man då klart hör skillnad) resp diskantegenskaper.

Antag att man då hittar att objektet färgar i lågbastestet, med 99% konfidens, men att man i diskanttestet inte lyckas säkerställa nån färgning alls, alltså identrifikationen vid diskanttestet är obefintlig eller helt slumpmässig.

Har man då identifierat en färgning med 99% konfidens eller är konfidensen lägre p g a att man måste räkna in båda serierna i en enda?

Om svaret är "Ja, konfidensen blir lägre än om man bara testar för basegenskaper", kontemplera då att "diskanttest" byts ut mot "identifiera luftens lukt" (växla, men spela ingenting, bara lukta....)

P.S. Sniff sniff. Litre nötaktig.....

[Svante]

Fråga om flerstegstester:

Om man testar N olika, okorrelerade, egenskaper i N olika testserier (fast vid samma tillfälle, eller åtminstone fölr samma objekt med samma testomständigheter i övrigt), måste testserierna läggas samman då?

Tänk att man testar lågbasegenskaper (där man då klart hör skillnad) resp diskantegenskaper.

Antag att man då hittar att objektet färgar i lågbastestet, med 99% konfidens, men att man i diskanttestet inte lyckas säkerställa nån färgning alls, alltså identrifikationen vid diskanttestet är obefintlig eller helt slumpmässig.

Har man då identifierat en färgning med 99% konfidens eller är konfidensen lägre p g a att man måste räkna in båda serierna i en enda?

Om frågan är om det överhuvudtaget är någon skillnad på apparaterna så måste man slå ihop testerna.

Konfidensen talar om hur stor tillförlitlighet testet har. Inte hur stor skillnaden är. Konfidens är alltså en testegenskap, inte en apparategenskap.

I slutänden blir det en definitionsfråga "vad som är testet", och definitionsfrågor kan man ha långa debatter om.

I akademiskt vetenskapliga sammanhang, där man ibland testar hundratals aspekter av samma sak i en och samma studie tar man hand om detta genom att kräva att varje skriven artikel ska uppfylla ett konfidenskrav, fast det blir förstås fråga om gränsdragningar även där. Jag menar, om man publicerar en studie i två olika papper i stället för ett, är det då vettigt att sänka kraven?

Jag kan iofs tycka att det kan vara ok att göra testerna separat om de är få och egenskaperna man testar är väl åtskilda, men då måste man vara noga med att tala om hur man har gjort, vilket inkluderar att redovisa även serier som inte gav 99% konfidens.

[n3mmr]

Fråga om flerstegstester:

Om man testar N olika, okorrelerade, egenskaper i N olika testserier (

Jag kan iofs tycka att det kan vara ok att göra testerna separat om de är få och egenskaperna man testar är väl åtskilda, men då måste man vara noga med att tala om hur man har gjort, vilket inkluderar att redovisa även serier som inte gav 99% konfidens.

Jag tänkte mig att en meningsfull redovisning skulle vara att säga.

I basen hörde vi skillnad, och vi har stor tilltro till det resultatet.

I diskanten hörde vi ingen skillnad.

men om man sa att

Vi hörde skillnad, men det var inte så väldigt säkert, konfidensen var låg

så ljög man

Men jag kanske helt missuppfattar vad konfidens är: Jag tänker mig att konfidensen kommer in, bl a, i prediktion, dvs det är den tilltro man har till att man skulel få samma resultat nästa gång med samma test.

Nu visste jag redan vad Svante ansåg om detta, så jag vill nog gärna ha nån annans syn, också.

[Thomas_A]

Fråga om flerstegstester:

Om man testar N olika, okorrelerade, egenskaper i N olika testserier (

Jag kan iofs tycka att det kan vara ok att göra testerna separat om de är få och egenskaperna man testar är väl åtskilda, men då måste man vara noga med att tala om hur man har gjort, vilket inkluderar att redovisa även serier som inte gav 99% konfidens.

Jag tänkte mig att en meningsfull redovisning skulle vara att säga.

I basen hörde vi skillnad, och vi har stor tilltro till det resultatet.

I diskanten hörde vi ingen skillnad.

men om man sa att

Vi hörde skillnad, men det var inte så väldigt säkert, konfidensen var låg

så ljög man

Men jag kanske helt missuppfattar vad konfidens är: Jag tänker mig att konfidensen kommer in, bl a, i prediktion, dvs det är den tilltro man har till att man skulel få samma resultat nästa gång med samma test.

Nu visste jag redan vad Svante ansåg om detta, så jag vill nog gärna ha nån annans syn, också.

- Vid en test mot ett fixerat värde, används binomial/normal (sign-test)
- Vid test av observationer mot varandra. Chi-square eller Fishers.
- För en modell med ratio 0.5 (slump) och skillnad (>0.9) krävs olika n i de två ovanstående fallen för samma power. Större n krävs när observationer testas mot varandra (man får två konfidensintervall).

Jag har tidigare skrivit lite exempel runt detta.

[d_anders]

Kanske att det går att sy ihop detta till ett modifierat sekvenstest.

[Thomas_A]

Antag att vi testar en apparat och gör olika öppna lyssningsessioner. Det görs också några träningsomgångar på blinda tester för vissa av dem, och man beslutar att göra 10-serier för diskant och bas, med två olika musikstycken.

Basregionen ger 9/10
Diskantregionen ger 5/10

Det förefaller finnas en skillnad i basregionen men inte i diskanten, utifrån en binomialmodell. Men är det sant? Nja. Om man nu jämför dessa två observationer mot varandra istället fås p=0.13 (tvåsvansat).

Slutsatsen är att vi inte skall särskilja dessa serier vid en beräkning av p. Jo vi kan göra det men inte helt utan invändningar.

Varför gick det fel? Ja vi valde alldeles för låg n.

Vi beslutar att omedelbart efter detta göra n=10 till. Konsekutiva serier.

Vi får
8/10
6/10

Summa 17/20 + 11/20. Är dessa nu skilda åt? p=0.08, nja. Bättre men fortfarande över 0.05. Har vi fortfarande för få n?

Vi lägger till 4 till och får

4/4
2/4

Summa:

21/24 samt 13/24. Hur är det nu då? p=0.024. Bra. Nu är vi mer säkra på att apparaten faktiskt skiljer sig i basen men inte i diskanten. Vi kan separarera de två testerna från varandra. Vi kan dock ha andra data tillhands som stöder ovanstående, ex mätningar.

Resultatet skulle också kunnat konvergera åt det andra hållet. Poängen med vad jag vill säga är att välja n tillräckligt stort för att kunna göra meningsfulla beräkningar om saker kompliceras. Istället för n=10 borde vi valt n=24 för frågan om bas och diskant skiljer sig åt.

[Thomas_A]

En par länkar för sample size calculation:

För test av propotion mot fixed värde:

http://stat.ubc.ca/~rollin/stats/ssize/b1.html

För test av två proportioner:

http://stat.ubc.ca/~rollin/stats/ssize/b2.html

[IngOehman]

Pojkar, tråden hamnade på rätt köl - låt det få vara så ett tag till.

Håller med om detta. Jag kvitterade Svantes tes att ämnet var utagerat. Därefter har jag bara svarat på hans inlägg.


Ditt (Morellos) exempel...

(Sv=Svante, Mo= Morello)

. Sv Mo
1 F R
2 F R
3 F R
4 R R
5 F R
6 F R
7 R R
8 F R
9 R R

R=rätt, F=fel, fetstil=svarade först

...är för övrigt mycket inressant. Det fattas lite info om vad som föregick serien, för att det skall gå att ange en exakt statistisk signifikans på appratens hörbarhet, inlusive information om VAD det är man man skall ange siginfikansen för i redovisningen.

Oavsett vilket kan man dock säga att Morello kan höra skillnad mellan F och E med en statistisk signifikans >98,4%. I praktiken hade jag inte stoppat serien vid nio dock, men vid 10 eller 11, om du hade fortsatt svara rätt (även om du svarat efter Svante! Tro't eller ej...).

Med viss info känd före testen (exempelvis att det redan finns tecken på att Morello är en god lyssnare, och att det därför är hans svar som räknas) är SS >99,6% för att vi i testen lyckats påvisa att apparaten har en hörbar färgning.


Vh, iö

[Morello]

Mja, jag skrev ju faktiskt:

Med vilken konfidensnivå kan man göra gällande att jag de facto hörde skillnad på signalerna?

[DQ-20]

Svante,

Även om du må tycka att resultaten som redovisats på tre testtillfällen som du deltagit i Svante har framkommit på ett mindre exemplariskt vis, TROR du att resultatet hade blivit annorlunda med en annan metod/tillvägagångssätt?

Varför vill du veta detta?

Undrar,

D

[Kaffekoppen]

Det fanns de som inte hade uppfattat det så

[DQ-20]

Det fanns de som inte hade uppfattat det så

Nej, jag menade varför vill du veta?

Anledningen till att jag frågar är att jag undrar vad man (t.ex. du eller jag) skall ha denna kunskap till.

/D

[Kaffekoppen]

Varför är det intressant för dig att veta det?

Om du vill veta är du välkommen att kontakta mig direkt. Det har inget med tråden att göra.

[DQ-20]

Varför är det intressant för dig att veta det?

Därför att du upprepade gånger ställt den frågan till Svante vilket antyder att det är viktigt för dig och/eller att du anser det vara viktigt för andra. Varför den är viktig är dock oklart för mig. Därför frågar jag.

Om du vill veta är du välkommen att kontakta mig direkt. Det har inget med tråden att göra.

Men vad är det där för fasoner? Först insisterar du på att få svar av Svante i tråden sedan kan du inte offentligt svara på varför det var viktigt att få svar. Detta rundar du av med lite snytigt hobbymodereraden.

Men du behöver givetvis inte svara. För att travestera Lundell: ett inställt svar är och också ett svar.

/D

[Morello]

Kan man lita på de tester som utförts hittills i LTS regi?
Trots det ovanstående är min bedömning att man kan det. Jag kan säga det eftersom jag tror att Ingvar drivs av en uppriktig vilja att undersöka hur apparaterna presterar. Däremot tycker jag att det är tråkigt att man måste lita på min, Ingvars eller någon annans bedömning av det. Det vore bättre om jag kunde lägga fram fakta så att den som begriper statistik själv kan undersöka om data har behandlats vettigt.

[Kaffekoppen]

Men du behöver givetvis inte svara. För att travestera Lundell: ett inställt svar är och också ett svar. /D

Skälet var, precis som jag sa i inlägget innan att det fanns de som inte uppfattat det Svante skrivit på rätt sätt.

Det har funnits mer än nog av misstolkningar och ett rakt svar är mer tydliggörande än större textmassor ibland är.

Frågan är varför du undrar vad som gör det intressant för oss andra att veta hur han ser på saken. Det är väl rätt självklart att ett klargörande leder till mindre misstolkningar.

Din fråga till mig, så här långt i efterhand, där du ber mig klargöra mina motiv är däremot besynnerlig. Den som isåfall skulle ifrågasätta den borde vara Svante om han såg något konstigt i den. Det tror jag inte han gjorde, utan tvärtom tror jag han är väl insatt i motivet till den.

Den här textmassan har väl inte direkt drivit sakfrågan framåt utan bluddrar bara tråden. Därav min önskan att du kunde ställa en fråga som inte har ett jäkla skit med sakfrågan att göra i ett PM om du hade ett personligt intresse av svaret.

En insinuering är också en insinuering min kära Dahlqvist!

[Thomas_A]

Här är några fler exempel. I detta har jag gjort en liten simulering med slumptal. Den innehåller 20 omgångar med 10-serier. Jag vill se om någon av min slumpgenererade serier ger en signifikant skillnad genom att göra post-hoc tester.

Designen på testet är att använda en serie på 10. Jag lägger också dit ett konditionellt test, fast tvärtom Svantes. Om serien innehåller 3-7 korrekta svar avslutas den vid n=10. Om den således innehåller 8, 9, eller 10 rätt eller 8, 9, eller 10 fel fortsätter den med ytterligare n=10.

Jag testar således alla serier som gjorts under ”testdagen”. Detta blev det dokumenterade resultatet.

1: 6/10
2: 3/10
3: 5/10
4. 2/10 !
5. 6/10, dvs resultatserien från serie 4 kunde inte verifieras. Inte heller totalen 8/20 är signifikant från slumpen.
6. 3/10
7. 6/10
8. 5/10
9. 5/10
10. 7/10
11. 8/10 !
12. 7/10, dvs serien kunde inte verifieras (max 2 fel). Dock blir totalen 15/20 signifikant skild från pi=0.5. Mer om detta längre ner.
13. 6/10
14. 4/10
15. 5/10
16. 7/10
17. 4/10
18. 4/10
19. 4/10
20. 4/10

Summa totalt: 101/200

Totalt från 20 sessioner så fick vi två initiala indikationer på sned proportion, försök 4 och försök 11. I försök 4 blev nästa serie 6/10, vi kan därför glömma den tidigare 2/10-serien. I försök 11 fick vi 8/10 vilket kan indikera en skillnad. Vi kunde dock inte få bättre än 7/10 för nästföljande serie, vilket gör det hela skakigt. Ett sista försök att få denna 20-serie signifikant är att slå ihop dem och vi får 15/20, vilket ger p=0.02. Men är detta sant? Nja, vi måste testa den mot övriga tabeller som vi fått under testet. Vi gör den allra enklaste först, vi testar vår 15/20 resultat mot 10/20 (slump) med en Fishers exakt (vi kan ju också välja nästföljande n=20 i vår serie, men egentligen bör alla data testas i en 2 x n tabell):

Fall 1: våra 15/20 mot 10/20 ger p=0.19. Alltså icke signifkant.
Fall 2: våra 15/20 mot nästföljande 20-serie (vilket är samma 10/20 som i fall 1), p=0.19
Fall 3: Nu börjar vi selektera, aja baja…våra 15/20 mot den sista 20-serien (8/20), p=0.055.
Fall 4: Vi jämför 15/20-serien mot de nästföljande 4 misslyckade tester (ihopslagna) och gör ett chi-2 (ingen tal blir lägre än 5) i en 2 x 5 tabell.. Följande fås: p=0.132 (alltså ej signifikant).

Vilket resultat från vår 20-serie måste vi då ha för att få statistik konfidens mot 10/20 i en Fishers?. Jo vi måste ha minst 18/20 korrekt jämfört med 10/20, dvs antigen 8/10+10/10, 9/10+9/10, eller 10/10+8/10.

Så är det med det.

PS. Ang. en- och tvåsvansade test. I vår hypotes ovan distingerar vi inte från alla fel eller alla rätt vilket i grunden leder till ett tvåsvansat test. Man kan analysera i hur stor grad folk verkligen väljer tvärtom i sina svarsserier. Specar vi H1 till skillnad från pi=0.5 eller ska vi speca den till signifkant bättre än slump (=korrekt angivna svar)? I grund och botten förväntar vi oss korrekta svar (utifrån en träning som gjorts) vilket i de flesta analyser borde rendera ett ensvansat test, ex pi=0.5 mot 0.9. Därför bör man nog alltid redovisa p för både en- och tvåsvansat. För ett ensvansat Fisher räcker det med 17/20 mot 10/20 för att komma till p=0.02. DS

T

[DQ-20]

Men du behöver givetvis inte svara. För att travestera Lundell: ett inställt svar är och också ett svar. /D

Skälet var, precis som jag sa i inlägget innan att det fanns de som inte uppfattat det Svante skrivit på rätt sätt.

Det har funnits mer än nog av misstolkningar och ett rakt svar är mer tydliggörande än större textmassor ibland är.

Frågan är varför du undrar vad som gör det intressant för oss andra att veta hur han ser på saken. Det är väl rätt självklart att ett klargörande leder till mindre misstolkningar.

Din fråga till mig, så här långt i efterhand, där du ber mig klargöra mina motiv är däremot besynnerlig. Den som isåfall skulle ifrågasätta den borde vara Svante om han såg något konstigt i den. Det tror jag inte han gjorde, utan tvärtom tror jag han är väl insatt i motivet till den.

Den här textmassan har väl inte direkt drivit sakfrågan framåt utan bluddrar bara tråden. Därav min önskan att du kunde ställa en fråga som inte har ett jäkla skit med sakfrågan att göra i ett PM om du hade ett personligt intresse av svaret.

En insinuering är också en insinuering min kära Dahlqvist!

Jag förstår ingenting.

/D

[DQ-20]

Men jag kanske helt missuppfattar vad konfidens är: Jag tänker mig att konfidensen kommer in, bl a, i prediktion, dvs det är den tilltro man har till att man skulel få samma resultat nästa gång med samma test.

Jag kan då säga att det är en typisk missuppfattning. Konfidens är på det hela taget ett mycket olyckligt begrepp eftersom det, som exemplifieras ovan, lätt leder till begreppet omvänd sannolikhet (typ, "resultaten är 99% säkra). Signifikanstest har inte med tilltro att göra utan med brist på misstro. Jag har f ö lagt märke till att IÖ oftast använder statistiskt signifikant och inte ordet "konfidens".

Om vi tar f/e-test så innebär en signifikansnivå på p=.05 att vi under upprepad sampling från ett hypotetiskt universum av alla hittills gjorda och icke gjorda försök kommer att uppnå detta eller starkare resultat i 5% av alla försök även om det inte finns någon effekt (dvs. den sk nollhypotesen gäller och proportionen korrekta svar blir 0.5). Vi får alltså veta att ett visst resultat eller skillnad uppstår med en viss frekvens som ett resultat av att vi gör slumpmässiga urval från en oändlig popullation. Om det är just vårt försök som genererats (eller motverkats) av denna slumpmässiga process kan vi inte veta.

Ett signfikanstest ger i isolation ingen indikation för vilken tilltro vi skall sätta till resultaten, ej heller vad vi skall förvänta oss nästa gång. Denna senare typ av sannolikhetsbegrepp brukar kallas subjektiv sannolikhet (sannolikhet tillämpat på enskilda händelser) och bör inte förväxlas med det sannolikhetsbegrepp som bygger på relativ frekvens (vilket är det som är relevant för signifikanstest.)

/D

[n3mmr]

Om vi tar f/e-test så innebär en signifikansnivå på p=.05 att vi under upprepad sampling får ett hypotetiskt universum av alla hittills gjorda och icke gjorda försök kommer att uppnå detta eller starkare resultat i 5% av alla försök även om det inte finns någon effekt (dvs. den sk nollhypotesen gäller och proportionen korrekta svar blir 0.5).

/D

Det fattas nåt eller några ord i detta stycke. Jag hajar 0...

[DQ-20]

Om vi tar f/e-test så innebär en signifikansnivå på p=.05 att vi under upprepad sampling får ett hypotetiskt universum av alla hittills gjorda och icke gjorda försök kommer att uppnå detta eller starkare resultat i 5% av alla försök även om det inte finns någon effekt (dvs. den sk nollhypotesen gäller och proportionen korrekta svar blir 0.5).

/D

Det fattas nåt eller några ord i detta stycke. Jag hajar 0...

Ja, det skall vara "från ett hypotetiskt..." iställer för "får". Solly. Nyckelbegreppen är "hypotetisk oändlig population" och "upprepade urval"

/D

[Svante]

Oavsett vilket kan man dock säga att Morello kan höra skillnad mellan F och E med en statistisk signifikans >98,4%. I praktiken hade jag inte stoppat serien vid nio dock, men vid 10 eller 11, om du hade fortsatt svara rätt (även om du svarat efter Svante! Tro't eller ej...).

Med viss info känd före testen (exempelvis att det redan finns tecken på att Morello är en god lyssnare, och att det därför är hans svar som räknas) är SS >99,6% för att vi i testen lyckats påvisa att apparaten har en hörbar färgning.

Ok, det här är en bit på väg till att göra det begripligt hur du räknar och det är bra. Kan man inte beskriva metoden i sin helhet kan man i alla fall ge några exempel som här, och åtminstone kolla en del av förfarandet.

Min första fråga, när du säger att konfidensen blir 99,6% om Morello är en god lyssnare, varför betyder det att du kan bortse ifrån Svantes svar? Och om du ändå hade tänkt göra det, varför fick han vara med i testet från början.

Koll:

Jag antar att du räknar ut 99,6% som 1-2/2^9=0,996, dvs dubbelsidigt (både alla rätt och alla fel är ok).

...och 98,4% kom ifrån 1-2/2^7=0.984? Du bortsåg alltså från de svar där Svante svarade först?

En sista fråga, hur med hur stor konfidens kan man säga att apparaten färgar ljudet?

[n3mmr]

Om vi tar f/e-test så innebär en signifikansnivå på p=.05 att vi under upprepad sampling får ett hypotetiskt universum av alla hittills gjorda och icke gjorda försök kommer att uppnå detta eller starkare resultat i 5% av alla försök även om det inte finns någon effekt (dvs. den sk nollhypotesen gäller och proportionen korrekta svar blir 0.5).

/D

Det fattas nåt eller några ord i detta stycke. Jag hajar 0...

Ja, det skall vara "från ett hypotetiskt..." iställer för "får". Solly. Nyckelbegreppen är "hypotetisk oändlig population" och "upprepade urval"

/D

Tack!!

Ett inverst mått på misstro!

[Svante]

Jag kan då säga att det är en typisk missuppfattning. Konfidens är på det hela taget ett mycket olyckligt begrepp eftersom det, som exemplifieras ovan, lätt leder till begreppet omvänd sannolikhet (typ, "resultaten är 99% säkra). Signifikanstest har inte med tilltro att göra utan med brist på misstro. Jag har f ö lagt märke till att IÖ oftast använder statistiskt signifikant och inte ordet "konfidens".

Ja, det där är lite lustigt. Jag brukar konsekvent, tror jag, använda ordet konfidens när jag pratar om just hifilyssningstestarstatistik. Annars gör jag som forskare gör i allmänhet, dvs pratar om signifikans och p-värden.

Jag har egentligen ingen bra förklaring till varför, annat än att det jag läste som ung hifinörd alltid använde begreppet konfidens. Jag tror att jag in nån sorts ambition att vara konsekvent bara har fortsatt så. Det kanske är dumt.

Jag tror ändå att konfidensbegreppet har en fördel för "vanligt folk", det verkar lättare att förstå "99%" säker än "1% osäker". Jag är inte riktigt säker på, just nu iaf, varför "tilltro" skulle vara skilt från "brist på misstro".

Fast jag är övertygad om att Dq har ett dräpande argument . Eller så levererade han det redan i just det inlägg som jag citerade.

[tvett]

Yes I have made blind tests and scored 99.99%, good enough.

Kan någon förklara för mig som är okunnig om statistik vid blindtest hur många testomgångar det krävs för detta procent-tal.

[Thomas_A]

Yes I have made blind tests and scored 99.99%, good enough.

Kan någon förklara för mig som är okunnig om statistik vid blindtest hur många testomgångar det krävs för detta procent-tal.

Hu, det behövs inte så värst många. Men men...min trovärdighet är inte stor för den killen.

[Svante]

Yes I have made blind tests and scored 99.99%, good enough.

Kan någon förklara för mig som är okunnig om statistik vid blindtest hur många testomgångar det krävs för detta procent-tal.

Som minst?

Bestäm i förväg att du ska lyssna 14 gånger och endast acceptera alla rätt.

Klarar du det blir konfidensen 1-1/2^14=99,994%

Det betyder fortfarande inte att skillnaden är stor. Den blir ju inte större för att man lyssnar fler gånger.

[tvett]

Som minst?

Bestäm i förväg att du ska lyssna 14 gånger och endast acceptera alla rätt.

Klarar du det blir konfidensen 1-1/2^14=99,994%

Det betyder fortfarande inte att skillnaden är stor. Den blir ju inte större för att man lyssnar fler gånger.

Misstänker att han inte menar att han hade rätt i 99.99% av fallen

Så vi pratar alltså om 13 rätt.

Fast på tipset så blir konfidensen 99.9999994% med 13 rätt.

edit: förtydligar att jag räknat med 1X2

[Svante]

Så är det med det.

Hmm. Jag är inte säker på att jag förstår din slutsats.

Om den är som jag tror, så är den att eftersom du har letat efter en falsk signifikans, men inte hittat den, så finns den inte. Eller missförstår jag?

Mitt förslag är annars att göra många fler simuleringar av den sort som du gjorde. I mina simuleringar gör jag typiskt en miljon serier, det är inte särskilt jobbigt för datorn. Då syns påverkan på signifikansen väldigt tydligt.

[dimitri]

Tvett
Därför att i stryktipset har man 13*3 tabell (oavgjort också) och inte 13*2 tabell.

[Thomas_A]

Så är det med det.

Hmm. Jag är inte säker på att jag förstår din slutsats.

Om den är som jag tror, så är den att eftersom du har letat efter en falsk signifikans, men inte hittat den, så finns den inte. Eller missförstår jag?

Mitt förslag är annars att göra många fler simuleringar av den sort som du gjorde. I mina simuleringar gör jag typiskt en miljon serier, det är inte särskilt jobbigt för datorn. Då syns påverkan på signifikansen väldigt tydligt.

Jag åskådliggjorde testutfall och posthoc-tester.. Man kan alltså testa styrkan i de fynd man gör om man känner till hur många serier som är gjorda och räknar på hela resultatet. Visst, det kan aldrig bli perfekt, men det är en kontroll mot fishing. Du får gärna göra 1 miljon simuleringar, har inte riktigt den kapaciteten. Utgår du från 1 miljon serier för att "fiska" fram minst 18/20 i rad, testa då hela rasket i en 2 x 1,000,000 tabell.

[Svante]

Här är några fler exempel. I detta har jag gjort en liten simulering med slumptal. Den innehåller 20 omgångar med 10-serier. Jag vill se om någon av min slumpgenererade serier ger en signifikant skillnad genom att göra post-hoc tester.

Designen på testet är att använda en serie på 10. Jag lägger också dit ett konditionellt test, fast tvärtom Svantes. Om serien innehåller 3-7 korrekta svar avslutas den vid n=10. Om den således innehåller 8, 9, eller 10 rätt eller 8, 9, eller 10 fel fortsätter den med ytterligare n=10.

Jag testar således alla serier som gjorts under ”testdagen”. Detta blev det dokumenterade resultatet.

1: 6/10
2: 3/10
3: 5/10
4. 2/10 !
5. 6/10, dvs resultatserien från serie 4 kunde inte verifieras. Inte heller totalen 8/20 är signifikant från slumpen.
6. 3/10
7. 6/10
8. 5/10
9. 5/10
10. 7/10
11. 8/10 !
12. 7/10, dvs serien kunde inte verifieras (max 2 fel). Dock blir totalen 15/20 signifikant skild från pi=0.5. Mer om detta längre ner.
13. 6/10
14. 4/10
15. 5/10
16. 7/10
17. 4/10
18. 4/10
19. 4/10
20. 4/10

Summa totalt: 101/200

Totalt från 20 sessioner så fick vi två initiala indikationer på sned proportion, försök 4 och försök 11. I försök 4 blev nästa serie 6/10, vi kan därför glömma den tidigare 2/10-serien. I försök 11 fick vi 8/10 vilket kan indikera en skillnad. Vi kunde dock inte få bättre än 7/10 för nästföljande serie, vilket gör det hela skakigt. Ett sista försök att få denna 20-serie signifikant är att slå ihop dem och vi får 15/20, vilket ger p=0.02. Men är detta sant? Nja, vi måste testa den mot övriga tabeller som vi fått under testet. Vi gör den allra enklaste först, vi testar vår 15/20 resultat mot 10/20 (slump) med en Fishers exakt (vi kan ju också välja nästföljande n=20 i vår serie, men egentligen bör alla data testas i en 2 x n tabell):

Fall 1: våra 15/20 mot 10/20 ger p=0.19. Alltså icke signifkant.
Fall 2: våra 15/20 mot nästföljande 20-serie (vilket är samma 10/20 som i fall 1), p=0.19
Fall 3: Nu börjar vi selektera, aja baja…våra 15/20 mot den sista 20-serien (8/20), p=0.055.
Fall 4: Vi jämför 15/20-serien mot de nästföljande 4 misslyckade tester (ihopslagna) och gör ett chi-2 (ingen tal blir lägre än 5) i en 2 x 5 tabell.. Följande fås: p=0.132 (alltså ej signifikant).

Vilket resultat från vår 20-serie måste vi då ha för att få statistik konfidens mot 10/20 i en Fishers?. Jo vi måste ha minst 18/20 korrekt jämfört med 10/20, dvs antigen 8/10+10/10, 9/10+9/10, eller 10/10+8/10.

Så är det med det.

PS. Ang. en- och tvåsvansade test. I vår hypotes ovan distingerar vi inte från alla fel eller alla rätt vilket i grunden leder till ett tvåsvansat test. Man kan analysera i hur stor grad folk verkligen väljer tvärtom i sina svarsserier. Specar vi H1 till skillnad från pi=0.5 eller ska vi speca den till signifkant bättre än slump (=korrekt angivna svar)? I grund och botten förväntar vi oss korrekta svar (utifrån en träning som gjorts) vilket i de flesta analyser borde rendera ett ensvansat test, ex pi=0.5 mot 0.9. Därför bör man nog alltid redovisa p för både en- och tvåsvansat. För ett ensvansat Fisher räcker det med 17/20 mot 10/20 för att komma till p=0.02. DS

T

Hmm, jag sitter och försöker formulera om din testdesign till mitt språk (i termer av avbrottsvillkor).

Jag slänger ur mig lite antaganden, bara för att vi ska få något att diskutera:

Antag att du i den första serien stannar och anser att du har tillräcklig konfidens vid 10/10, men att du fortsätter till 20 om du har 7 8 eller 9/10. Om du då har 15/20 så anser du att du har konfidens.

I mitt språk blir en sån design 10-20-20-20-20-20.

Om jag simulerar det ger testet ungefär 97,9% konfidens.

[Thomas_A]

Svante,

testserien stannar endast om man fått tre fel (ensvansad modell) eftersom det är onödigt att fortsätta längre. Har man kommit till 8/10, 9/10 eller 10/10 finns det anledning att upprepa testet. Får man återigen 8/10, 9/10 eller 10/10 är man nåt på spåren.

Alltså är mitt avbrottsvilkor tvärtom ditt förslag. Man stannar vid 10 när felen är för stora, det är ingen större ide att fortsätta. Vid mer än 7 rätt konfirmeras resultatet i en ny serie.

Notera också att jag inte fick statistiskt signifikant vid 15/20, pga av att jag gjort ett urval från 20 st 10-serier.

[Svante]

Svante,

testserien stannar endast om man fått tre fel (ensvansad modell) eftersom det är onödigt att fortsätta längre. Har man kommit till 8/10, 9/10 eller 10/10 finns det anledning att upprepa testet. Får man återigen 8/10, 9/10 eller 10/10 är man nåt på spåren.

Alltså är mitt avbrottsvilkor tvärtom ditt förslag. Man stannar vid 10 när felen är för stora, det är ingen större ide att fortsätta. Vid mer än 7 rätt konfirmeras resultatet i en ny serie.

Notera också att jag inte fick statistiskt signifikant vid 15/20, pga av att jag gjort ett urval från 20 st 10-serier.

Ok... Men vad är syftet? Att öka konfidensen, men avbryta om det har gått åt skogen?

Varför ska man sätta just 10 som gräns, varför behövs gränser överhuvudtaget?

Jag är helt med på att man kan bryta om man ser att man inte kommer att uppnå konfidens, och det kan man ofta göra tidigt. Men då måste man ändå redovisa serien som misslyckad.

[Thomas_A]

Svante,

testserien stannar endast om man fått tre fel (ensvansad modell) eftersom det är onödigt att fortsätta längre. Har man kommit till 8/10, 9/10 eller 10/10 finns det anledning att upprepa testet. Får man återigen 8/10, 9/10 eller 10/10 är man nåt på spåren.

Alltså är mitt avbrottsvilkor tvärtom ditt förslag. Man stannar vid 10 när felen är för stora, det är ingen större ide att fortsätta. Vid mer än 7 rätt konfirmeras resultatet i en ny serie.

Notera också att jag inte fick statistiskt signifikant vid 15/20, pga av att jag gjort ett urval från 20 st 10-serier.

Ok... Men vad är syftet? Att öka konfidensen, men avbryta om det har gått åt skogen?

Varför ska man sätta just 10 som gräns, varför behövs gränser överhuvudtaget?

Jag är helt med på att man kan bryta om man ser att man inte kommer att uppnå konfidens, och det kan man ofta göra tidigt. Men då måste man ändå redovisa serien som misslyckad.

Syftet är att göra testet något känsligare för fynd som 8/10. Korrekt att man måste redovisa misslyckade serier, och jag tycker att man bör fullfölja till 10 ändå (för att kunna ha jäfmörbara serier i beräkningar).

[n3mmr]

Det betyder fortfarande inte att skillnaden är stor. Den blir ju inte större för att man lyssnar fler gånger.

Nej, det förstår vi. Men det måste väl betyda att vi blir säkrare och säkrare i någon mening på att skillnaden faktiskt finns?

Dvs om man ser att någon detekterar skillnaden i ett test + resultat med hög konfidens så är man mer benägen att tro på att skillnaden finns än om konfidensen var låg, eller?

[DQ-20]

Fast jag är övertygad om att Dq har ett dräpande argument . Eller så levererade han det redan i just det inlägg som jag citerade.

Dräpande och dräpande. Man kan säkert uttrycka sig på olika sätt men falsifieringtanken utgår ju från en grundläggande misstro mot all kunskap. Mest tycker jag att det är ett kul sätt att uttrycka sig. Signifikanstest utgår ju oftast från en nollhypotes som får anses vara sann tills vidare. Vi har sedan en alternativ hypotes, t.ex. att det finns en effekt eller skillnad, vilken vi misstror. När graden av misstro sjunker under en viss nivå så förkastar vi nollhypotesen och misstror bara den alternativa hypotesen lite grann. Eller så är det bristen på tilltro till nollhypotesen som får oss att tro att är det inte det ena så är det det andra.

Allvarligt talat så är graden av tilltro vi sätter till ett probabilistiskt resultat en komplicerad process där vi dels tar hänsyn till signifikansnivån i resultatet, men också hur sannolikt vi tycker att resultatet är utifrån vad vi visste tidigare. Det spelar ingen större roll om vi har ett signifikant resultat på 0.1%-nivån om vi tycker att resultatet är mer eller mindre omöjligt. Vi kommer helt enkelt inte att sätta tilltro till osannolika resultat som vi inte kan foga in i övrig kunskapsmassa. Jag ser det alltså som en en baysiansk process. Det är också på den här nivån som jag tycker ordet tilltro (konfidens) kan komma in. Det är när vi med vårt agerande visar att vi har tilltro till ett visst resultat när vi har fogat in det in existerande kunskap och börjar fatta beslut utifrån denna. Observera att jag inte har något emot begreppet konfidensintervall, men det är en annan sak.

Jag tror ändå att konfidensbegreppet har en fördel för "vanligt folk", det verkar lättare att förstå "99%" säker än "1% osäker". Jag är inte riktigt säker på, just nu iaf, varför "tilltro" skulle vara skilt från "brist på misstro".

Jag försöker själv inte att förklara innebörden av signfikanstest för "vanligt folk" om du med "vanligt folk" menar människor som inte förstår innebörden av signifikanstest. Annars blir det lätt så att man kan tro att resultaten är "99% säkra" eller "1% osäkra" vilket är en feltolkning av begreppet signifikansnivå. Laplace försökte dock övertyga oss om motsatsen och Fisher var ute och vevade med sitt "fiduciary interval". De lyckades dock inte övertyga den statistiska vetenskapen om detta.

Signifikanstest är hopplöst inadekvata för att ta reda på det vi söker, nämligen var som är sant. Men i brist på annat är det det enda vi har.

/D

[IngOehman]

Är inte helt säker på det jag kommer att skriva nu, men så här ser jag på ordens betydelser:

Statistisk signifikans betyder ju rent sematiskt ungefär "sannolikhet för betydelsefullhet".


Man använder dock i akademiska kretsar ofta begreppet för "risken att felaktigt förkasta nollhypotesen". DET tycker jag är ett omvänt sätt att använda uttrycket.

Jag brukar istället använda det för att ange "chansen att detektionen är signifikant".


Jag menar alltså att bruket av ordet måste bero av sammanhanget*. Därför tycker jag att det bör framgå av sammanhanget vad man talar om. Om man skriver att man gjort en studie med syfte att försöka detektera en apparat, och att man efter studien räknar ut och redovisar att statistiska signifikansen för detektionen är >99% - är det ju detektionen man anger den statistiska signifikansen för - inte för att en nollhypotes oavsiktligt råkar förkastats. Man menar helt enkelt det man säger.

>99% betyder i klartext att den detektion man gjort är sanning i >99% av fallen, statistiskt. Det vill säga att den är osann i <1% (<0,01) av fallen.

Mitt sätt att använda begreppet är inte praxis, men jag tycker det är ett bra sätt!


Vh, iö

- - - - -

*Jag tycker inte att det är bra att använda begreppet alls, om man inte klargör huruvida det är "detektionen" eller "risken för en falsk detektion" som man redovisar.


PS. Den som tror att den statistiska signifikansen är ett mått på detektionens storlek är helt ute och cyklar, men är det någon som tror det då? Jag har sett att Svante varit inne på att det kan vara ett problem, men jag har så vitt jag vet inte sett något enda fall där jag fått intryck att någon trott något sådant.

[DQ-20]

Man använder dock i akademiska kretsar ofta begreppet för "risken att felaktigt förkasta nollhypotesen". DET tycker jag är ett omvänt sätt att använda uttrycket.

Ja, det är dessutom fel. Risken för beslutsfel av typen 1 och signifikansnivå är inte alltid identiska.

PS. Den som tror att den statistiska signifikansen är ett mått på detektionens storlek är helt ute och cyklar, men är det någon som tror det då? Jag har sett att Svante varit inne på att det kan vara ett problem, men jag har så vitt jag vet inte sett något enda fall där jag fått intryck att någon trott något sådant.

Min egen erfarenhet är att man genom att trycka extra mycket på att man uppnått en hög signifikansnivå kan få människor att helt bortse från effektstorleken. Det gäller även forskare. Eller kanske i synnerhet dem. Genom att ha stora urval kan även meningslösa skillnader bli statistiskt signifikanta. Och därmed "significant" (=eng. viktiga).

/D

[Thomas_A]

En viktig information som kan användas för designen är ju vilket förväntat värde man ska räkna på, exempel ett förväntat utfall på pi=1.0 eller 0.9 eller både 0.1 och 0.9 etc.

Gör man en 10-serie och förväntar sig 0.9 så är ju 8, 9, och 10 rätt alla gångbara. För en power på 80% och p>0.01 bör man ha minst n=15 för att särskilja 0.5 och 0.9.

Sen kan man som sagt ha annan information, mätningar mm som kan läggas in i en analys, då blir det mer komplicerat.

Några faktarutor:

http://www.graphpad.com/articles/interp ... p_comp.htm
http://www.graphpad.com/articles/interp ... /power.htm
http://www.graphpad.com/articles/interp ... /bayes.htm

[IngOehman]

Man använder dock i akademiska kretsar ofta begreppet för "risken att felaktigt förkasta nollhypotesen". DET tycker jag är ett omvänt sätt att använda uttrycket.

Ja, det är dessutom fel. Risken för beslutsfel av typen 1 och signifikansnivå är inte alltid identiska.

Och ändå är det oftast i den bemärkelsen man ser det användas. Beklagligt.

PS. Den som tror att den statistiska signifikansen är ett mått på detektionens storlek är helt ute och cyklar, men är det någon som tror det då? Jag har sett att Svante varit inne på att det kan vara ett problem, men jag har så vitt jag vet inte sett något enda fall där jag fått intryck att någon trott något sådant.

Min egen erfarenhet är att man genom att trycka extra mycket på att man uppnått en hög signifikansnivå kan få människor att helt bortse från effektstorleken. Det gäller även forskare. Eller kanske i synnerhet dem. Genom att ha stora urval kan även meningslösa skillnader bli statistiskt signifikanta. Och därmed "significant" (=eng. viktiga).

Å tusan.

Om det du skriver är sant är det skrämmande.

Jag har haft turen att missa dessa rapporter. Har aldrig sett några där jag har uppfattat några sammanblandningar mellan felstorlek och detektionssignifikansen. (Många andra häpnadsväckande feltänk har jag sett dock, som varit minst lika vetenskapsvidriga! )


Men: Hur löser man problemet? I den akademiska världen borde det vara lätt att lösa - nämligen genom att knäppa de forskare på näsan som inte fattar att de inte får formulera sig så. Finns det någon som kan ta det näsknäppningsuppdraget?

Det känns ju som sådana formuleringar visar på signifikanta brister i det vetenskapliga förståndet/kunskapen, och om det finns forskare som uppvisar sådana brister - hur kan man då vara säker på att inte även granskarna gör det?


Vh, iö

[b_lindroos]

Genom att ha stora urval kan även meningslösa skillnader bli statistiskt signifikanta. Och därmed "significant" (=eng. viktiga)./D

Ja, det där är en omtalad brist i Neyman-Pearson inferensen.

[dimitri]

Nu tycker jag kanske att självgodhetens lampa börjar lysa onödigt starkt.
Signifikanta skillnader i stora populationer förekommer även om skillnaderna kan vara ytterst små. Icke desto mindre finns de och i förekommande fall skall redovisas. Det är ofta mera värdefullt att hitta signifikanta skillnader i små populationer, det ska alltså inte behövas jätte stora material för att påvisa en skillnad. Så långt överens.
Men det är ett mycket uppmärksammat problem t.ex. inom medicinen. Så jag tror inte att någon av debattörerna behöver oroa sig för att problemet förbises.
Det vanliga är t.ex.:
ett tillstånd som förekommer hos 6 personer av 1000 i befolkningen kan med viss insats, t.ex. ett läkemedel reduceras till att det hittas hos 4 personer per 1000 (om alla 1000 behandlas).
Läkemedelsföretaget går ut med påståendet att läkemedlet kan minska risken för tillståndet med 33%. Det är iofs sant. Men i så fall måste man också redovisa de absoluta talen, inte bara de relativa. Av betydelse är också hur farligt/bagatellartat tillståndet är och hur mycket läkemedlet kostar (och hu farligt läkemedlet i sig kan vara)

[Morello]

Med 99,9% konfidensnivå har distorsionen ökat pga. den nya transistorn. Den ökade hela en faktor 1/10000.

Någon mer som kikat på mitt exempel?

Svante hade någon fråga till Ingvar vill jag minnas.

[IngOehman]

Med 99,9% konfidensnivå har distorsionen ökat pga. den nya transistorn. Den ökade hela en faktor 1/10000.

Någon mer som kikat på mitt exempel?

Svante hade någon fråga till Ingvar vill jag minnas.

Du säger det ja Morello... men jag är inte säker på att jag orkar med så mycket mer av den evighetsdebatten.

Tycker egentligen inte det finns något skäl för Svante att vilja veta HUR jag gör när jag räknar. Dels kommer han inte att behöva bekymmra sig om det längre, eftersom han sett till att någon annan tar över ansvaret (eller i varje fall att jag inte gör det längre). Det intressanta borde vara att han får veta om han håller med om det jag kommer fram till/påstår, eller om han är av en annan uppfattning.

Hade han haft den inställningen från början hade världen sett bättre ut idag. I varje fall "lokalt".


Men okej'rå... Jag gör ett försök till!

Oavsett vilket kan man dock säga att Morello kan höra skillnad mellan F och E med en statistisk signifikans >98,4%. I praktiken hade jag inte stoppat serien vid nio dock, men vid 10 eller 11, om du hade fortsatt svara rätt (även om du svarat efter Svante! Tro't eller ej...).

Med viss info känd före testen (exempelvis att det redan finns tecken på att Morello är en god lyssnare, och att det därför är hans svar som räknas) är SS >99,6% för att vi i testen lyckats påvisa att apparaten har en hörbar färgning.

Ok, det här är en bit på väg till att göra det begripligt hur du räknar och det är bra.

Då misstolkar du syftet med det jag skrev. Jag avsåg inte hjälpa dig att "förstå hur jag räknar", jag avsåg bara visa svaret på frågan. Jag avsåg visa, att det jag kommer fram till är något du håller med om, om du tänker efter och räknar du me'. (Gör gärna det!)

Hur jag räknar spelar ingen roll. Jag kanske använder min intuition bara - jag tar det jag vet som utgångspunkt, blundar, och berättar sen det svar jag "ser".

(Tro nu inte att det har något med att "höfta" att göra, och tolka för tusan inte heller det jag skrev som att jag informerar dig om att det är så det går till.)

Varför litar du på din miniräknare? Är det för att du vet exakt hur den gör inuti, eller beror det på att du inte funnit att det finns skäl att misstro den?

Kan man inte beskriva metoden i sin helhet kan man i alla fall ge några exempel som här, och åtminstone kolla en del av förfarandet.

Nej, du kan inte "kolla" förfarandet, för jag har inte sagt något om det. (Väldigt avsiktligt!)

Min första fråga, när du säger att konfidensen blir 99,6% om Morello är en god lyssnare, varför betyder det att du kan bortse ifrån Svantes svar?

1. Jag säger inte att konfidensen blir >99,6% "om Morello är en god lyssnare". Läs igen - och gör det noggrannare. Läs mer än bara orden. Bry dig om hur de är ordnade också.

2. Jag har inte bortsett ifrån Svantes svar. Att jag gjort det är en gissning från din sida bara. >99,6 relaterar inte till varken lyssnare Morello eller Svante, det relaterar till apparatens hörbarhet. Svaret är dock villkorat tidigare beslut om lyssnarnas förmåga.

Är dessa saker verkligen så här svåra att fatta för dig?

Och om du ändå hade tänkt göra det, varför fick han vara med i testet från början.

Eftersom du fråga är hypotetisk, och felaktig (du ber mig svara på varför jag hade beslutat något som jag inte hade beslutat ) finns det inget svar till det.

Däremot kan jag säga varför Svante fick vara mer - det beror på att det är APPARATEN som är i fokus, och då spelar det ingen roll vilken metod Morello använder för att avge sina svar. Om hans teknik att nå rätt svar är att välja att ibland svara ja på grund av att Svante svarat något före - så får han det! Vägen till information är ointressant, förutsatt att du inte tror på magi och betraktar magi som fusk...

Det är en statistisk sjävklarhet och ingenting jag borde behöva motivera.

Koll:

Jag antar att du räknar ut 99,6% som 1-2/2^9=0,996, dvs dubbelsidigt (både alla rätt och alla fel är ok).

Jag svarade inte 99,6, jag svarade >99,6%. Exempelvis 99,99%.

Men ja, det är så man hade räknat, om frågan hade varit det du antyder. Man räknar alltså inte som du tidigare räknat - den där skumma ekvationen där du kunde nå SS <50%.

Tycker kanske dina räknetokerier är rätt ointressanta, men om du nu verkar vilja älta frågorna i den här tråden vidare kan jag väl (du publicerade ju delar av styrelsens emailkorrespondans) nämna det: Du talade om konfidenser <<50% i den där emailtråden du startade med LTS-styrelsen, även EFTER att du enligt egen uppgift korrigerat din egen felaktiga matematik... Hur mycket koll har man på statistiken då?

Sen blev du upprörd av att jag förkastade dumheterna, och du startade den här tråden på faktiskt. Vad var syftet? Hämnd? Isåfall (jag kan också vara hypotetisk! ) undrar jag om du anser att du uppnått det du ville? Undrar förstås också om det är rimligt att välja ut någon att hämnas på, för de tokerier man (du) skrivit själv.

Den första frågan kan jag ställa oavsett om det var hämnd du var ute efter förresten: Hur du uppnått det du ville?

...och 98,4% kom ifrån 1-2/2^7=0.984? Du bortsåg alltså från de svar där Svante svarade först?

Nej, det stämmer inte. Jag svarade för övrigt inte alls 98,4%. Läs igen, och gärna noggrannare.

En sista fråga, hur med hur stor konfidens kan man säga att apparaten färgar ljudet?

Ingen aning. Jag har alldeles för lite information tillgänglig för att kunna svara på det. Lång ifrån vad jag tycker är tillräcklig SS i varje fall, om jag tvingas räkna i efterhand utan att ha varit på plats och har vetat hur det gick till (eller rättare sagt har kunna styra hur det gick till).

Hursomhelt är det din tur att svara nu, om du tycker att det går att göra det på den bristfälliga informationen som finns tillgänglig. Berätta vad du själv räknar fram, och om du kommer från till siffror lägre än 50% så börja om från början. (Förlåt, kunde inte låta bli )

Så jag tror inte att någon av debattörerna behöver oroa sig för att problemet förbises.

Det trodde inte jag heller. Jag har som sagt inte sett att (just detta = sammanblandning mellan konfindens och styrka) varit något problem i några av de avhandlingar eller rapporter jag läst. När jag fick läsa att det förekommer måste jag ju ta det på allvar dock. Min misstanke är att du och jag Dimitri, har liknande erfarenheter, men att Dalquist har andra - och att vi därför borde lyssna på honom. Bara för att vi inte stött på det betyder det ju inte att det inte finns, eller hur?


Vh, iö

[Kaffekoppen]

Oavsett vilket kan man dock säga att Morello kan höra skillnad mellan F och E med en statistisk signifikans >98,4%. I praktiken hade jag inte stoppat serien vid nio dock, men vid 10 eller 11, om du hade fortsatt svara rätt (även om du svarat efter Svante! Tro't eller ej...).

Med viss info känd före testen (exempelvis att det redan finns tecken på att Morello är en god lyssnare, och att det därför är hans svar som räknas) är SS >99,6% för att vi i testen lyckats påvisa att apparaten har en hörbar färgning.

Ok, det här är en bit på väg till att göra det begripligt hur du räknar och det är bra.

Jag tokar det som om IÖ anser att han har så god personkännedom att han inte behöver se Svantes tidigare svar som påverkande för det Morello ger. Därmed är Morellos svarsserie obruten.

[Svante]

Hoppla, det var visst känsligt det där. Men jag kan fundera högt en stund på det där med konfidens <50%. Iofs så blir det en rätt akademisk fråga, men såna har vi ju avhandlat förr. Om man tycker att 90% konfidens är för lite så blir ju allt mindre än det rätt ointressant. Men ok, jag gör ett försök att förklara hur jag (har för mig) att jag räknade.

Men ja, det är så man hade räknat, om frågan hade varit det du antyder. Man räknar alltså inte som du tidigare räknat - den där skumma ekvationen där du kunde nå SS <50%.

Tycker kanske dina räknetokerier är rätt ointressanta, men om du nu verkar vilja älta frågorna i den här tråden vidare kan jag väl (du publicerade ju delar av styrelsens emailkorrespondans) nämna det: Du talade om konfidenser <<50% i den där emailtråden du startade med LTS-styrelsen, även EFTER att du enligt egen uppgift korrigerat din egen felaktiga matematik... Hur mycket koll har man på statistiken då?

Jag ser begreppet konfidens som samma sak som 1-p, där p är sannolikheten att svarsserien, eller oftare en grupp av svarsserier uppstår av en slump. Det kan vara alla svarsserier som innehåller högst ett fel när serien är tio svar lång. Det finns ju elva sådana, och totalt 1024 möjliga, då blir p=11/1024 vilket är lite mer än 1%. Konfidensen är då knappt 99%.

Om vi då funderar på ett riktigt dåligt test, ett där vi godtar upp till 7 fel av 10, då är risken väldigt stor att någon av svarssekvenserna i den gruppen uppstår av en slump. Jag orkar inte räkna ut just nu hur stor risken är, men låt oss säga att den är 80%. Då skulle konfidensen bli 20%.

På samma sätt menar jag att ett upprepat test (jag tror det var det det handlade om i mailen) kan ge så låga konfidenser. Om man gör 1000 tester som vart och ett har konfidensen 99%, så är sannolikheten att inget av de testerna visar falsk positivt resultat 0,99^1000=0,043 promille. Det menar jag också är konfidensen, och den är ju hopplöst låg, vilket jag tycker är alldeles riktigt. Det testet kan man ju inte lita på.

Samma sak gäller om vi gör två serier med 99% konfidens, då blir sannolikheten att inget av dem visar falskt positivt resultat 0,99^2=98,01%.

Jag vet inte om det här är "rätt" eller praxis, men på sitt sätt tycker jag att det är vettigt. På något sätt så påminner det mig om debatten om man kan ha mer än 100% distorsion, dvs det är en debatt som inte har någonting av praktisk betydelse, men som kanske har funktionen att man till sist begriper bättre vad man egentligen menar när man använder begreppen.

Just nu förstår jag faktiskt inte varför testet med 1000 99%-iga serier skulle ge nära 50% konfidens. Vad betyder de 50 procenten?

[IngOehman]

Jag tycker det verkar som om du blandar ihop begreppen.

Du skriver konfidens i flera fall, men menar olika saker beroende på om det är en framräknad konfidens från en serie, eller om det är en kombinatorisk konfidens. Osnygg matamatik.

När du skriver:

Samma sak gäller om vi gör två serier med 99% konfidens, då blir sannolikheten att inget av dem visar falskt positivt resultat 0,99^2=98,01%.

tycker jag du snurrar till det illa värre...

Först och främst definierar du inte vad du menar med "positivt resultat". Om man med positivt resultat menar en detektion med >99% konfidens är ju sannolikheten att ingen av dem visar positiv resultat 0%. Det vet vi ju redan att båda gjorde!

Om du menar konfidensen för testerna tillsmmans är den snarare ~99,994% än 98,01%.

Att börja extrahera fram "konfidens på konfidensen själv" (istället för på utfallet) är lätt dubiöst, och att göra det när testen redan är gjord och svaret är givet, är dubbelt dubiöst. Sannolikheter använder man ju för alternativa utfall och för framtiden. Inte när svaret är givet, i varje fall inte utan att byta diciplin till filosofi...

Oavsett vilket kan man dock säga att Morello kan höra skillnad mellan F och E med en statistisk signifikans >98,4%. I praktiken hade jag inte stoppat serien vid nio dock, men vid 10 eller 11, om du hade fortsatt svara rätt (även om du svarat efter Svante! Tro't eller ej...).

Med viss info känd före testen (exempelvis att det redan finns tecken på att Morello är en god lyssnare, och att det därför är hans svar som räknas) är SS >99,6% för att vi i testen lyckats påvisa att apparaten har en hörbar färgning.

Ok, det här är en bit på väg till att göra det begripligt hur du räknar och det är bra.

Jag tolkar det som om IÖ anser att han har så god personkännedom att han inte behöver se Svantes tidigare svar som påverkande för det Morello ger. Därmed är Morellos svarsserie obruten.

För femtielfte gången: Tolka inte det jag skriver, jag har bett dig många gånger tidigare. Jag menar (med reservation för felskrivningar) alltid det jag skriver, och just det jag skriver. Jag avser ALDRIG lämna utrymme för tolkning. Hade jag menat det du försöker tolkar fram så hade jag skrivit det. Alltså: Jag menar det verkligen INTE!

Ditt förslag att jag skulle ha försökt framföra något sådant är ju, utöver att vara felaktigt, minst sagt upprörande rent vetenskapligt!

Man kan väl för tusan inte räkna statistisk signifikans på mjuka indata!


Vh, iö

[Kaffekoppen]

Bra!

Då kan jag krypa ner under stenen.

[IngOehman]

Bra!

Då kan jag krypa ner under stenen.

Närå, sluta tolka bara.

(Och framförallt är det bra om du inte antyder att jag "nog menat" något som är så
ovetenskapligt att jag får rysningar av det. Sådan "hjälp" behöver jag liksom inte. )


Vh, iö

[Svante]

Jag tycker det verkar som om du blandar ihop begreppen.

Du skriver konfidens i flera fall, men menar olika saker beroende på om det är en framräknad konfidens från en serie, eller om det är en kombinatorisk konfidens. Osnygg matamatik.

Hmm, jag förstår inte.

Framräknad konfidens från en serie, det är alltså vilken konfidens tex 9/10 ger, medans kombinatorisk skulle vara när jag väger ihop flera serier, med tex om de har 99% vardera och ger 98% tillsammans?

Har jag förstått det rätt?

I sådana fall förstår jag inte varför det är osnyggt, båda talar ju om konfidens, alltså hur mycket man kan lita på den enda serien i första fallet, respektive hur mycket man kan lita på testet som helhet i andra fallet.

[IngOehman]

Du kan inte kombinera utfallen utan att kombinera utfallsdata.

7 av 7 plus 7 av 7 ger 14 av 14. Inte 7 av 7 + ? av 7.


Vh, iö

[Thomas_A]

Trodde det var klart hur statistiken bör användas. Själv har jag ingen aning om vilka siffror det handlar om i de skarpa lägen som föranlett tråden, så jag kan inte bidra något mer.

[Svante]

Du kan inte kombinera utfallen utan att kombinera utfallsdata.

7 av 7 plus 7 av 7 ger 14 av 14. Inte 7 av 7 + ? av 7.


Vh, iö

Nja, alltså, det finns ju olika sätt att kombinera dem. Man måste bara bestämma sig för vilket sätt man vill göra det.

Menar du att (3 av 9) plus (9 av 9) ska ses som 12 av 18? Hur stor konfidens ger det då?

Och (0 av 7) och (7 av 7), vad blir det tillsammans? 7 av 14? Hur stor konfidens ger det då?

Det verkar vara att kasta bort kraft i testet om man inte ser serierna som separata, det räcker att ena serien är dålig så blir hela testet det. Om man i stället ser serierna som försök att uppnå tex 99% konfidens så kan den ena serien bli hur dålig som helst om bara den andra lyckas. Testet som helhet ger då ~98%, menar jag.

[Svante]

Trodde det var klart hur statistiken bör användas. Själv har jag ingen aning om vilka siffror det handlar om i de skarpa lägen som föranlett tråden, så jag kan inte bidra något mer.

Nej det har blivit lite lätt förvirrat nu. Helst skulle det skrivas en metodspec för att skingra förvirringen. Alla frågor som behöver komma upp har nog kommit upp i den här tråden och det verkar inte som fortsatt diskuss ska ge så mycket mer.

Nu skulle man behöva prata i stället.

[Thomas_A]

Du kan inte kombinera utfallen utan att kombinera utfallsdata.

7 av 7 plus 7 av 7 ger 14 av 14. Inte 7 av 7 + ? av 7.


Vh, iö

Nja, alltså, det finns ju olika sätt att kombinera dem. Man måste bara bestämma sig för vilket sätt man vill göra det.

Menar du att (3 av 9) plus (9 av 9) ska ses som 12 av 18? Hur stor konfidens ger det då?

Och (0 av 7) och (7 av 7), vad blir det tillsammans? 7 av 14? Hur stor konfidens ger det då?

Det verkar vara att kasta bort kraft i testet om man inte ser serierna som separata, det räcker att ena serien är dålig så blir hela testet det. Om man i stället ser serierna som försök att uppnå tex 99% konfidens så kan den ena serien bli hur dålig som helst om bara den andra lyckas. Testet som helhet ger då ~98%, menar jag.

3/9 + 9/9: Om det är gjort av en och samma testperson i en konsekutiv serie för samma H0/H1 så har man inte visat någon skillnad.
0/7 + 7/7: Om det är gjort av en och samma testperson i en konsekutiv serie för samma H0/H1 så han man inte visat någon skillnad.

Om det sker ofta från en och samma personer att man får väldigt spridda resultat kan man misstänka att de inte är pålitliga, alltså att de för vissa serier väljer att gissa medans andra inte, alternativt att de medvetet svarar tvärtom för att sabotera. Sådana personer måste väljas bort. Annars kan ju ovanstående resultat vara ett av de få slumpresultat som faktiskt kan hända, men sällan.

Om person 3/9 + 0/7 är en och samma person och 9/9 + 7/7 är en och samma person kan vi testa dem mot varandra. De blir signifikant skilda åt. Har man bestämt sig för ett ensvansat test så skulle man innan serierna börjat selekterad 9/9 + 7/7-personen först. Det är ju alltid bättre att göra så, träna, selektera och använd de förutbestämda bästa personerna. Testledaren kan ju i förhand bestämma att person 3/9 + 0/7 gärna får svara men hans resultat ej ska räknas på. I förhand alltså.

Det är iofs sant att chansen att hitta åtminstone ett p-värde under den kritiska gränsen ökar med antalet testade hypoteser pga av slump och urval.

Antag att vi i testet ovan genererat 4 p-värden. Det lägsta p-värdet är 9/9+7/7 vilket är 16/16, p=0.000015 (H0=0.5). Även om vi gjort genererat 4 p-värden är detta p-värde så pass lågt att vi kan med gott samvete säga att det är hög sannolikhet att denna person hör en skillnad. En Fishers mellan person och slump ger p=0.001.

[DQ-20]

Du kan inte kombinera utfallen utan att kombinera utfallsdata.

7 av 7 plus 7 av 7 ger 14 av 14. Inte 7 av 7 + ? av 7.


Vh, iö

Nja, alltså, det finns ju olika sätt att kombinera dem. Man måste bara bestämma sig för vilket sätt man vill göra det.

Menar du att (3 av 9) plus (9 av 9) ska ses som 12 av 18? Hur stor konfidens ger det då?

Och (0 av 7) och (7 av 7), vad blir det tillsammans? 7 av 14? Hur stor konfidens ger det då?

Det verkar vara att kasta bort kraft i testet om man inte ser serierna som separata, det räcker att ena serien är dålig så blir hela testet det. Om man i stället ser serierna som försök att uppnå tex 99% konfidens så kan den ena serien bli hur dålig som helst om bara den andra lyckas. Testet som helhet ger då ~98%, menar jag.

Man får inte slänga bort serier endast baserat på utfallet i den beroende varibeln. Gör man det så får man ju ta och räkna på det utfallrum som kan bli aktuellt. Om man på förhand vet eller åtminstone känner på sig att man kommer att slänga bort alla försöksserier som inte har någon chans att uppnå stipulerad statistisk signifikans så ingår ju dessa utfall inte längre i den oändliga population utfall från vilken man tar ett urval. Eftersom det här rör sig om en binominalfördelning så är det till att gå tillbaka och räkna på kombinatoriken (dubbel-urrk.) Om man däremot grundar sitt bortslängande på andra saker (och utfallet kan vara en del i denna förståelse) så handlar det snarare om att definiera omständigheterna kring experimentet. Om vi genom oväntade experimentutfall får anledning att tror/veta/misstänka upptäcker att flera oberoende variabler inte har rätt värde (typ att en av försökspersonerna är trött; okoncentrerad; tillfälligt bullerskadad; relativt okänslig för det fenomen som väntas ge utslag; har knäck i lurarna; sitter fel i förhållande till rum/högtalare; hundra andra saker som jag inte har en aning om) så kan det ju finnas fog för att slänga bort en eller flera testserier just för att det inte tillhör experimentet men att värdet på de oberoende variablerna inte finns tillgängliga förrän man börjat experimentera.

MEN, att slänga bort serier ur fördelningen bara för att de inte är tillräckligt "bra" skall kosta signifikans. En chans till gissning skall inte vara gratis.

/D

[DQ-20]

Men: Hur löser man problemet? I den akademiska världen borde det vara lätt att lösa - nämligen genom att knäppa de forskare på näsan som inte fattar att de inte får formulera sig så. Finns det någon som kan ta det näsknäppningsuppdraget?

Det känns ju som sådana formuleringar visar på signifikanta brister i det vetenskapliga förståndet/kunskapen, och om det finns forskare som uppvisar sådana brister - hur kan man då vara säker på att inte även granskarna gör det?

Vh, iö

Quis custodiet ipsos custodes? Ja säg det. Jag tycker dock inte man behöver vara helt uppgiven. Problemet är framförallt socialpsykologiskt. I discipliner där det är svårt att uppnå statistik signifikans (och/eller skaffa stora urval) blir statistisk signifikans hårdvaluta. Gruppen forskare som helhet blir alltså mer vördnadfulla inför detta än inför effektstorleken även om man "innerst inne" känner till sambandet mellan effektstorlek, urvalsstorlek och signifikansnivå. En annan omständighet är vad det är man mäter. Om man mäter attityder eller psykologiska egenskaper är det svårt att kvantifiera värdet av en skillnad. Hur viktig är en skillnad på ett steg i en sjugradig skala om attityder till fildelning? Vad betyder den? Jämför detta med data på dödlighet så ser man att det inom vissa discipliner är lättare att sätta värde på skillnader än i andra.

/D

[Thomas_A]

Ytterligare en kommentar baserad på Svante's exempel ovan. Om man nu vet att svarsserierna kommit från helt olika personer kan man göra en 2 x 4 tabell och en Fishers. Eller exempelvis att en person var en och samma men i sitt misslyckade test hade två enorma vaxproppar och det finns anledning att misstänka att serierna kan skilja sig åt för detta. Man kan ju också välja att försöka hitta någon när man sett resultatet. Jag förutsätter då att dessa serier gäller och att man inte selekterat dessa 4 ur en grupp av andra. Resultat:


Two sided p-value for p(O>=E|O<=E)
p-value= 0.0000014105 (the sum of small p's)
Two sided p-value for p(O>E|O<E)
p-value= 0.0000004433 (the sum of small p's)
Two sided p-value mid-p
p-value= 0.0000009269 (the sum of small p's)

408 tables evaluated

Chi square (with 3 degrees of freedom):
(including empty -zero- cell)
Pearson's= 23.709 (p= 0.0000)

Chi squares (both with 3 degree of freedom):
(excluding empty -zero- cell)
Pearson's= 34.365 (p= 0.0000)
Likelihood Ratio= 31.772 (p= 0.0000)


Alltså är också denna tabell osannolik och det finns anledning att tro att det inte är slump i en eller fler av observationerna. Vad det sen beror på är en annan sak.

[IngOehman]

Du kan inte kombinera utfallen utan att kombinera utfallsdata.

7 av 7 plus 7 av 7 ger 14 av 14. Inte 7 av 7 + ? av 7.


Vh, iö

Nja, alltså, det finns ju olika sätt att kombinera dem. Man måste bara bestämma sig för vilket sätt man vill göra det.

Menar du att (3 av 9) plus (9 av 9) ska ses som 12 av 18? Hur stor konfidens ger det då?

Du fortsätter att blanda ihop.

Vad jag säger är att SS beror av vilken fråga man svarar på/anger SS för! (Ex: Med vilken SS har personen i fall 2 detekterat objektet?) Det finns inte infromation tillräckligt för att svara på din fråga, och det borde du inse. Det framgår ju inte ens om experimenten är gjorda samtidigt och med samma lyssnare, eller ens om det är samma objekt. Utan att veta något av detta måste det ses som 12 av 18, vilket ger usel SS. Vet man mera kan man dock eventuellt kontatera en väsentligt högre SS för detektionen.

Och (0 av 7) och (7 av 7), vad blir det tillsammans? 7 av 14? Hur stor konfidens ger det då?

1. Utan att veta förutsättningarna går inte heller denna fråga att svara på!

2. Varför frågar du mig? Kan du verkligen inte svara på dessa självklara och helt uppenbara frågor själv.

Det verkar vara att kasta bort kraft i testet om man inte ser serierna som separata, det räcker att ena serien är dålig så blir hela testet det.

Tänk mer. Tänk klarare. Inse att SS bara går att definiera för en NOGGRANNT BESKRIVEN FÖRUTSÄTTNING.

Tänk på detta: Du tester en apparat och får 9 av 9 (rätt eller fel, det spelar ingen roll) och du drar slutsatsen att du kan höra den, och att säkerheten i den slutsatsen är hög (SS), väsentligt högre än 99%.

Ok?

Dagen efter får du höra att apparaten har testats 500 gånger innan du gjorde det, och det har blivit slumpresultat varje gång. Räknar du om din egen detektions statistiska signifikans då?

Det tycks som om du i varje idé du lancerar bryter mot oerhört basala fundament inom statistiken, såsom vikten av inramning för att kunna definiera ett villkor och sannolikhetens (inom den ram man definierar) oberoende av historien.

Trodde det var klart hur statistiken bör användas. Själv har jag ingen aning om vilka siffror det handlar om i de skarpa lägen som föranlett tråden, så jag kan inte bidra något mer.

Nej det har blivit lite lätt förvirrat nu. Helst skulle det skrivas en metodspec för att skingra förvirringen. Alla frågor som behöver komma upp har nog kommit upp i den här tråden och det verkar inte som fortsatt diskuss ska ge så mycket mer.

Nu skulle man behöva prata i stället.

Jag får allt mera känslan, att om det skall tas fram en modell för hur sådana här tester skall göras och/eller om en dylik modell skall bedömas, så är du en av de minst lämpade att göra det.

Själv ser jag inte att det finns något behov av ny modell. Den som funnits och använts i snart 30 år för alla de studier jag gjort på hörbarhet har fungerat invändningsfritt. Jag har inte någon enda gång behövt revidera några fynd, och överensstämmelserna med mätfynd har varit 100%iga.


Vh, iö

[Morello]

Jag vill i alla fall göra gällande att "Morello" kan påstå att han hörde skillnad med en konfidensnivå om 98,4%.

Svaren där "Svante" svarade först har jag kastat då risk för korrelation föreligger. "Svantes" svar ger ingen relevant info alls pga för kort serie.




Jag tycker den senaste dagens inlägg innehåller på tok för mycket känsloyttringar, retoriska tjuvknep och ovidkommande kommentarer, vilket gör det svårare att följa trådens väsentligheter. Vore väldigt fint om alla parter kunde hålla sig strikt till sakfrågorna.

[IngOehman]

Det har du helt rätt i.

I varje fall om jag får ändra 98,4% till >98,4%. Alltså mer än...


Man kan nämligen diskutera om det finns skäl att slänga de svar där Morello svarat först efter Svante. Dels säger ju (den redovisade) historiken att Morello vet att Svante INTE svarat på ett sätt som Morello hållt med om stringent, och dels kunde Morello avstå ifrån att svara (i varje fall om jag hade hållit i lyssningen).

Av praktiska skäl gör man förstås så, att man räknar lägsta säkra sgnifikansnivån (= 98,4%) och alltså fortsätter lyssningen! I synnerhet om man inte vilka förutsättningar som gäller (är det apparaten som testas, eller lyssnarna? Är avgivna svar frivilliga, eller måste varje person svara varje gång? Och så vidare...).

Men i praktiken är nog SS faktiskt väsentligt högre för att Morello hör skillnaden - i varje fall om det INTE finns något tvång för någon av lyssnarna att avge svar (den avgivna serien gör det dock troligt att ett sådant tvång förelegat, eftersom de svarat båda två varje gång ), och det har absolut ingenting med personkännedom att göra - bara med fakta om händelseförloppet.


Men om svaren inte avtvingats någon: Morellos svar var ju frivilligt avgivet, och det finns då inget rationellt skäl att tro att han inte hade kunnat avstå från att säga något när Svante svarade först, eller säga tvärtemot!

Viktigt: Vad man vet säkert retrospektivt, givet serien, är ju att Morello vet att Svante inte hör - om Morello tror sig själv ha svarat rätt.


Vh, iö

- - - - -

PS. Förtydligande: Inställningen...

Svaren där "Svante" svarade först har jag kastat då risk för korrelation föreligger.

...är klart sund, när man inte känner förutsättningarna bättre (mera i detalj) än vad som framgår av frågeformuleringen.

Svårberäknade risker skall man alltid undvika i vetenskapliga sammanhang, eftersom de renderar behov av ännu en SS att beräknas "inuti" själva problemkomplexet. Bara när man kan överblicka förutsättningarna så att risken är eliminerad kan man ignorera den. Det kan man inte göra från så povra beskrivningar som den som fanns i det här fallet. Därav svaret >98,4%.

[Morello]

Morellos svar var ju frivilligt avgivet, och det finns då inget rationellt skäl att tro att han inte hade kunnat avstå från att säga något när Svante svarade först, eller säga tvärtemot!

Vh, iö

Mja, testledarne vet inte om jag skojar och svarar som Svante.
Jag ser inget alternativ annat än att utgå från att korrelation kan föreligga och för säkerhetsn skull kasta svaret.

[IngOehman]

Visst sirru, men det kan finnas korrelation med vad som helst. Korrelationer behöver inte vara besvärande eller otillåtna, det beror på om de är informativa eller inte, och det beror på vilken fråga man vill kunna svara på. Korrelation kan till och med vara konstruktivt för detektionströskeln!

Som testledare måste man alltså kunna skilja mellan relevant och irrelevant korrelation.


Du antyder att det första tillfället då det kan finnas korrelation är vid det svarstillfälle där Svante första gången svarade före Morello, men det stämmer inte. Det kan ha förekommit korrelation tidigare i serien, det går exempelvis inte att utesluta att du kanske svarade JA den tredje gången, inte på grund av att vad du hörde, utan på grund av att du råkade titta på en klocka med en "glad" urtavla.

Det är korrelation det också, men en irrelevant korrelation, eftersom varken du eller klockan hade tillgång till facit.

Det kan även ha förekommit korrelation mellan dig och Svante tidigare i testen - exempelvis om du tittat på honom och försökt se vad ha tyckt. Är det då relevant eller irrelevant korrelation? Att försöka dra någon skarp gräns där korrelation definieras som något oönskat är således inte rimligt. Man måste istället utforma bedömningsintrumentet med utgångspunkt från att det finns korrlation hela tiden, och istället fråga sig när det har betydelse.

Hade Svante tillgång till facit? Nej, det hade han förstås inte, men - det kanske hänt något tidigare som kan förleda dig att tro att Svante hör bra, bättre än du gör, och därför att han därför är en bra snubbe att "härma", för att själv kunna framstå i en "hörkompetentare dager".

Visst, men: För resultatet i vad detektion av appararaten anbelangar spelar det ingen som helst roll, eftersom man (av skäl så självklara att jag hoppas jag inte behöver förklara dem för någon) inte får räkna statistisk "parallellt". Du kan alltså härma vem du vill och när du vill. Så länge ingen av dem som lyssnar har facit påverkar det inte möjligheten att kartlägga utfallet i vad avser SS.

Jag som testledare utgår ifrån att ALLA svar kan vara avgivna med 100% komminikation mellan lyssnarna. Något annat vara oseriöst. Svarsordningen spelar därför ingen som helst roll, och idén att bara en får svara är befängd, eftersom ett sådant förfarande sedd vetenskapligt inte situationens informationsmängd överhuvudtaget.


För den specifika frågan om huruvida just DU kan höra apparaten (eller rättare sagt frågan om hur säker man kan vara på att du kan det) är det dock risk för "relevant" korrelation när du härmar en annan svarare, men:

1. Det går inte att hindra.

2. I detta fall var det ju dessutom en person vars svar du inte hållit med om med någon statistisk signifikans tidigare under serien, som du "härmade". Det finns således skäl att tro att relevant korrelation saknas, och att man sålunda kan bortse ifrån om du svarat före eller efter Svante - även för frågan om SS för ditt härande. Av historien ser vi ju att du inte har någon hjälp av hans synpunkter, och det vet vi ju att även du vet, om ni hört varandra svara.


Hur som helst är detta med DIN detektionsförmåga inte en fråga som har bäring på de faktiska förhållande som varit rådande i LTS-testsammanhang. Dels sysslar vi inte med att testa personer (utan apparater), och dessutom skulle vi inte skulle stoppat lyssningen i detta skede. Vi (jag) hade fortsatt serien tills SS varit långt över 99% i en vorst case-beräkning - sedd ur apparatperspektivet.


Vh, iö

[Svante]

Jag får allt mera känslan, att om det skall tas fram en modell för hur sådana här tester skall göras och/eller om en dylik modell skall bedömas, så är du en av de minst lämpade att göra det.

Själv ser jag inte att det finns något behov av ny modell. Den som funnits och använts i snart 30 år för alla de studier jag gjort på hörbarhet har fungerat invändningsfritt. Jag har inte någon enda gång behövt revidera några fynd, och överensstämmelserna med mätfynd har varit 100%iga.


Vh, iö

Jaadu...

Ska vi mäta erfarenheter, så har jag också gjort ett och annat lyssningstest i mina dagar. Även om jag inte gjorde mitt första formella test när jag var 14, så var jag kanske 19 iaf, om vi räknar sånt som gjordes på hobbybasis. Och de har funkat ganska bra de med, en del har till och med passerat en reviewprocess.

Jag får allt mera känslan att du vill sprida förvirring i den här tråden så att du ska kunna komma in och rädda allt genom att ta tillbaka testandet som du så taktiskt frånsade dig för ett tag sen. Och snart kan du ju hänvisa till vilken röra det blev när jag gick ut och diskuterade offentligt hur LTS egentligen gör. Var det samtalssabotage du kallade din metod?

Hursomhelst, så börjar jag ledsna och förstå att de evighetsdebatter som du var rädd för när jag talade om att redovisa offentligt hur LTS skulle göra faktiskt skulle ha blivit drivna av dig och inte av dumma frågeställare.

Så, nu var det sagt.

[IngOehman]

Ny lågvattennotering.

Nej, jag är 100% ointresserad av att mäta erfarenhetens längd...

Har du något att säga i sakfrågan?

(Att jag nämnde att "metoden" använts i 30 år utan att någon enda
gång några fynd behövt revideras, och att överensstämmelsen med
mätfynd har varit 100%ig - det var inte en presentation av "min
personliga erfarenhet" - det är ett statistiskt konstaterande rörande
metodens pålitlighet. Om du möjligen förväxlade dessa saker...)


Kommer du ens ihåg vem det var som startade den här tråden? Du
valde själv att aktivt gå ut och klaga och att påstå det inte går att lita
på att jag säkerställer statistisk sinifikans.

Nu, efter 18 sidor av detta elände, drivet av dig, säger jag att jag inte
längre (baserat på det du skrivit) litar på din förmåga och omdöme. Då
blir du stött.

Ä du på allvar?


Hoppas hur som helst att du fattar - att på det sättet du betett dig
mot mig i den här frågan - så kommer jag aldrig att bete mig mot någon
i hela mitt liv.

Hoppas även att du förstår att detta är en polarisation du skapat
själv. Du har inte presenterat några sakfall där jag kommit till några
felslut, och det gör att det blir DIN bedömning som står mot min.
Hade du haft något konkret att komma med skulle jag ha kunnat
bemöta det, men nu är det bara ditt tomma ifrågasättande som finns
att ta på.

Den som tror att din bedömning av min oförmåga är korrekt måste
rimligtvis misstro min förmåga att beräkna SS för de fall som jag
hanterat de 30 år som varit. Eller hur?

Jag har i normala fall inget skäl att spekulera om ditt omdöme, och
skulle inte under några omständigheter starta en debatt om det heller!
Men med det du sagt här i tråden har du dock mer eller mindre tvingat
mig att underkänna ditt omdöme, då får du acceptera att jag gör det
också.


Du tycker inte att din egen reaktion är lite märligt, givet att du för
några veckor sedan tyckte det var helt ok att själv starta en tråd med
syftet att officiellt kunna underkänna mitt omdöme?


Vh, iö

[PerStromgren]

Någon mer än jag som tycker att detta börjar bli obehagligt? Nu kan jag ju sluta läsa, och Svante och IÖ har inte uppdraget att underhålla mig, men...

Snälla moderatorn, kan vi inte stänga av?

Snälla?

[IngOehman]

Jag har tyckt att tråden har varit obehaglig i 17 sidor, och jag hade
hållit med dig om ditt yrkande redan efter första sidan. Framförallt
innan det att de värsta anklagelserna raderades.


Vh, iö

[Morello]

Tråden började som bekant att bli intressant för några dagar sedan, men nu är det ta mig satan sandlådenivå på debatten.

[PerStromgren]

Till Ingvar:

Bra!

Om inte moderatorn gör något åt detta, så kan ju du själv fixa tråddöd genom att inte skriva här. Det är du och Svante som bråkar och Svante kan ju inte gärna bråka själv. Var lite osjälvisk och ge f-n i att svara eller försvara dig mot påhopp, så fixar det sig!

Eller tror du inte det?

[IngOehman]

Ok, jag gör som du säger, och hoppas att du har rätt.


Vh, iö

- - - - -

PS. En gissning: Svante kommer att fortsätta bråka (=göra inlägg i tråden med kommentarer till mina inlägg).

[Svante]

Ä du på allvar?

Definitivt.

[Kaffekoppen]

Tråden började som bekant att bli intressant för några dagar sedan, men nu är det ta mig satan sandlådenivå på debatten.

Jag håller verkligen med dig

[Svante]

Någon mer än jag som tycker att detta börjar bli obehagligt? Nu kan jag ju sluta läsa, och Svante och IÖ har inte uppdraget att underhålla mig, men...

Snälla moderatorn, kan vi inte stänga av?

Snälla?

Ja, kanske det. Har jag något särskilt att säga till om i egenskap av trådskapare?

I sådana fall anhålles ödmjukt om trådlåsning innan jag blir ännu argare.

Jag vet inte vad som har flugit i mig.

[screen]

Jag skall hjälpa er med trådstängningen grabbar:

Jag fick min första räkning från A-kassan (har en fri sågan) för 2007 och blev mäkta förbannad.

Tidigare så har jag fått en årsräkning på lite drygt 1200:-, men nu ville dom p.g.a. det nya politiska ställningstagandet att jag skulle betala 378:- SEK/mån = 4540:- SEK/år

Jag säger bara det att dom där j_vla borgarna sitter allra högst en period, allra högst, alltså som allra längst...förbannade idioter vad fan tror dom igentligen. Dom kommer att få varenda normalarbetande svensk emot sig i nästa val om detta fortgår utan att ett under sker.

Så, nu kan ni stänga detta...


Mvh Björn//

[Naqref]

Svante: Vill du att jag låser upp tråden igen någon gån i framtiden så fixas det. Annars så får den gå till historien....

Screen: Bra försök. Återkom till årets slut när du kan räkna in skattesänkningen på 10kkr oxå.