Endast för statistikkunniga (F/E-statistik)

[Morello]

Ingvar,

Style talade från början om att han tyckte det var olämpligt med tester där man är utelämnad till sitt förtroende för testledaren (eller motsv.) och de misstag, kunskapsbrister och liknande. Sådana bidrag till felaktiga slutsater är inte uppsåtliga. Jag vill minnas att han även påpekade att han hade förtroende för LTS och dess tester.

Sedermera talade du om förflaskningar och dylikt, vilket är sådant man gör uppsåtligen, varför jag uppfattade stycket som irrelevant.


Att anklaga någon för retorik är lika orimligt som att anklaga någon för fysik. Var jag retorisk nu?

[Kaffekoppen]

Det är generellt en svår gränsdragning att lämna ut 'lagom' med information för utomstående bedömning av läsare, för att dessa skall kunna dra egna slutsatser. Är det inte betydelsen av detta avvägande som meningsskiljaktigheterna handlar om?

Det är en del av det, men det ger ingen fullständig bild.

Problemet är att Svante även ser en möjlighet att det uppstår omedvetna fel, alltså att fel utan uppsåt kan inträffa, och det anser Svante sig ha fog att påpeka. Ingvar anser att risken inte föreligger, utan ser det framläggandet som personlig kritik mot såväl sig själv som testledare och tidigare redovisade resultat. En så stark kritik att han då ansåg sig nödgad att avgå.

Jag gör en annan bedömning av Svantes framläggande och det är att det är en vilja att förbättra ett väldigt bra verktyg som Ingvar till stor del utvecklat (och skall ha en stor eloge för). Det är ju löjeväckande att tro att metoden/genomförandet aldrig kan bli bättre.

Det är ju rätt intressant att deltagarna i testet kan träta om signifikansen, bara det är ett bevis för att det finns utvecklingspotential.

Om man gör förändringar, i dokumentering, genomförande och att deltagarna känner sig fullkommligt hemma i de resultat som redovisas, är det i sig ingen kritik mot hur det varit tidigare. Det är en förbättring.

En verksamhet kan i förlängningen inte bygga på att en enskilld individ, en eldsjäl, håller verksamheten vid liv.

[Svante]

Jahaja, det är tydligt att man måste ha bandbredd för att delta på faktiskt... Fasen vad mycket svårare det är att hänga med i svängarna via WAP och långsamt modem. Speciellt när man vill vara lite noga med sina svar. Att svara på nedanstående, retoriska frågor med enbart ja eller nej är liksom inte möjligt. Det kommer att bli en hel mängd reservationer...

Tanken med det här inlägget är att sammanfatta de funderingar som jag har haft den senaste veckan om sakfrågorna kring den statistiska behandlingen som utförs vid LTS F/E-lyssningar och att svara på Ingvars vid det här laget berömda röda frågor.

1. Du Svante, som varit med på några av LTS lyssningstester, har du NÅGON ENDA GÅNG stött på ett resultat som du vet inte ger en statistisk signifikans om >99%, men som ändå kommit i MoLt och påståtts ha en statistisk signifikans högre än 99%?

Nej. Detta måste dock ses i ljuset av att frånvaro av fynd inte betyder att fyndet inte finns att göra. Tre saker försvårar undersökning av frågan. Det första är att jag endast har närvarat vid tre testkvällar, det andra att eftersom metoden inte finns beskriven så är den svår att validera, den tredje är att rådata inte är sparade så det finns inget att kontrollräkna på.

2. Det vill säga: Finns det någon grund, i form av ett faktiskt fall (där det blivit fel) för dig att ifrågasätta om jag tagit mitt ansvar att upprätthålla en adekvat vetenskaplig hantering av mätdata?

Ja, samtliga fall jag har sett. Det är praxis i vetenskapliga sammanhang att spara rådata, i många fall i tiotals år, och definitivt till dess att slutsatserna är publicerade. Det har mig veterligen inte skett. Vid samtidigt avgivna svar har mig veterligen ingen notering om detta förts till protokollet, vare sig om att de har avgivits samtidigt, eller i vilken ordning. Vidare är det vetenskaplig praxis att behandla statistiska data med tidigare väl beskrivna metoder och tala om vilken man har använt, alternativt att använda en icke dokumenterad metod som man själv beskriver. Den referensen eller beskrivningen har jag heller inte sett. Det är förstås möjligt att det står en pärm med rådata och/eller metodbeskrivning någonstans som motbevisar det jag säger, men jag tror inte det.

3. Eller handlar det bara om att just du inte tycker dig kunna bedöma signifikansen på plats, som jag har gjort? (Utöver att jag förstås kontrollräknat i de fall det finnits minsta tveksamhet.)
(Denna sista kräver följdfrågor, som jag ställer strax...)

Ja. Eller nej. Alltså jag kan inte svara för alla andra, men det beror på att jag inte kan bedömma signifikansen, vare sig på plats eller långt senare. Metoden Ingvar använder är extremt svår att beräkna en exakt konfidens med, den innehåller många faktorer vars storlek måste bedömmas eller gissas fram. Pga detta och att han inte kan dokumentera hur han gör förstår jag inte hur han räknar. Frågan är dock retorisk i den meningen att den flyttar fokus från att Ingvar inte har lyckats beskriva sin metod till att det kanske är jag som är så dum att jag inte förstår hur han räknar.

4. Är det sant att du vid ett antal tillfällen kommit med (enligt dig "svårbedömda") exempel på fall till mig, där jag ombetts att uttala mig om den statistiska signifikansen - och att jag svarat dig ögonblickligen, med antingen ett exakt svar, eller med worst case-svar (">X%")?

Nja. Jo, det är det. Betyder det att ditt svar har varit rätt? Jag har annars för vana att börja mina förklaringar med enkla exempel (dvs alla har inte varit svåra) för att förtydliga en ståndpunkt, men du verkar inte tänka som vanligt folk gör, så det har funkat ganska dåligt.

5. Är det också sant att du ännu inte har ett enda exempel på att du (efter att ha gått hem och räknat på det hela (och ägna uppgiften din fulla uppmärksamhet)) funnit att mitt ögonblickliga svar varit felaktigt?

Ja. Jag har inte räknat så på exemplen som jag har givit. Jag har gjort simuleringar som resulterade i mitt förslag till avbrottsvillkor, är det dem du menar? Men återigen, frånvaro av exempel kan bero på många saker.

6. Kort sagt: Är det riktigt att jag - så vitt du känner till - ALDRIG har kommit med någon enda felaktig bedömning avseende statistisk signifikans?

Ja. Men frånvaro av bevis betyder inte att din metod är bra. Frånvaro av begriplighet/öppenhet betyder däremot att metoden är dålig. Mer om detta nedan.

Sen har jag hittat på några frågor till som kanske någon har:

Kan man lita på de tester som utförts hittills i LTS regi?
Trots det ovanstående är min bedömning att man kan det. Jag kan säga det eftersom jag tror att Ingvar drivs av en uppriktig vilja att undersöka hur apparaterna presterar. Däremot tycker jag att det är tråkigt att man måste lita på min, Ingvars eller någon annans bedömning av det. Det vore bättre om jag kunde lägga fram fakta så att den som begriper statistik själv kan undersöka om data har behandlats vettigt.

Tror jag att Ingvar kan beräkna konfidensen i testerna, så som de har utförts hittills?
Nej. Jag tror däremot att han kan däremot uppskatta konfidensen med någon viss säkerhet. Genom att ”ta höjd”, dvs utsätta lyssnarna för fler lyssningar än nödvändigt, så kan han göra det troligt att konfidensen ändå är större än 99%.

Vilken är då min kritik?
Min kritik är framför allt att den statistiska metoden inte finns dokumenterad. Det gör den svårvaliderad. Resultaten i testerna står och faller med tilliten till Ingvars förmåga att bedömma svarssekvenserna. I denna kritik ligger också att flera personer tillåts svara samtidigt, med kännedom om varandras svar. Ingvar menar att han kan väga in samtidiga svar i den statstiska behandlingen, något som för mig förefaller svårt utan att göra antaganden om hur stark korrelationen är mellan de samtidigt avgivna svaren eller kräva onödigt många lyssningar.
Det må vara så att det inte vid ett enda tillfälle har påståtts att konfidensen har varit högre än den verkligen är. Oavsett hur det är med det är det dålig försöksdesign om man inte kan redovisa hur beräkningen av konfidensen går till. Det är dåligt av flera anledningar.

1. Eftersom det inte går att tala om hur beräkningarna utförs så går det inte att säga hur stor konfidensen egentligen är. I strikt mening blir det svårt att garantera att den är över 99%. Det man kan göra är att ”ta höjd” så att det blir troligt att man har kanske 99,8% konfidens, så att man är nästan säker på att man har 99% konfidens. Det här blir någon sorts konfidensintervall på konfidensen. Om man kan sätta siffror på de bedömningar man gör under analysens gång kan man möjligen räkna ut hur stor den slutliga konfidensen blir, men det blir bökigt. Ingvar kanske kan göra det i huvudet, själv kan jag inte ens göra det på papper.
2. Att behöva ”ta höjd” medför med nödvändighet att man behöver utsätta lyssnarna för fler lyssningar än vad som egentligen behövs, de blir alltså mer uttröttade än om man vet exakt när 99% konfidens har uppnåtts och kan bryta då.
3. Trovärdigheten. Att inte kunna redovisa hur man har gjort gör att metoden kan ifrågasättas utan att den går att försvara med sakargument.
4. Till sist, och detta är nog det allvarligaste: Eftersom metoden är så komplicerad att den är omöjlig att skriva ner på papper så blir det mycket svårt att byta testledare. Det blir också mycket svårt för någon annan att ta över eller duplicera/anamma LTS testmetodik. Testerna är alltså knutna till Ingvar, vilket knappast kan vara en fördel för LTS, vilket är högaktuellt just nu när han väljer att lämna LTS tekniksektion. Gör man något bra, så ska man underlätta för andra att göra samma sak om man vill att det som är bra ska leda till en positiv utveckling.

Hur vill jag att testdesignen ska förändras?
Jag vill att man i förväg bestämmer vilka avbrottsvillkor som ska gälla. Hur detta kan gå till finns beskrivet i min statistikartikel i MoLT 1/2006. Det som inte finns beskrivet där är hur man hanterar flera samtidigt närvarande lyssnare. Vid samtidigt avgivna svar måste alla utom det första bortses ifrån, eller så avges de i konsensus. Alternativet är att man ser avgivna svarsserier som individuella, och då måste man höja konfidenskraven eftersom det då rör sig om upprepade tester (lika många som antalet försökspersoner). Hursomhelst måste multipla, möjligen korrelerade svar hanteras på ett dokumenterat sätt och det dokumentet måste finnas innan försöket startar. Det finns också en del tekniska lösningar för avgivande av flera samtidiga svar som jag hade velat testa, det är möjligt att de inte ger något, men det är också möjligt att de nästanlöser problematiken med korrelation mellan samtidigt avgivna svar. Jag ska också villigt erkänna att jag inte har en färdig lösning på hur testerna bör gå till, framförallt map hanteringen av samtidiga lyssnare. Där behöver man experimentera för att hitta en lösning som är acceptabel både för lyssnarna och ur databehandlingssynpunkt. Till sist skulle jag också vilja att testerna vore dubbelblinda, inte enkelblinda som nu.
Allt behöver inte lösas på en gång, det vore dumt att göra avbrott i testandet för detta, men på lite sikt menar jag att en förändring är önskvärd.

En personlig reflexion:
När jag påbörjade den här diskussionen för något år sedan var mina synpunkter närmast reflexmässiga att ”så här gör man inte”. Med min akademiska skolning så var och är det främmande att höfta konfidensen på det sätt som gjordes genom att väga in en massa svårmätta företeelser, trots att man tog höjd för den osäkerhet som man trodde sig ha. I det läget kom diskussionerna att handla väldigt mycket om huruvida man måste känna till konfidensen exakt. Ju mer vi har diskuterat desto mer har jag insett att det inte är konfidensnivån i sig som är viktig, utan dokumentationen av hur den beräknas. I akademiska sammanhang är dokumentation och arkivering så självklart att man sällan reflekterar över det. Den här debatten har fått mig att fundera över hur värdefull dokumentation och ifrågasättande är för reproducerbarhet och den vetenskapliga kvaliteten och det har varit nyttigt och utvecklande att påminnas om det.

LTS är en förening som säger sig stå på vetenskaplig grund. Enligt mitt synsätt innebär det att man ska låta sina metoder nagelfaras helt öppet. Det finns ingenting att vinna på att lämna delar av metoden dold annat än om man vill att den ska framstå som svårförstådd/avancerad eller mystisk. Det fina med att vara helt öppen är att många personer blir delaktiga i utformningen och att man därmed konvergerar mot en metod som inte bara en person tycker är bäst, utan flera. Dessutom kommer flera personer att kunna använda samma metod och troligen få samma resultat. Öppenheten innebär förstås att personer som inte kan eller vill förstå får möjlighet att klämma på de svaga punkterna, men om man verkligen har minimerat dem till antal och storlek så bör en sådan debatt vara ganska snart vara avklarad, om man bara är lite smidig.
En odokumenterad metod får dock, hur bra den än är, begränsad möjlighet att vara till nytta för andra. Den enda nyttan blir genom de resultat som kommer ur att uppfinnaren själv använder metoden och trovärdigheten blir densamma som trovärdigheten för uppfinnaren, eftersom metoden inte kan granskas. Det binder testverksamheten till uppfinnaren, som därmed blir oumbärlig.

Till sist vill jag också säga att F/E-lyssning i sig är en väldigt bra metod. Den har enligt min uppfattning förutsättningar att detektera upplevbara fysikaliska skillnader som är långt mindre än vad man kan höra vid öppna lyssningar eller vid ett typiskt apparatbyte hemma. Den kringutrustning som används vid LTS tester är av mycket hög klass och borgar för att det knappast är troligt att man skulle lyckas höra storleksmässigt mindre skillnader med annan utrustning. Mina anmärkningar gäller bara försöksdesignen och den aningen slafsiga behandlingen av statistiska data. Sett i perspektivet av andra populära hifi-skrifters lyssningstester är min kritik petimetersaker, det är en milsvid skillnad i kvaliteten på LTS tester och blaskornas, men även bra saker bör förbättras. Faktum är väl att det är just de som är intressantast att förbättra. Och som sagt, LTS har ju ambitionen att göra vetenskapligt hållbara undersökningar och det är det jag har försökt hjälpa till med.

Allra sist vill jag ställa en retorisk fråga till Ingvar (jag har ju redan formulerat mitt svar på den ovan). Jag gör min blå.

Vilken metod tycker du att LTS ska använda för behandling av statistiken nu när du har avgått från LTS tekniksektion?

[Kaffekoppen]

Svante!

Vi är överrens om den största svagheten med dagens testmetod:

En verksamhet kan i förlängningen inte bygga på att en enskilld individ, en eldsjäl, håller verksamheten vid liv.

4. Till sist, och detta är nog det allvarligaste: Eftersom metoden är så komplicerad att den är omöjlig att skriva ner på papper så blir det mycket svårt att byta testledare. Det blir också mycket svårt för någon annan att ta över eller duplicera/anamma LTS testmetodik. Testerna är alltså knutna till Ingvar, vilket knappast kan vara en fördel för LTS, vilket är högaktuellt just nu när han väljer att lämna LTS tekniksektion. Gör man något bra, så ska man underlätta för andra att göra samma sak om man vill att det som är bra ska leda till en positiv utveckling.

Lite högre upp i tråden ställde jag två frågor jag ville ha svar av dig på:
Jag tolkar dig rätt alltså som inte kan se något fel eller anledning att misstro era slutsatser vid varken de testerna du medverkat vid eller tidigare tester. Du vill utveckla testförfarandet helt enkelt. Har jag uppfattat dig rätt?

[Svante]

Kan Svante, på sina tre tillfällen som testdeltagare sett sådan information som gör att det finns fog att misstänka att:

a) Det blev felaktiga resultat i något av de testerna

Ja, givetvis kan jag det. Jag gör en analogi, hur obehagligt det än är: Låt säga att jag ser en person spela rysk roulette. Han överlever. Han gör det två gånger till och överlever fortfarande. Har jag fog att påstå att han har svävat i livsfara? Pistolen gick ju aldrig av.

Jag behöver inte ha sett ett felaktigt resultat på mina tre sessioner för att förstå att metoden för bedömning av konfidens är slafsig. Jag ser ju hur metoden fungerar och förstår att den åtminstone i princip kan ge felaktiga resultat. Även om jag inte tror det.

b) Det var så bristfälligt genomförda tester att man kan ifrågasätta alla tidigare resultat.

Ja, där också. Om jag ser grava metodfel, så räcker det att närvara vid ett enda tillfälle. Även om resultatet från just det testet inte går att ifrågasätta.

Jag hoppas inte det, eftersom om jag förstått det rätt, så avslutas varje testtillfälle med att deltagarna gemensamt bestämmer sig för om resultatet är korrekt. Då undrar jag hur de tre testtillfällerna som Svante deltagit i ens kunnat presentera ett resultat.

Man samtalar om man tror att man har uppnått tillräcklig konfidens, ja. Att detta skulle vara ett vattentätt sätt att säkerställa vetenskaplig kvalitet kan förstås diskuteras, men det är absolut inget fel med det.

Det som däremot är fel är att bedömma konfidensen i stället för att se till att kunna beräkna den.

Märk väl att frågan inte gäller om det är 98% eller 99,34% fastställt, utan om det presenterade resultatet är tillräckligt starkt för att en slutsats skall kunna presenteras offentligt. Att LTS intern bestämt sig för att de vill ha 99% innan resultat redovisas öppet är en annan fråga, även om den kan vara här Svante finner en del brister. Vi kanske når 98% och då är det ju fel att säga att vi hade 99% - men resultatet - rekommendationen kanske likväl var väl underbyggd.

Ja, som jag skrev är inte största problemet konfidensnivån utan transparensen. Jag tror som sagt att man kan lita på slutsatserna från LTS tester. Det finns metodproblem, det har flera statistikkunniga instämt i i den här tråden, och det mest upprörande är att Ingvar inte verkar vilja rätta till dem.

[Svante]

Lite högre upp i tråden ställde jag två frågor jag ville ha svar av dig på:
Jag tolkar dig rätt alltså som inte kan se något fel eller anledning att misstro era slutsatser vid varken de testerna du medverkat vid eller tidigare tester. Du vill utveckla testförfarandet helt enkelt. Har jag uppfattat dig rätt?

Ja, fast jag tror du ställde dem fel...

Frågan var om jag kan ha sett, inte om jag hade sett.

[Morello]

Antalet tecken har de facto ökat från blygsamma cirka 8000 till kopiösa 10540 exkl. blanksteg.

[Svante]

Antalet tecken har de facto ökat från blygsamma cirka 8000 till kopiösa 10540 exkl. blanksteg.

Hoppsan, ja jag hade ju inte klippt in Ingvars frågor ännu. Och så växte det nog lite till.

Annars är det väl Ingvar som inte brukar kunna svara med 14 bokstäver, så jag ligger nog lite i lä, trots allt.

[dimitri]

Mina 6 ören:
Har läst Svantes inlägg noga och upprepade gånger, lite reflektioner:

--LTS har så vitt jag vet aldrig förbundit sig att följa de ALLRA striktaste vetenskapliga reglerna.
--F/E metodiken är med överlägsen marginal överlägsen de metoder som redovisas eljest (tidskrifter t.ex.)
--Ingvars påstående att den som kommer med kritik (Befogad eller inte) måste vara beredd att axla manteln gäller.
--Jag som som dagligdags sysslar med statistik, epidemiologi förvisso, i mitt forskningsarbete kan inte beslå Ingvar med några avgörande metodfel.
--Även utan hänsynstagande till att LTS INTE är en förening med strikt akademisk förankring, kan konkreta, demonstrerbara fel i metodologin inte påvisas.
--Den mest substantiella kritiken är är att rådata inte sparats. Hur hade det varit möjligt? Ett antal "Ja"?. Torftigt i ljuset av vilket källmaterial som spelades, riggen. Men ändå, ja, det hade varit mera opportunt att spara rådata. Åtmistone för att kunna parera framtida kritik.

Ja, jag är en akedemiskt skolad naturvetare. Icke desto mindre kan jag inte till fullo uppskatta din (Svantes) kritik.
Dessutom håller jag helt med Ingvar om att det åligger dig Svante att axla manteln och visa hur det skulle kunna gå till på ett mera vetenskapligt acceptabelt sätt.

[Svante]

Mina 6 ören:
Har läst Svantes inlägg noga och upprepade gånger, lite reflektioner:

--LTS har så vitt jag vet aldrig förbundit sig att följa de ALLRA striktaste vetenskapliga reglerna.
--F/E metodiken är med överlägsen marginal överlägsen de metoder som redovisas eljest (tidskrifter t.ex.)

Instämmer.

--Ingvars påstående att den som kommer med kritik (Befogad eller inte) måste vara beredd att axla manteln gäller.

Jaså? Så en metod som används av LTS får inte kritiseras om man inte vill ta över verksamheten? Det är ett synnerligen effektivt sätt att hålla tillbaka kritik och permanenta en dålig metod.

--Jag som som dagligdags sysslar med statistik, epidemiologi förvisso, i mitt forskningsarbete kan inte beslå Ingvar med några avgörande metodfel.
--Även utan hänsynstagande till att LTS INTE är en förening med strikt akademisk förankring, kan konkreta, demonstrerbara fel i metodologin inte påvisas.

Hmm. Beror det på att metoden inte har redovisats, eller på att du faktiskt begriper hur Ingvar räknar fram konfidensen?

--Den mest substantiella kritiken är är att rådata inte sparats. Hur hade det varit möjligt? Ett antal "Ja"?. Torftigt i ljuset av vilket källmaterial som spelades, riggen. Men ändå, ja, det hade varit mera opportunt att spara rådata. Åtmistone för att kunna parera framtida kritik.

Ja, jag är en akedemiskt skolad naturvetare. Icke desto mindre kan jag inte till fullo uppskatta din (Svantes) kritik.
Dessutom håller jag helt med Ingvar om att det åligger dig Svante att axla manteln och visa hur det skulle kunna gå till på ett mera vetenskapligt acceptabelt sätt.

Det åligger mig ingenting. Åligger det en granskare av en vetenskapligt manus att göra om arbetet om han har kritik? Åligger det en "Sarah" (lex Sarah) att rätta till brister inom sjukvården själv?

Det finns inte en susning att jag skulle kunna göra allt det som Ingvar har gjort för LTS.

Jag har fö tidigare i tråden föreslagit hur jag tycker att testerna borde gå till, jag upprepar länkarna:

http://user.faktiskt.io/svante/Forslag_till_LTS_testmetodik.htm
http://user.faktiskt.io/svante/om_blindtester.htm

[IngOehman]

Ingvar,

Style talade från början om att han tyckte det var olämpligt med tester där man är utelämnad till sitt förtroende för testledaren (eller motsv.) och de misstag, kunskapsbrister och liknande. Sådana bidrag till felaktiga slutsater är inte uppsåtliga. Jag vill minnas att han även påpekade att han hade förtroende för LTS och dess tester.

Sedermera talade du om förflaskningar och dylikt, vilket är sådant man gör uppsåtligen, varför jag uppfattade stycket som irrelevant.

Ja, så kan man uppfatta det när man inte läser hela texten.

Att anklaga någon för retorik är lika orimligt som att anklaga någon för fysik. Var jag retorisk nu?

Kan inte säga det med bestämdhet, men du var i varje fall trevlig, kompis!

Jo förresten, det kan jag: Du var inte retorisk, du var konkret.

Du var inte anklagande på ett sätt som man inte kan försvara sig mot. Du gav ett konkret exempel/kom med en... faktikt rätt intressant parallell!

Om den var relevant kan jag inte uttala mig alldeles säkert om dock, men jag tycker definitivt att det är en trist anklagelse att säga att "någon är retorisk", utan att förklara varför (eftersom det antyder att personen ifråga försöker påverka omgivningens "uppfattning om motstånderen" på ett sätt som inte inkluderar något sakfrågeelement, istället för att klarlägga de faktiska förutsättningarna, vilket är ett uselt beteende). I synnerhet tycker jag det är trist att se prat om retorik, när ingen förekommit.

Men... Om man säger att "någon är fysikalisk" skulle jag inte lägga någon negativ värdering i det dock. Men det är jag det.
Den som ogillar fysik kanske ser det som värsta förolämpningen!


Vh, iö

[screen]

Vore det inte bättre att samarbeta med varandra inom LTS, än att föra dialog om detta inför öppen publik här på Faktiskt?

Detta misskrediterar bara förtroendet för LTS vad gäller förtroendeposterna och hur dessa agerar, här visat öppet.

Jag tycker att detta är ett ickevuxet sätt att hantera frågan och ett ologiskt sätt att reda ut den. Att ifrågasätta bör vara legio för denna (LTS) förening (även internt) och sålunda föra denna framåt.

Att inbördes "gnabba" utan att samarbetsmässigt kunna diskutera fram metoder för säkerställande av testfakta är barnsligt och hör sandlådan till anser jag!

I övrigt är i.a.f. jag fullständigt novis på det som görs, men någorlunda förnuft förstår jag mig åtminstone på. Det är bara det jag åsyftar med detta inlägg och inte något rörande den tekniska utformningen i sakfrågan.

Har f.ö. största förtroende för de båda kombatanterna annars...

Tack...


Mvh Björn//

[Svante]

Vore det inte bättre att samarbeta med varandra inom LTS, än att föra dialog om detta inför öppen publik här på Faktiskt?

Jo, det hade det varit.

[dimitri]

Svante,
Helt rätt beträffande Sarah och granskare av vetenskplig artikel.
Om Sarah kriticerade LTS metoder skulle hon inte behöva känna sig förpliktigad att axla manteln. Så långt har du rätt.
Men om Sarah på ett personalmöte på det sjukhus hon sedan arbetade (Saltsjöbaden) öppet kritiserade närmsta chefen, varvid chefen och ledningen efbjöd henne att ta över chefskapet så är läget lite annat. Eller hur.

Det sägs att den som framför kritik måste visa mod och vara beredd på även de värsta konsekvenserna, som att bli avskedad, tvingad att avgå osv.

En annan möjlighet är att performera en svanesång, och sedan stillfullt avgå med hela publiken gråtande. Och Fatiskt är ju faktist en Svanesångarnas Mecka.

Om Leijonborg skulle få för sig att kritisera Bildt och denne skulle välja att avgå, inte kan du väl säga att Lille Lars kan låtsats som om inget och vissla en låt. Eller Hur?
Nåiallafall, jag kan ha fel, hårddra det allt för mycket. Det är inte alls uteslutet Svante att din kritik kan leda till utveckling. Allt kan utvecklas. I så fall kan man kanske förvänta sig att du visar den praktiska vägen. Du som har både formella och reella meriter.

[Kaffekoppen]

Det är det fortfarande. Ni kan båda mitt telefonnummer. Ring.

Vore det inte bättre att samarbeta med varandra inom LTS, än att föra dialog om detta inför öppen publik här på Faktiskt?

Jo, det hade det varit.

[Maarten]

Svante,
..........
Nåiallafall, jag kan ha fel, hårddra det allt för mycket. Det är inte alls uteslutet Svante att din kritik kan leda till utveckling. Allt kan utvecklas. I så fall kan man kanske förvänta sig att du visar den praktiska vägen. Du som har både formella och reella meriter.

Tycker att du både har rätt och fel,men i detta fall mest fel. Detta då det i mina ögon ser ut som att du saknar information om dialog innan faktiskt.se blev indraget(?) (det gör även jag till viss del) och hårdrar slutsatserna för mycket utifrån den senare utveckligen i detta drama. Dessutom tycker jag att ansvaret för dialogen och resulterande beslut ligger hos båda (alla) parter, -inte bara hos en av parterna, vilket jag läser ur ditt inlägg.
Jag tycker även att Svante har försökt visa vägen genom att komma med konkreta förslag till förbättringar.
Jag tycker att du har rätt apropå att möjligheten till utveckling finns, men det krävs imho en bättre dialog och vilja till utveckling än vad det verkar vara just nu (vad utveckling innebär råder det nog skilda meningar om och däri ligger en del av problemet).

[Svante]

Svante,
Helt rätt beträffande Sarah och granskare av vetenskplig artikel.
Om Sarah kriticerade LTS metoder skulle hon inte behöva känna sig förpliktigad att axla manteln. Så långt har du rätt.
Men om Sarah på ett personalmöte på det sjukhus hon sedan arbetade (Saltsjöbaden) öppet kritiserade närmsta chefen, varvid chefen och ledningen efbjöd henne att ta över chefskapet så är läget lite annat. Eller hur.

Verkligen inte. Den som är bäst lämpad att leda en organisation ska göra det, inte den som kritiserar den mest.

Det sägs att den som framför kritik måste visa mod och vara beredd på även de värsta konsekvenserna, som att bli avskedad, tvingad att avgå osv.

Typ.

En annan möjlighet är att performera en svanesång, och sedan stillfullt avgå med hela publiken gråtande. Och Fatiskt är ju faktist en Svanesångarnas Mecka.

Ja, det dä var ju närmast lustigt hur det blev när jag hade sjungit...

http://www.faktiskt.se/modules.php?name=Forums&file=viewtopic&p=313750#313750

Om Leijonborg skulle få för sig att kritisera Bildt och denne skulle välja att avgå, inte kan du väl säga att Lille Lars kan låtsats som om inget och vissla en låt. Eller Hur?

Nja, skillnaden är väl att det ligger i politikers natur att vilja ha makten. Det här är inget politiskt spel från min sida och absolut inget försök att ta makten.

Nåiallafall, jag kan ha fel, hårddra det allt för mycket. Det är inte alls uteslutet Svante att din kritik kan leda till utveckling. Allt kan utvecklas. I så fall kan man kanske förvänta sig att du visar den praktiska vägen. Du som har både formella och reella meriter.

Ja, jag ställer gärna upp som utomstående granskare av en eventuell utveckling som LTS gör av sina tester. Ingen vill hellre än jag att LTS ska forstätta med sitt arbete, men jag börjar tro att jag gör det bättre som en granskande medlem än som styrelsemedlem. Intressant tanke.

[n3mmr]

Svante,
Helt rätt beträffande Sarah och granskare av vetenskplig artikel.
Om Sarah kriticerade LTS metoder skulle hon inte behöva känna sig förpliktigad att axla manteln. Så långt har du rätt.
Men om Sarah på ett personalmöte på det sjukhus hon sedan arbetade (Saltsjöbaden) öppet kritiserade närmsta chefen, varvid chefen och ledningen efbjöd henne att ta över chefskapet så är läget lite annat. Eller hur.

Nej, inte det minsta...
Även om Sarah har aldrig så rätt i den kritik hon framför behöver det inte innebära att hon själv vill eller kan vara chef.
Det visar på en oerhört förtryckande (och ärtkänslig) attityd från chefen. Dessutom direkt infantil. Som i o f s bör leda till omedelbart avsked för chefen, och snabb rekrytering av en chef som faktiskt kan hantera umgänge med andra människor alls. Och Sarah kanske kan få frågan, om man tycker att hennes kritik förutom att ev vara korrekt också indikerar att hon skulel vara ett bra chefsämne.
Småungar ska leka i sandlådan, seriösa människor hanterar sin situation rationellt.

Det sägs att den som framför kritik måste visa mod och vara beredd på även de värsta konsekvenserna, som att bli avskedad, tvingad att avgå osv.

En annan möjlighet är att performera en svanesång, och sedan stillfullt avgå med hela publiken gråtande. Och Fatiskt är ju faktist en Svanesångarnas Mecka.

Om Leijonborg skulle få för sig att kritisera Bildt och denne skulle välja att avgå, inte kan du väl säga att Lille Lars kan låtsats som om inget och vissla en låt. Eller Hur?
Nåiallafall, jag kan ha fel, hårddra det allt för mycket. Det är inte alls uteslutet Svante att din kritik kan leda till utveckling. Allt kan utvecklas. I så fall kan man kanske förvänta sig att du visar den praktiska vägen. Du som har både formella och reella meriter.

Förhoppningsvis ber i alla fall ingen Lille Lasse att bli utrikesminister. Det vore inte så bra. Han kan fortfarande ha rätt i sin kritik, i alla fall.

[IngOehman]

Jahaja, det är tydligt att man måste ha bandbredd för att delta på faktiskt... Fasen vad mycket svårare det är att hänga med i svängarna via WAP och långsamt modem. Speciellt när man vill vara lite noga med sina svar. Att svara på nedanstående, retoriska frågor med enbart ja eller nej är liksom inte möjligt.

1. Du Svante, som varit med på några av LTS lyssningstester, har du NÅGON ENDA GÅNG stött på ett resultat som du vet inte ger en statistisk signifikans om >99%, men som ändå kommit i MoLt och påståtts ha en statistisk signifikans högre än 99%?

Nej.

Tack för rakt svar!

2. Det vill säga: Finns det någon grund, i form av ett faktiskt fall (där det blivit fel) för dig att ifrågasätta om jag tagit mitt ansvar att upprätthålla en adekvat vetenskaplig hantering av mätdata?

Ja, samtliga fall jag har sett.

Hupp!

Det där var ju liksom en checkkodsfråga till fråga 1 - en koll att du förstått implikationen... Ditt svar renderar felaktig checkkod.

Jag måste förmoda att du läst frågan slarvigt. Missade du månne:"...i form av ett faktiskt fall (där det blivit fel)..."? Jag tror nästan det, så läs igen och återkom med rätt svar, eller rättar jag det bara här, så checkkoden blir rätt: Det vill säga ändrar ditt svar till ett rungande: NEJ.

3. Eller handlar det bara om att just du inte tycker dig kunna bedöma signifikansen på plats, som jag har gjort? (Utöver att jag förstås kontrollräknat i de fall det finnits minsta tveksamhet.)
(Denna sista kräver följdfrågor, som jag ställer strax...)

Ja. Eller nej.

Vet du inte vad du själv kan bedöma?

Alltså jag kan inte svara för alla andra, men det beror på att jag inte kan bedömma signifikansen, vare sig på plats eller långt senare.

Det var ju det jag frågade om!

Nåja... där kom svaret i varje fall, och dessutom ett någotsånär rakt svar (även om JA varit rakare. Du inte tycktes vilja skriva just bokstäverna JA...).

Du svarar alltså JA! Tack.

4. Är det sant att du vid ett antal tillfällen kommit med (enligt dig "svårbedömda") exempel på fall till mig, där jag ombetts att uttala mig om den statistiska signifikansen - och att jag svarat dig ögonblickligen, med antingen ett exakt svar, eller med worst case-svar (">X%")?

Nja. Jo, det är det.

Ett intressant och slingrigt sätt att skriva ett rakt: JA…

Trots slinger: Tack för svaret!

Betyder det att ditt svar har varit rätt?

Rakt svar: Nej.

Det har jag inte heller påstått att det betyder. Däremot har de varit det, men självklart inte ”på grund av” att det inte finns något som tyder på motsatsen.

Den faktiska brist på minsta tecken på motsatsen (som jag ville att du skulle bekräfta så att alla fick veta att det faktiskt inte finns några) betyder att det inte finns någon indikation på att jag någonsin svarat fel. Inget annat.

Jag har annars för vana att börja mina förklaringar med enkla exempel (dvs alla har inte varit svåra) för att förtydliga en ståndpunkt, men du verkar inte tänka som vanligt folk gör, så det har funkat ganska dåligt.

Ehhh... Jaha?

5. Är det också sant att du ännu inte har ett enda exempel på att du (efter att ha gått hem och räknat på det hela (och ägna uppgiften din fulla uppmärksamhet)) funnit att mitt ögonblickliga svar varit felaktigt?

Ja.

Tack för rakt svar!

Jag har inte räknat så på exemplen som jag har givit. Jag har gjort simuleringar som resulterade i mitt förslag till avbrottsvillkor, är det dem du menar?

Nej. Jag menar samtliga fall – jag isolerar inte en begränsad del av dina falsifikationsförsök - jag menar ALLA dina försök att finna några fel i de beräkningar jag gjort, liksom alla dina generella iakttagelser, eller dina iakttagelser av de svar jag givit dig i den här tråden, eller vad du vill!

Jag vill peka på den fullständiga bristen på något endaste tecken på att jag gjort något angivelse av statistisk signifikans som inte stämmer.

Att jag vill att just du skall bekräfta det beror på att just du har varit med på några F/E-lyssningar, och därför förhoppningsvis har en hög trovärdighet som informationskälla om sakförhållandena för dem som läser här på faktiskt.
Om du bekräftar att det inte finns några bevis överhuvudtaget för att jag har räknat fel, det vill säga att det inte finns något enda konkret fall där du vet att så skett – trots att du varit närvarande och kunna följa testförfarandet i detalj! Ja, då tycker jag det är bra att du berättar det, för det kan hjälpa till att återställa förtroendet för LTS tester, inte bara i modern tid, utan även de som gjorts historiskt (läs: Från 90-talets början).

Att jag ville att just du skulle bekräfta det beror förstås också på att de ”bedömningar” du kommit med tidigare har verkat i den motsatta riktningen.

Men återigen, frånvaro av exempel kan bero på många saker.

Absolut. Jag har inte påstått något annat.

Vill bara att alla skall veta att det inte finns några exempel - trots att det finns massor av fall där du fått mina svar och har kunnat nagelfara dem.

Kort sagt: Om du vill argumentera med spekulationer, genom att berättar för andra att du inte tror att jag kan beräkna den statistiska signifikansen, tycker jag det är viktigt att de också får veta att du inte har några belägg för det, trots att du givit mig exempel att ta ställning till, och att du har varit med på faktiska F/E-lyssningar.

6. Kort sagt: Är det riktigt att jag - så vitt du känner till - ALDRIG har kommit med någon enda felaktig bedömning avseende statistisk signifikans?

Ja.

Tack för rakt svar.

Men frånvaro av bevis betyder inte att din metod är bra.

(Igen:) Nej, det har jag verkligen varken antytt eller påstått heller.

Det som gör "metoden" bra har ingenting med "frånvaron av bevis" att göra. Det är dess kraftfullhet som gör den bra - alltså att den genom sin extremt låga detektionströskel har kunnat användas för att detektera fel (och beskriva dem) från nästan vilka apparater som helt, som utsatts för F/E-lyssningen. Och att resultatet verifierats/bekräftats många gånger, både i repeterade tester och genom korrelation till mätresultat.

Jag säger bara att om det inte finns några bevis som tyder på att "metoden" resulterat i några felsvar, någonsin, så kanske det finns viktigare saker att ge sig på och kritisera?

Man kan självklart leta efter, och rent av bekämpa eller varna för, saker som det inte finns några som helst bevis för - men det blir rätt många saker att hojta om till slut.


Jag antar att du Svante såsom icke-religiös, inte menar dig ha några bevis för att djävulen finns?

Jag tror också att jag bedömer rimligt när jag säger att du inte tar fasta på detta, för att kunna gå ut och säga: Att det inte finns några bevis betyder inte att han inte finns! Låt oss hitta fanskapet och ta kål på’n!


Kort sagt: Antalet problem i audio-verkligheten (myter, missförstånd och okunskaper) som lyser med sin tydliga närvaro är stort!

Det finns mycket gott man kan lägga energi på, för att göra en insats att åtgärda dessa verkliga problem, till ljudåtergivningens fromma. Att bekämpa hypotetiska problem som inte visat sig, bara för att de KAN finnas, känns då liksom lite överkurs...

När bekämpandet därtill går via angrepp på någon som faktiskt försökt göra gott (jag lovar!) så att det leder till att man tappar all ork och lust att fortsätta, vete tusan om det var en bra insats.


Vh, iö

[IngOehman]

Här kommer mina kommenterar till resten:

Sen har jag hittat på några frågor till som kanske någon har:

Kan man lita på de tester som utförts hittills i LTS regi?
Trots det ovanstående är min bedömning att man kan det. Jag kan säga det eftersom jag tror att Ingvar drivs av en uppriktig vilja att undersöka hur apparaterna presterar. Däremot tycker jag att det är tråkigt att man måste lita på min, Ingvars eller någon annans bedömning av det. Det vore bättre om jag kunde lägga fram fakta så att den som begriper statistik själv kan undersöka om data har behandlats vettigt.

Jag tycker du letar efter problem som inte finns. Detta är idéellt arbete. Det är svårt nog att få någon att ställa upp och göra det, redan utan att man klagar på deras insats offentligt.

Tror jag att Ingvar kan beräkna konfidensen i testerna, så som de har utförts hittills?
Nej. Jag tror däremot att han kan däremot uppskatta konfidensen med någon viss säkerhet. Genom att ”ta höjd”, dvs utsätta lyssnarna för fler lyssningar än nödvändigt, så kan han göra det troligt att konfidensen ändå är större än 99%.

Jag är mera intresserad av fakta än av dina spekulationer. Är glad för de bekräftanden av FAKTA-förhållanden som dina sex svar gav. Tack.

Vilken är då min kritik?
Min kritik är framför allt att den statistiska metoden inte finns dokumenterad. Det gör den svårvaliderad. Resultaten i testerna står och faller med tilliten till Ingvars förmåga att bedömma svarssekvenserna. I denna kritik ligger också att flera personer tillåts svara samtidigt, med kännedom om varandras svar. Ingvar menar att han kan väga in samtidiga svar i den statstiska behandlingen, något som för mig förefaller svårt utan att göra antaganden om hur stark korrelationen är mellan de samtidigt avgivna svaren eller kräva onödigt många lyssningar.

Det är inte svårt alls. Man utgår ifrån att korrelationen är stark, eftersom den kan vara det. Ibland tror jag nästan du glömmer att det är APPARATEN som testas, och inte lyssnarna. Att låta folk båda samtala och svara som de vill (utan facit dock nota bene - det vill säg blindt) påverkar förvisso ibland möjligheten att "testa" en enskild lyssnare, men det är inte det jag velat undersöka. Det är apparaterna som vi vill lära oss saker om.

Det må vara så att det inte vid ett enda tillfälle har påståtts att konfidensen har varit högre än den verkligen är. Oavsett hur det är med det är det dålig försöksdesign om man inte kan redovisa hur beräkningen av konfidensen går till. Det är dåligt av flera anledningar.

Jag vill påminna om syftet med testerna: Det handlar om att berätta om olika hifi-apparater för LTS' medlemmar. Arbetet görs idéellt, och ju mera information vi kan extrahera per nedlagt arbete, desto större är chansen att testerna alls blir av! Denna nonsensdebatt har lamslagit testverksamheten fullständigt.

1. Eftersom det inte går att tala om hur beräkningarna utförs så går det inte att säga hur stor konfidensen egentligen är. I strikt mening blir det svårt att garantera att den är över 99%. Det man kan göra är att ”ta höjd” så att det blir troligt att man har kanske 99,8% konfidens, så att man är nästan säker på att man har 99% konfidens. Det här blir någon sorts konfidensintervall på konfidensen. Om man kan sätta siffror på de bedömningar man gör under analysens gång kan man möjligen räkna ut hur stor den slutliga konfidensen blir, men det blir bökigt. Ingvar kanske kan göra det i huvudet, själv kan jag inte ens göra det på papper.

Old News...

Du blandar dock ihop hård och mjuk information. Det gör aldrig jag - konfidensen beräknas bara från hård information. Däremot måste man blanda i redovisningen (i artikeln).

Och kom ihåg: Den signifikans man anger gäller bara för den specifika sak man anger! Svårare än så är det inte.

2. Att behöva ”ta höjd” medför med nödvändighet att man behöver utsätta lyssnarna för fler lyssningar än vad som egentligen behövs, de blir alltså mer uttröttade än om man vet exakt när 99% konfidens har uppnåtts och kan bryta då.

I praktiken är det tvärtom. Enstaka extra svar är ett marginellt besvär jämfört med att sätta upp en massa regler som förstör detektionströskeln.

3. Trovärdigheten. Att inte kunna redovisa hur man har gjort gör att metoden kan ifrågasättas utan att den går att försvara med sakargument.
4. Till sist, och detta är nog det allvarligaste: Eftersom metoden är så komplicerad att den är omöjlig att skriva ner på papper så blir det mycket svårt att byta testledare. Det blir också mycket svårt för någon annan att ta över eller duplicera/anamma LTS testmetodik. Testerna är alltså knutna till Ingvar, vilket knappast kan vara en fördel för LTS, vilket är högaktuellt just nu när han väljer att lämna LTS tekniksektion.

Lite av ett cirkelbevis det där va? Du ser till att du får rätt genom att verka för min avgång... Helt ok om du tar över verksamheten.

I övrigt vidhåller jag värdet av att använda den bästa möjliga metoden. Det är därför jag valt att göra det. Att jag skulle välja en sämre metod bara för att någon skall kunna ta över ansvaret är ologiskt. Det går ju utmärkt att byta till en sämre metod då istället.

Gör man något bra, så ska man underlätta för andra att göra samma sak om man vill att det som är bra ska leda till en positiv utveckling.

Du har mycket åsikter om vad andra skall göra, men du vill inte göra det själv. Trist. Tycker du att det du åstadkommit är en positiv utveckling?

Hur vill jag att testdesignen ska förändras?
Jag vill att man i förväg bestämmer vilka avbrottsvillkor som ska gälla. Hur detta kan gå till finns beskrivet i min statistikartikel i MoLT 1/2006. Det som inte finns beskrivet där är hur man hanterar flera samtidigt närvarande lyssnare. Vid samtidigt avgivna svar måste alla utom det första bortses ifrån, eller så avges de i konsensus. Alternativet är att man ser avgivna svarsserier som individuella, och då måste man höja konfidenskraven eftersom det då rör sig om upprepade tester (lika många som antalet försökspersoner). Hursomhelst måste multipla, möjligen korrelerade svar hanteras på ett dokumenterat sätt och det dokumentet måste finnas innan försöket startar. Det finns också en del tekniska lösningar för avgivande av flera samtidiga svar som jag hade velat testa, det är möjligt att de inte ger något, men det är också möjligt att de nästanlöser problematiken med korrelation mellan samtidigt avgivna svar. Jag ska också villigt erkänna att jag inte har en färdig lösning på hur testerna bör gå till, framförallt map hanteringen av samtidiga lyssnare. Där behöver man experimentera för att hitta en lösning som är acceptabel både för lyssnarna och ur databehandlingssynpunkt. Till sist skulle jag också vilja att testerna vore dubbelblinda, inte enkelblinda som nu.

Jag har ingen kommenter till det ovanstående (annat än de invändningar på den sjunkande test-kvaliteten som jag framfört till dig, utan att få någon respons), men jag kan kontatera att det du skriver är rätt oanvändbart om det inte finns någon som vill ta ansvaret för ett användande av den metoden.

Jag vill det inte, och du vill det inte. Vem är det som skall göra det?

Allt behöver inte lösas på en gång, det vore dumt att göra avbrott i testandet för detta, men på lite sikt menar jag att en förändring är önskvärd.

"Önskvärd" låter som om du ser det som ett allmänt accepterat objektivt faktum. Det är dock bara din åsikt, eller hur?

En personlig reflexion:
När jag påbörjade den här diskussionen för något år sedan var mina synpunkter närmast reflexmässiga att ”så här gör man inte”. Med min akademiska skolning så var och är det främmande att höfta konfidensen på det sätt som gjordes genom att väga in en massa svårmätta företeelser, trots att man tog höjd för den osäkerhet som man trodde sig ha.

Höfta är ditt ordval. Jag har aldrig höftat någon konfidens. Ej heller påstått att sådana metoder har använts.

Den statistiska signifikansen beräknar man. Bara för att jag ibland gjort det i huvudet är det inte gissningar. Du har haft frihet att gå hem och kontrollräkna hur mycket du vill, jag har inte hindrat dig.

I det läget kom diskussionerna att handla väldigt mycket om huruvida man måste känna till konfidensen exakt. Ju mer vi har diskuterat desto mer har jag insett att det inte är konfidensnivån i sig som är viktig, utan dokumentationen av hur den beräknas. I akademiska sammanhang är dokumentation och arkivering så självklart att man sällan reflekterar över det. Den här debatten har fått mig att fundera över hur värdefull dokumentation och ifrågasättande är för reproducerbarhet och den vetenskapliga kvaliteten och det har varit nyttigt och utvecklande att påminnas om det.

Ok.

LTS är en förening som säger sig stå på vetenskaplig grund. Enligt mitt synsätt innebär det att man ska låta sina metoder nagelfaras helt öppet. Det finns ingenting att vinna på att lämna delar av metoden dold annat än om man vill att den ska framstå som svårförstådd/avancerad eller mystisk.

Det finns MASSOR att vinna på att inte redovisa annat än de resultat som varit studiens syfte att få fram! Arbetsinsatsen för att formulera beskrivningen, och det därefter obligatoriska deltagandet i den oändliga debatten, är bara två saker.

Det fina med att vara helt öppen är att många personer blir delaktiga i utformningen och att man därmed konvergerar mot en metod som inte bara en person tycker är bäst, utan flera.

Eftersom 100 000 000 000 flugor inte kan ha fel menar du?

Det är mig fullständigt främmande att skrota jakten på bästa sättet att nå sanningen, till förmån för en meningslös dröm om en halvsunkig konsensus bland människor som inte ens ser hela problemet.

Vissa kompromisser kan möjligen vara vettiga, men att kompromissa sönder så här viktiga saker har jag noll intresse av att vara ansvarig för.

Dessutom kommer flera personer att kunna använda samma metod och troligen få samma resultat. Öppenheten innebär förstås att personer som inte kan eller vill förstå får möjlighet att klämma på de svaga punkterna, men om man verkligen har minimerat dem till antal och storlek så bör en sådan debatt vara ganska snart vara avklarad, om man bara är lite smidig.

Vem är det som skall vara smidig då? Du vill inte ta ansvaret. Och menar du på allvar att bara svaga punkter kommer att kritiseras?

En odokumenterad metod får dock, hur bra den än är, begränsad möjlighet att vara till nytta för andra. Den enda nyttan blir genom de resultat som kommer ur att uppfinnaren själv använder metoden och trovärdigheten blir densamma som trovärdigheten för uppfinnaren, eftersom metoden inte kan granskas. Det binder testverksamheten till uppfinnaren, som därmed blir oumbärlig.

Varför det? Ansvaret och valet av metoder för testverksamheten kan väl bytas med den ansvarige?

Till sist vill jag också säga att F/E-lyssning i sig är en väldigt bra metod. Den har enligt min uppfattning förutsättningar att detektera upplevbara fysikaliska skillnader som är långt mindre än vad man kan höra vid öppna lyssningar eller vid ett typiskt apparatbyte hemma. Den kringutrustning som används vid LTS tester är av mycket hög klass och borgar för att det knappast är troligt att man skulle lyckas höra storleksmässigt mindre skillnader med annan utrustning.

Där håller jag nog med dig. I själva verket har detektionsnivån visat sig vara LÅNGT under vad man kan läsa sig till i "vetenskaliga" böcker* om hörseln...

*Eftersom jag har en vetenskaplig världsbild måste jag dock underkänna de böcker som anger en detektionsnivå (oavsett vilken) eftersom sådana anspråk strider mot vetenskapens första tes...

Mina anmärkningar gäller bara försöksdesignen och den aningen slafsiga behandlingen av statistiska data. Sett i perspektivet av andra populära hifi-skrifters lyssningstester är min kritik petimetersaker, det är en milsvid skillnad i kvaliteten på LTS tester och blaskornas, men även bra saker bör förbättras. Faktum är väl att det är just de som är intressantast att förbättra. Och som sagt, LTS har ju ambitionen att göra vetenskapligt hållbara undersökningar och det är det jag har försökt hjälpa till med.

LTS (eller rättare sagt min ambition som teknikansvarig) har varit att agera vetenskapligt. Det har ingenting med akademisk redovisningspraxis att göra.

Min ambition har varit att säkerställa att det som står i tidningen är sant och att de fynd och besrkivningar av egenskaper vi gör håller för en vetenskaplig granskning, inte att själva redovisningen till ingen nytta skall följa akademisk praxis. Den som är intresserad av redovisningen och inte av apparaternas egenskaper, bör söka andra tidksrifter, vars syfte är att erbjuda sådant.

Allra sist vill jag ställa en retorisk fråga till Ingvar (jag har ju redan formulerat mitt svar på den ovan). Jag gör min blå.

Vilken metod tycker du att LTS ska använda för behandling av statistiken nu när du har avgått från LTS tekniksektion?

Det har jag ingen åsikt om, men jag hoppas att den inte blir så betungande att resultaten försunkas, eller att de som tvingas göra jobbet tappar lusten. Det måste vara kul, annars kan det kvitta.

Det är inte min sak att tycka något, men jag hoppas den som tar ansvaret har förmågan att tillse att det blir högklassiga tester, som gör att jag får veta något om testobjekten.


Vh, iö

[Svante]

Ja, nu börjar den exponentiella tillväxten. Den gör det helt omöjligt att svara på allt (och jag är i detta fallet inte oskyldig till den själv).

Några kommentarer. Jag noterar att du har klippt bort alla mina förklaringar till ja/nejsvaren i ditt första inlägg. Utan dem ser det ut som jag håller med dina retoriskt upplagda frågor. När du inte fick svaren du ville, klippte du i dem. Illa. Du brukar ju vara den första att säga att man inte ska lyfta ord ur sitt sammanhang.

Noterar också att du inte vill ha någon åsikt om vilken metod som dina efterföljare ska använda. Jag förstår att du inte vill det, de måste ju ägna tio år till egna undersökningar om de ska kunna använda din metod. Eller hur var det du skrev?

Hursomhelst så har nog de flesta som fortfarande är intresserade snappat upp våra uppfattningar, vidare kommentarer kommer bara att bli upprepningar. Är det något specifikt som du tycker att jag inte har svarat på tidigare så kan du väl ställa det som en separat fråga.

[IngOehman]

Ja, nu börjar den exponentiella tillväxten. Den gör det helt omöjligt att svara på allt (och jag är i detta fallet inte oskyldig till den själv).

Några kommentarer. Jag noterar att du har klippt bort alla mina förklaringar till ja/nejsvaren i ditt första inlägg.

Det stämmer inte. Läs mitt inlägg igen.

Jag skippat några (kanske bara ett?) av de "med det betyder inte-upprepningar" du skrev, de kom ju flera gånger.

Men jag har behållit resten (=nästan allt du skrev). Jag har dessutom efter bästa förmåga och utan slingringar svarat på dessa delar (raka svar!).

Utan dem ser det ut som jag håller med dina retoriskt upplagda frågor.

De är inte det minsta retoriska, men de är ledande. Det är de på grund av att du genom tråden slingrat dig så till en milda grad, att du visat att det kanske inte fanns någon annan möjlighet att få svar på det jag frågade om.

När du inte fick svaren du ville, klippte du i dem. Illa. Du brukar ju vara den första att säga att man inte ska lyfta ord ur sitt sammanhang.

Jag har inte lyft några ord ur sitt sammanhang.

När ditt svar (fråga 2) inte var logiskt påpekade jag det. Det var ju uppenbart att du inte läst frågan ordentligt.

Noterar också att du inte vill ha någon åsikt om vilken metod som dina efterföljare ska använda. Jag förstår att du inte vill det, de måste ju ägna tio år till egna undersökningar om de ska kunna använda din metod. Eller hur var det du skrev?

Det där var retorik. Låg nivå dessutom.

Du påstår något du inte har belägg för. Fel har du dessutom.

Den som undrar varför jag på riktigt inte har någon bestämd åsikt kan läsa det jag skrev istället för ditt trams.

Hursomhelst så har nog de flesta som fortfarande är intresserade snappat upp våra uppfattningar, vidare kommentarer kommer bara att bli upprepningar. Är det något specifikt som du tycker att jag inte har svarat på tidigare så kan du väl ställa det som en separat fråga.

Äntligen håller jag med dig om något, nämligen att vidare kommenterar (nu när du äntligen bekräftat faktaförhållandena) nog kommer att bli mest upprepningar.

Däremot hoppas jag inte att någon tar fasta på varken mina eller dina uppfattningar, utan på föreliggande fakta, och tar hänsyn till vad som är realistiska krav att ställa på den som på idéell basis tar på sig det otacksamma jobbet.

Från mig kommer inga krav alls, men ett hjärtligt lycka till!

Möjligen kommer jag försöka bidra lite som frilans, och författa artiklar, om intresse finns. Vi får se om jag får lusten åter.


Vh, iö

[Kaffekoppen]

Svante,

Även om du må tycka att resultaten som redovisats på tre testtillfällen som du deltagit i Svante har framkommit på ett mindre exemplariskt vis, TROR du att resultatet hade blivit annorlunda med en annan metod/tillvägagångssätt?


(ursäkta upprepningen, men jag tror inte ditt svar på det gått fram i den retorisk djungeln, och svaret kan ha viss betydelse för hur vi skall förhålla oss till de resultaten)

Tack på förhand
Magnus

[n3mmr]

Svante,

Även om du må tycka att resultaten som redovisats på tre testtillfällen som du deltagit i Svante har framkommit på ett mindre exemplariskt vis, TROR du att resultatet hade blivit annorlunda med en annan metod/tillvägagångssätt?


(ursäkta upprepningen, men jag tror inte ditt svar på det gått fram i den retorisk djungeln, och svaret kan ha viss betydelse för hur vi skall förhålla oss till de resultaten)

Tack på förhand
Magnus

Jag är ganska säker på att Svante svarat på den frågan. Jag har i alla fall läst honom säga att de resultaten skulle stått sig så när som på konfidensens exakta värde

Nu blir det intressant att se om Svante tycker jag sett rätt.

Jag tyckte mig vilja påpeka att Svante varit tydlig nog, eftersom Magnus inlägg skulle kunna tolkas som att Svante varit otydlig på den punkten.

Det tycker jag inte att han har varit.

[Kaffekoppen]

Jag vill bara ha bekräftat precis som du. Ser fram emot Svantes svar på den väldigt enkla, och utan omskrivningar ställda frågan. Det är för mycket inlindningar och vinklat ställda frågor och det här svaret vill jag ha helt utan omskrivningar!

[Svante]

Kan man lita på de tester som utförts hittills i LTS regi?
Trots det ovanstående är min bedömning att man kan det. Jag kan säga det eftersom jag tror att Ingvar drivs av en uppriktig vilja att undersöka hur apparaterna presterar. Däremot tycker jag att det är tråkigt att man måste lita på min, Ingvars eller någon annans bedömning av det. Det vore bättre om jag kunde lägga fram fakta så att den som begriper statistik själv kan undersöka om data har behandlats vettigt.

[Sanny_X]

Så; för de LTS-medlemmar som är intresserade av hur testade apparater låter finns det inget att vinna på dessa disskussioner? Tidigare tester (gjorda under IÖs tid) är tillförlitliga.

De enda som möjligtvis har nåt "att vinna" på detta ältande är de som är intresserade av statistik.

Som enkel medlem i LTS; Ingvar kom tillbaka och fortsätt göra tester.

[Kaffekoppen]

Kan man lita på de tester som utförts hittills i LTS regi?
Trots det ovanstående är min bedömning att man kan det. Jag kan säga det eftersom jag tror att Ingvar drivs av en uppriktig vilja att undersöka hur apparaterna presterar. Däremot tycker jag att det är tråkigt att man måste lita på min, Ingvars eller någon annans bedömning av det. Det vore bättre om jag kunde lägga fram fakta så att den som begriper statistik själv kan undersöka om data har behandlats vettigt.

Tack!

Jag ville att det skulle tydliggöras och inte försvinna i den allt ökande textmassan.

[Kaffekoppen]

Det ultimata vore ju förståss fortfarande om samma gäng som tidigare fortsatte och gjorde testerna på ett sätt som tilltalade samtliga inblandade och som gjorde att de alla tyckte att det var kul.

De som inte tycker det är kul skall inte tvingas göra någonting i en ideel förening!

Båda personerna har redan visat i den här tråden att de har extremt höga målsättningar med verksamheten och det är något vi som medlemmar i föreningen skall vara glada för!

Man skall inte förringa eller glömma alla andra inblandade heller. Morello med mätningarna, Lindroos med sina artiklar, de som ägnar sin tid till att lyssna och analysera och Studio blue som ger oss möjlighet att ha en referenspunkt för samtliga tester. De är alla oumbärliga för slutresultaten. Tack allihop för ett fantastiskt arbete!

Jag lovar på stående fot att laga middag till dem. En exeptionellt god middag skall tillstås - som kommer tilltala alla inblandade. Den kommer avslutas med likväl exeptionellt god kaffe/glass/thé.

Så; för de LTS-medlemmar som är intresserade av hur testade apparater låter finns det inget att vinna på dessa disskussioner? Tidigare tester (gjorda under IÖs tid) är tillförlitliga.

De enda som möjligtvis har nåt "att vinna" på detta ältande är de som är intresserade av statistik.

Som enkel medlem i LTS; Ingvar kom tillbaka och fortsätt göra tester.

[Svante]

När jag skrev detta:

1. Du Svante, som varit med på några av LTS lyssningstester, har du NÅGON ENDA GÅNG stött på ett resultat som du vet inte ger en statistisk signifikans om >99%, men som ändå kommit i MoLt och påståtts ha en statistisk signifikans högre än 99%?

Nej. Detta måste dock ses i ljuset av att frånvaro av fynd inte betyder att fyndet inte finns att göra. Tre saker försvårar undersökning av frågan. Det första är att jag endast har närvarat vid tre testkvällar, det andra att eftersom metoden inte finns beskriven så är den svår att validera, den tredje är att rådata inte är sparade så det finns inget att kontrollräkna på.

2. Det vill säga: Finns det någon grund, i form av ett faktiskt fall (där det blivit fel) för dig att ifrågasätta om jag tagit mitt ansvar att upprätthålla en adekvat vetenskaplig hantering av mätdata?

Ja, samtliga fall jag har sett. Det är praxis i vetenskapliga sammanhang att spara rådata, i många fall i tiotals år, och definitivt till dess att slutsatserna är publicerade. Det har mig veterligen inte skett. Vid samtidigt avgivna svar har mig veterligen ingen notering om detta förts till protokollet, vare sig om att de har avgivits samtidigt, eller i vilken ordning. Vidare är det vetenskaplig praxis att behandla statistiska data med tidigare väl beskrivna metoder och tala om vilken man har använt, alternativt att använda en icke dokumenterad metod som man själv beskriver. Den referensen eller beskrivningen har jag heller inte sett. Det är förstås möjligt att det står en pärm med rådata och/eller metodbeskrivning någonstans som motbevisar det jag säger, men jag tror inte det.

3. Eller handlar det bara om att just du inte tycker dig kunna bedöma signifikansen på plats, som jag har gjort? (Utöver att jag förstås kontrollräknat i de fall det finnits minsta tveksamhet.)
(Denna sista kräver följdfrågor, som jag ställer strax...)

Ja. Eller nej. Alltså jag kan inte svara för alla andra, men det beror på att jag inte kan bedömma signifikansen, vare sig på plats eller långt senare. Metoden Ingvar använder är extremt svår att beräkna en exakt konfidens med, den innehåller många faktorer vars storlek måste bedömmas eller gissas fram. Pga detta och att han inte kan dokumentera hur han gör förstår jag inte hur han räknar. Frågan är dock retorisk i den meningen att den flyttar fokus från att Ingvar inte har lyckats beskriva sin metod till att det kanske är jag som är så dum att jag inte förstår hur han räknar.

4. Är det sant att du vid ett antal tillfällen kommit med (enligt dig "svårbedömda") exempel på fall till mig, där jag ombetts att uttala mig om den statistiska signifikansen - och att jag svarat dig ögonblickligen, med antingen ett exakt svar, eller med worst case-svar (">X%")?

Nja. Jo, det är det. Betyder det att ditt svar har varit rätt? Jag har annars för vana att börja mina förklaringar med enkla exempel (dvs alla har inte varit svåra) för att förtydliga en ståndpunkt, men du verkar inte tänka som vanligt folk gör, så det har funkat ganska dåligt.

...så blev det detta som citat:

Jahaja, det är tydligt att man måste ha bandbredd för att delta på faktiskt... Fasen vad mycket svårare det är att hänga med i svängarna via WAP och långsamt modem. Speciellt när man vill vara lite noga med sina svar. Att svara på nedanstående, retoriska frågor med enbart ja eller nej är liksom inte möjligt.

1. Du Svante, som varit med på några av LTS lyssningstester, har du NÅGON ENDA GÅNG stött på ett resultat som du vet inte ger en statistisk signifikans om >99%, men som ändå kommit i MoLt och påståtts ha en statistisk signifikans högre än 99%?

Nej. VAD SAKNAS HÄR?

Tack för rakt svar!

2. Det vill säga: Finns det någon grund, i form av ett faktiskt fall (där det blivit fel) för dig att ifrågasätta om jag tagit mitt ansvar att upprätthålla en adekvat vetenskaplig hantering av mätdata?

Ja, samtliga fall jag har sett. VAD SAKNAS HÄR?

Hupp!

Det där var ju liksom en checkkodsfråga till fråga 1 - en koll att du förstått implikationen... Ditt svar renderar felaktig checkkod.

Jag måste förmoda att du läst frågan slarvigt. Missade du månne:"...i form av ett faktiskt fall (där det blivit fel)..."? Jag tror nästan det, så läs igen och återkom med rätt svar, eller rättar jag det bara här, så checkkoden blir rätt: Det vill säga ändrar ditt svar till ett rungande: NEJ.

3. Eller handlar det bara om att just du inte tycker dig kunna bedöma signifikansen på plats, som jag har gjort? (Utöver att jag förstås kontrollräknat i de fall det finnits minsta tveksamhet.)
(Denna sista kräver följdfrågor, som jag ställer strax...)

Ja. Eller nej.

Vet du inte vad du själv kan bedöma?

Alltså jag kan inte svara för alla andra, men det beror på att jag inte kan bedömma signifikansen, vare sig på plats eller långt senare. VAD SAKNAS HÄR?

Det var ju det jag frågade om!

Nåja... där kom svaret i varje fall, och dessutom ett någotsånär rakt svar (även om JA varit rakare. Du inte tycktes vilja skriva just bokstäverna JA...).

Du svarar alltså JA! Tack.

4. Är det sant att du vid ett antal tillfällen kommit med (enligt dig "svårbedömda") exempel på fall till mig, där jag ombetts att uttala mig om den statistiska signifikansen - och att jag svarat dig ögonblickligen, med antingen ett exakt svar, eller med worst case-svar (">X%")?

Nja. Jo, det är det. VAD SAKNAS HÄR?

Ett intressant och slingrigt sätt att skriva ett rakt: JA…

Trots slinger: Tack för svaret!

<snip>

Trots att jag inledde med:

Att svara på nedanstående, retoriska frågor med enbart ja eller nej är liksom inte möjligt.

så valde du att klippa bort förtydligandena. Att tvinga fram förenklade svar på ledande frågor är verkligen inte din stil. Ändå gör du det här.

Frågorna är både ledande och retoriska, de fyller ett retoriskt syfte eftersom de för fokus bort från det som egentligen är min kritik och skenbart gör att det ser ut som att du har rätt, trots att de var en avledande manöver för att undvika sakfrågan. Ren retorik.