Endast för statistikkunniga (F/E-statistik)

[Haakan_W]

Blir för omständigt att testa så, det inser vem som helst

jag vet inte varför men det där är den klassiska meningen loosers har....varför skulle det vara svårt?

jag tycker det låter enkelt

Jag väljer att kalla mig looser här

Men eftersom du har obegränsat med tid över så tycker jag att du skall ta dig den tiden till att organisera och genomföra det. Att få 30 personer att vara med på ett testtillfälle och genomföra det under kontrollerade, ordnade former är inte så trivialt som det låter när man skissar det på papper.

Så Håkan, om du verkligen tycker att det är trivialt så förutsätter jag att du visar vilken looser jag är och genomför 10 tester på det här viset under 2007.

varför skulle jag göra nåt sånt? jag är inte ens med i lts, enda gången jag skulle testa en apparat jag egentligen inte har nåt intresse av är om det finns några ekonomiska vinster att göra i projektet...

jag menade bara på att om det nu finns ett genuint intresse för tex lts så är det inga större problem

[IngOehman]

Jo, alltså... Jag skulle vilja ha svar på den nedanstående från Svante.

Ja, nu har vi nattmanglat, jag, IÖ och några till. Det framstår klart att jag behöver förtydliga min kritik en aning.

Kritiken gäller alltså att testförfarandet inte är transparent. Det går inte för en utomstående bedömmare att avgöra om den statistiska behandlingen är riktig. För mig som akademiker som själv skriver och även granskar vetenskapliga artiklar är det viktigt. Jag vill som läsare, givet oändliga resurser, utifrån beskrivningen av försöket kunna reproducera det och då kunna förvänta mig samma resultat. Det är en av den akademiska världens grundbultar vid skrivandet av vetenskapliga rapporter.

Matematiken för att beräkna statistisk signifikans är inget mysterium, ej heller någon hemlighet. Däremot är det orimligt att LTS har ansvaret att utbilda alla i det.

Förutsättningarna för de tester LTS gjort genom året är mycket enkla:

1. Testning sker blint,

2. Vi rapporterar endast undantagsvis några fynd om de har lägre statistisk signifikans än 99% (och i de fallen gör vi det alltid med detta faktum klargjort i artikeln).

3. Statistisk signifikans räknas ut enligt rådande matematiska lagar.

Den som vill lära sig hur man beräknar statistisk signifikans får göra det själv. Det låter sig inte göras utan att hopskriva en hel lärobok i ämnet. Hur statistik beräknas kan inte sammanfattas i några tabeller, med mindre än att man gör tumregler av det (bara godkänner typfall), och något sådant vill jag inte vara inblandad i, eftersom det skadar detektionströskeln*.

Men, och det är också viktigt, det betyder inte att den statistiska behandlingen och slutsatserna i LTS tester historiskt har varit felaktiga. Är det så att vi litar på testledarens förmåga att bedömma konfidensen, så är testerna ok. Och kanske kan man tycka att det är rimligt, det är ju ändå ganska mycket annat man måste lita på, som att han verkligen har lyckats med att ordna så att nivåmatchningen ligger inom någon tiondels dB, tex.

Jag vet inte hur du tror att din text tolkas, men du måste inse Svante, att för alla som läser det du skriver är det såhär:

1. Svante är kunnig,

2. Svante är klok,

3. Svante är god,

4. Svante har varit med på LTS' apparattester,

Allt det ovanstående är ju sanningar. Och det femte elementet är detta:


5. Svante krititserar LTS' apparattester och han säger att man inte kan räkna ut den statistiska signifikansen från det material som funnits - det vill säga han påstår (med såväl insikt i testförfarandet som i de faktiska utfallen i F/E-lyssningarna) att det har funnits osanningar i MoLt.


Förstår du Svante, att det, givet element 1-4, inte finns något annat sätt att tolka det du skriver, än det jag skriver under 5?


Eftersom du har fel (ja, så är det!) och jag sett att du är ovillig att låta folk få en sannare bild av verkligheten har jag flera gånger ställt dig en fråga - som varje gång fått stå obesvarad.
Jag har valt att fråga dig istället för att själv svara på frågorna - för jag tycker det är du som skall säga svaret, inte jag.

Så länge frågan är obesvarad kan man bara dra en slutsats av det du skrivit:
Du har med det du skrivit berättat att du inte bara saknar förtroende för att jag tagit mitt ansvar och/eller har förmågan att göra det, och har sett till så att det som stått i MoLt varit garanterat sant och vetenskapligt vederhäftigt.

Du har till och med sagt att det som stått inte varit sant, för påstår jag SS = >99% och det (som du säger) inte går att beräkna signifikansen så är det jag skriver inte sant. Och med detta har du tillintetgjort de >14 års arbete som jag lagt ned på apparattester för Ljudtekniska Sällskapet.

(Det är den enda tolkningen av ditt påstående om att det inte går att beräkna statistiska sigifikansen - vilket du påstått att "man inte kan". Om jag säger att du har fel så blir det en ny oändlighetsdebatt, så det är bättre att du säger det, så är frågan avklarad sen).


Nu kommer jag att ställa dig frågan igen (det blir flera frågor denna gång, svara gärna på ALLA, och helst genom att börja med JA eller NEJ, så ditt svar blir tydligt) och det blir för övrigt antagligen sista gången jag frågar detta:


Du Svante, som varit med på några av LTS lyssningstester, har du NÅGON ENDA GÅNG stött på ett resultat som du vet inte ger en statistisk signifikans om >99%, men som ändå kommit i MoLt och påståtts ha en statistisk signifikans högre än 99%?

Eller med andra ord: Finns det någon grund, i form av ett faktiskt fall, för dig att ifrågasätta om jag tagit mitt ansvar att upprätthålla en adekvat vetenskaplig hantering av mätdata?

Eller handlar det bara om att just du inte tycker dig kunna bedöma signifikansen på plats, som jag har gjort? (Utöver att jag förstås kontrollräknat i de fall det finnits minsta tveksamhet.)
(Denna sista kräver en följdfråga, som jag ställer strax...)


Att ställa dessa frågor känns minst sagt olustigt, eftersom jag ju gör det för att jag vill ha fram att de antydningar/framställningar du kommit med inte varit vad jag tycker är ärliga - utan de har varit avsiktligt färgade (=du har kanske skrivit dem i affekt, med avsikt att skada mig och/eller LTS? Även om du gjort det med en "god" avsikt - nämligen för att få fram en förändring).
Oavsett vilket behöver alla få veta hur det är nu, när affekten (förhoppningsvis) är överspelad.


Jag förstår om frågorna är lika olustiga att svara på också, av samma skäl, men jag hoppas du gör det ändå.


Som en avslutning på detta (jag frågar dig bara så att jag skall slippa påstå något - jag vill ju hellre att du klargör för dem som läser den här tråden, det som jag vet att de inte vet) så vill jag även ställa en fråga som klargör hur verkligheten sett ut - den verklighet som jag noterat att du inte berättat om spontant.

Jag vill fråga dig detta:

Är det sant att du vid ett antal tillfällen kommit med (enligt dig "svårbedömda") exempel på fall till mig, där jag ombetts att uttala mig om den statistiska signifikansen - och att jag svarat dig ögonblickligen (med antingen ett exakt svar, eller med ">X%")?

Är det också sant att du ännu inte har ett enda exempel på att du (efter att ha gått hem och räknat på det hela (och ägna uppgiften din fulla uppmärksamhet)) funnit att mitt ögonblickliga svar varit felaktigt?

Kort sagt: Är det riktigt att jag så vitt du känner till ALDRIG har kommit med någon enda felaktig bedömning avseende statistisk signifikans? (Och att jag svarat ögonblickligt, medan du ägnat åtskillig tid på att undersöka om svaren varit riktiga?)

Är glad om du startar dina svar med JA eller NEJ.

Ber om ursäkt för att frågorna är så ledande, men jag skriver dem så för att du inte skall svara på något annat än jag det jag frågar om.

Och igen: Jag ställer dessa frågor, för innan du svarat på dem tror jag faktiskt att det är svårt för dem som läser denna tråd att veta hur de skall tolka det du skrivit.

Efter att anklagelserna om opåliglighet nått dessa nivåer, jag talar då inte bara om det du skrivit, utan även om inlägg från n3mmr, berma med flera, tycker jag det är viktigt att alla får klart för sig vilken sakgrunden är (eller rättare sagt hur obeflntlig den är) för dig att offentligt ifrågasätta pålitligheten. För jag tror faktiskt att de flesta fått uppfattningen att du har någon substans (annan än förtroendebrist) att basera din kritik på.

Och man ska heller inte glömma att om man tittar på vad alternativen är, med de tester som görs i andra tidskrifter, så är det ingen tvekan om vilket testförfarande som är bäst.

Det gläder mig.

Tror dock att man som läsare lätt uppfattar den formuleringen som:
"Det är dåligt, men alla andra är ännu sämre".


Vh, iö

- - - - -

*Kan/bör tillägga att jag aldrig har velat ha ansvaret för de här sakerna, men eftersom jag har fått det ändå, så förbehåller jag mig rätten att göra det så bra jag kan - det vill säga inte ändra saker till det sämre bara för att någon har någon ogenomtänkt synpunkt.

Kort sagt: Om någon anser att det skall göras på annat sätt så vill jag:

1. Att den som tycker det skall se ut på något annat sätt är beredd att hålla i ansvaret för det görs på annat sätt.

2. Gärna också se några hållbara argument för det!
(Men det är inte absolut nödvändigt om den som vill göra ändringarna tänker ta ansvaret för arbetet, och stå till svar för metoderna.)


Hur som helst önskar jag LTS lycka till med detta i framtiden.

[Svante]

Förutsättningarna för de tester LTS gjort genom året är mycket enkla:

1. Testning sker blint,

2. Vi rapporterar endast undantagsvis några fynd om de har lägre statistisk signifikans än 99% (och i de fallen gör vi det alltid med detta faktum klargjort i artikeln).

3. Statistisk signifikans beräknas enligt rådande matematiska lagar.

Den som vill lära sig hur man beräknar statistisk signifikans får göra det själv. Det låter sig inte göras utan att hopskriva en hel lärobok i ämnet.

Hur statistik beräknas kan inte sammanfattas i några tabeller, med mindre än att man gör tumregler av det (bara godkänner typfall), och något sådant vill jag inte vara inblandad i, eftersom det skadar detektionströskeln.

Förvisso kan man ersätta beräkningarna med i förväg selekterade, genomräknade villkor som blir de enda man undersöker/godkänner, men jag kan inte se att det för LTS bruk skulle leda till något annat än nackdelar.


Vh, iö

Ehh, vad hände med det långa inlägget som jag just tänkte svara på...

Jag svarar ändå på den fråga som stod här förut, även om det blir svårare att komma ihåg den exakta lydelsen. Det var ungefär: "Kan jag säga ett enda tillfälle som LTS har rapporterat detektion med 99% konfidens fast det inte har varit det".

Svaret på det är nej, det har jag inte på de tre sessioner jag har deltagit.

Däremot har jag varit med om tre sessioner där jag inte skulle vilja ta på mig att räkna ut hur stor signifikansen egentligen var. Det är troligt att den har varit över 99% på de tre tester jag har deltagit i och det är möjligt att den har varit det i alla tester som har gjorts under de x år som du har hållit i testerna.

Min kritik är att testförfarandet inte är transparent. Testernas trovärdighet står och faller med en beräkning som är så komplicerad att den inte går att skriva ner på papper före testet. Det betyder inte att den är felaktig, men jag tycker att det är onödigt att det ska behöva vara så. Det finns mycket enklare sätt att lägga upp testerna som ger transparens och som möjligen skulle kunna korta ner testserierna (vilket skulle trötta lyssnarna mindre).

Det handlar inte om att utbilda medlemmarna om statistik, det handlar om att redogöra för vilken statistik som används och hur.

När jag själv utsätter mig för kritik, tex när jag skriver en artikel eller håller ett föredrag på en konferens, så är det så gott som alltid utvecklande. Det kan vara jekligt jobbigt att få tillbaka en artikel med petiga synpunkter och med små eller stora fakta-/metodfel utpekade. Första artikeln jag fick tillbaka fick mig nästan att vilja lägga ner min akademiska karriär, men nu har jag lärt mig att se vilka förbättringar processen leder till.

Det kan vara så att det är skillnad på den akademiska världen och hifi-världen i det att akademiker som kommer med obefogad kritik inte kommer undan med det. Kanske ligger det något i att en debatt om bristerna med F/E-lyssnande ger folk intrycket av att metoden är dålig. Så är det ju inte det är det bästa som finns (nåja), jämför man med öppen lyssning så är enda skillnaden att man tillför ännu fler brister. Men jag vill ändå tro att folk klarar av att förstå det och att den totala öppenheten om vad som görs är det bästa. Kanske är jag naiv, inte vet jag.

Jag läste fö på lite om Popper på wikipedia och där stod det något om att han menade att vetenskapliga metoder måste göras sårbara, falsifierbara. I detta ligger att man ska berätta hur man har gjort för att komma fram till det man har kommit fram till.

[Svante]

Nämen nu är inlägget där igen, vad händer egentligen...?

[IngOehman]

Ehh, vad hände med det långa inlägget som jag just tänkte svara på...

Det står ovanför ditt.

Och det hade stått där rätt länge, orört, när du svarade på det. 41 minuter tror jag.

Däremot så stod delar av det som står i inlägget med i ett tidigare inlägg jag skrivit, som jag dock klippte ned eftersom bara ett fragment av det kommenterades.

Jag svarar ändå på den fråga som stod här förut, även om det blir svårare att komma ihåg den exakta lydelsen. Det var ungefär: "Kan jag säga ett enda tillfälle som LTS har rapporterat detektion med 99% konfidens fast det inte har varit det".

Svaret på det är nej, det har jag inte på de tre sessioner jag har deltagit.

Det gläder mig!

Däremot har jag varit med om tre sessioner där jag inte skulle vilja ta på mig att räkna ut hur stor signifikansen egentligen var.

Då låter det som att, då var det väl bra att det var mitt ansvar att göra det!

Det är troligt att den har varit över 99% på de tre tester jag har deltagit i och det är möjligt att den har varit det i alla tester som har gjorts under de x år som du har hållit i testerna.

Trevligt att höra att du bedömer att det var troligt. Tycker inte troligheter som inte kan beräknas är så vetenskapligt intressanta dock. Vill hellre att du specifikt klargör att du inte har något fall där du påstår att statistiska signifikansen varit otillräcklig, men det kanske man kan påstå innehålls i det du skrev.

Min kritik är att testförfarandet inte är transparent. Testernas trovärdighet står och faller med en beräkning som är så komplicerad att den inte går att skriva ner på papper före testet.

Att statistik är så komplicerat som det är, är något jag tycker vi får acceptera.

Håller inte med om att det ger icke-transparens. Rådata brukar ju aldrig finnas med i några vetenskapliga rapporter ändå, så varför är de transparentare än redovisningarna i MoLt?

Det betyder inte att den är felaktig, men jag tycker att det är onödigt att det ska behöva vara så. Det finns mycket enklare sätt att lägga upp testerna som ger transparens och som möjligen skulle kunna korta ner testserierna (vilket skulle trötta lyssnarna mindre).

Jag har inte hört några sådana förslag, som jag inte sett att de illa skulle drabba detektionströskeln.

Det handlar inte om att utbilda medlemmarna om statistik, det handlar om att redogöra för vilken statistik som används och hur.

Det där begreppet "vilken statistik" tycker jag är lustigt.

Påstår nog att det bara finns en för varje givna fall (där givna betyder ALL information känd). Kan det finnas någon annan statistisk signifikans än den som är sann?

I vissa fall är viss information okänd, och då kan man bara räkna ut worst case-signifikansen. Man kanske alltså i sådana fall inte alltid säga att den är precis 99%, men om man kan säga >99,8% så räcker det ju utmärkt.

Exempel (ditt): Person ett svarar 10 ggr rätt i rad, person två svarar 5 ggr fel i rad. Man vet inte i vilken ordning de avgivit svaren, eller om de hört varandras svar. Då är statistiska signifikansen >99,8%.

Vet man mera så kan man i förekommande fall fastslå att signifikansen är väldigt mycket högre - faktiskt uppåt >99,993%!

När jag själv utsätter mig för kritik, tex när jag skriver en artikel eller håller ett föredrag på en konferens, så är det så gott som alltid utvecklande. Det kan vara jekligt jobbigt att få tillbaka en artikel med petiga synpunkter och med små eller stora fakta-/metodfel utpekade. Första artikeln jag fick tillbaka fick mig nästan att vilja lägga ner min akademiska karriär, men nu har jag lärt mig att se vilka förbättringar processen leder till.

Ok.

Tycker det är viktigt att skilja mellan obefogad och befogad kritik dock. Obefogad kritik bör man dra tillbaka när den bemötts sakligt.

Det kan vara så att det är skillnad på den akademiska världen och hifi-världen i det att akademiker som kommer med obefogad kritik inte kommer undan med det.

Akademiker kommer med en massa obefogad kritik, och bland även med befogad kritik. I båda fallen bör man vara beredd att stå för den eller dra tillbaka den, beroende på om den var befogad. En disputation går inte sällan ut på att opponenten kommer med obefogad kritik, vilket är doktorandens uppdrag att visa. Misslyckas det är det inte så kul för doktoranden, men nuförtiden brukar man inte ta så hårt på det. Klart doktoranden skall godkännas ändå...

Kanske ligger det något i att en debatt om bristerna med F/E-lyssnande ger folk intrycket av att metoden är dålig. Så är det ju inte det är det bästa som finns (nåja), jämför man med öppen lyssning så är enda skillnaden att man tillför ännu fler brister. Men jag vill ändå tro att folk klarar av att förstå det och att den totala öppenheten om vad som görs är det bästa. Kanske är jag naiv, inte vet jag.

Öppenhet i sig är aldrig fel, men att försämra/förenkla något för att möjliggöra begriplighet, det vill säga för att undvika skenande och osakliga debatter, är det ofta.

Om öppenhet kan finnas bara på bekostnad av att de inblandade tvingas in i oändliga och meningslösa debatter där de avtvingas svar på frågor utan slut således att de till sist inte kan fullgöra sitt egentliga uppdrag, då är öppenheten i sig ingenting bra.

Jag läste fö på lite om Popper på wikipedia och där stod det något om att han menade att vetenskapliga metoder måste göras sårbara, falsifierbara. I detta ligger att man ska berätta hur man har gjort för att komma fram till det man har kommit fram till.

Njae...

Det där är ju en av de grundläggande vetenskapliga Popperska teserna, men den har ingenting med det här att göra. Det är snarare en variant på första tesen, eller egentligen är det resonemanget som ledde honom fram till den första tesen*. Vad Popper skrev var ju bara att det är meningslöst att försöka bevisa något, som man inte kan bevisa frånvaron av.

Det var en principiell fråga som syftar till själva objektet (saken eller kunskapen man söker) den har ingenting med metodologin att göra.

Den säger att det är vetenskapligt ointressant att sätta upp en studie där man har som mål att få nollresultat när man letar efter något som inte KAN hittas. Att färgningar kan hittas är välkänt.


Vh, iö

- - - - -

*Som dock, om man skall vara noga, hade formulerats några tusen år tidigare av (en av) de gamla grekerna...

[Svante]

Jag läste igenom det igen, och tror att jag svarade på allt, men jag kanske har fel.

En sak, jag har flera gånger sagt att man inte kan beräkna konfidensen om man inte bestämmer i förväg hur data ska behandlas. Jag ska inte svära på att det är sant även om jag tror det, men kanske skulle jag säga så här i stället:

För att beräkna konfidensen behöver man inse alla tänkbara sätt som man skulle ha kunnat behandla data på. Om man inte kan skriva ner i förväg alla de sätt som man kan tänkas behandla data på, hur ska man klara av att göra det i efterhand* och hur ska man då kunna beräkna konfidensen? Med det synsättet finns det ingen anledning till att vänta med att skriva ner de tänkbara alternativen (dvs bestämma avbrottsvillkor etc i förväg).

Alternativt kan man förstås tillåta sig att göra en höftning av om konfidensen är tillräckligt stor, men det menar jag är ineffektivt eftersom det kräver fler lyssningar än vad som egentligen behövs och dessutom inför ett osäkerhetsmoment i konfidensens giltighet.

*Det måste vara svårare att göra det i efterhand. Glömmer man att ta med ett sätt när man skriver ner det i förväg så drar man inga falska slutsatser, glömmer man ett sätt när man skriver ner det i efterhand så beräknar man en felaktig signifikans och riskerar att dra felaktiga slutsatser.

[Svante]

Njae...

Det där är ju en av de grundläggande vetenskapliga Popperska teserna, men den har ingenting med det här att göra. Det är snarare en variant på första tesen, eller egentligen är det resonemanget som ledde honom fram till den första tesen*. Vad Popper skrev var ju bara att det är meningslöst att försöka bevisa något, som man inte kan bevisa frånvaron av.

Jag tror att Popper skrev mer än det. Från wikipedia: http://sv.wikipedia.org/wiki/Demarkationsproblemet

Det mest kända kriteriet för vetenskap infördes av Karl Popper och säger att en vetenskaplig teori måste vara falsifierbar, det vill säga att den måste vara sårbar.

Nu är jag dålig på vetenskapsteori, men för mig betyder det att man måste utsätta sina metoder för granskning, annars är det inte falsifierbara. Men it amma, vi ska inte spåra ur i vetenskapsteori också nu.

[IngOehman]

Nej, det betyder precis det som står - att en teori (=objektet för studien) måste vara falsifierbar!

Precis det jag skrev alltså.

Det duger inte att utgå ifrån en hypotes om att: "Det finns änglar som kännetecknas av att de inte syns, inte hörs eller interagerar med vår verklighet på något sätt överhuvudtaget".


Det GÅR nämligen inte att bilda en teori (utan att bryta mot Popper-tesen) av dessa änglars existens - ty det går inte att falsifiera påståendet. Påståendet blir därför varken en användbar tes eller kan (med hjälp av experiment) omvandlas till en teori - utan det förblir ett påstående utan vetenskaplig betydelse.

För även om de skulle finnas de där omärkbara änglarna, så går det (per definition) inte att falsifiera teorin om deras existens.


Alltså: Denna Popperska tes har med objektet (teorin om förefintligheten av ängeln) att göra. Alltså med vad som krävs av en teorin om förefintligheten av föremålet eller egenskapen, för att det skall vara en teori. Den måste kunna falsifieras.

Tesen har inte med metodologin (vägen till teorin) att göra.


Vh, iö

[IngOehman]

Jag läste igenom det igen, och tror att jag svarade på allt, men jag kanske har fel.

Du svarade inte på de frågor jag ställde för att det skulle bli lättare för andra att (med din erfarenhet av hur jag agerat som grund) bedöma om det finns skäl att ha förtroende för mig - det vill säga för min förmåga att säkerställa vetenskaplig ackuratess exempelvis genom att korrekt beräkna statistisk signifikans.

Alltså de frågor jag ställde med förhoppning att dina svar skulle göra att förtroendet för min insats som "garant för vetenskaplighet" skulle kunna återställas (vilket förstås per automatik betyder att man kan ha förtroende för det som skrivits i MoLt också).



Det är ju som så, att om jag hade varit en "i LTS-testerna oinsatt läsare" som bara läst den här tråden skulle jag ju ha förlorat förtroendet för LTS'/MoLt's vetenskapliga pålitlighet. En person som vet mer (genom att ha deltagit), du, säger ju att de inte går att lita på!

Nu är jag inte det, utan jag vet ju hur allting har gått till, och att rönen vi presenterat är inte bara pålitliga, utan att redovisade sgnifikanser även är korrekta, och alltid >99%.

Men vad jag skriver (som ju kan uppfattas vara skrivet i egen och i LTS' sak) är dock inte på långa vägar lika slagkraftigt som det du, kritikens upphovsman, kan bidra med för att reda upp rådande misstroende.

Därav frågorna.


Vh, iö

[Thomas_A]

Själva statistiken är inte krånglig. Det finns dock fallgropar, exempelvis om man begränsar sig till 7 av 7 rätt och gör 20 testserier. Upprepas testserien för det specifika fallet är dock det hela signifikant.

Dock är det lite svårt för mig att förstå att det inte skulle gå (sensitivetsmässigt) att redovisa data i tabellformat. Exempelvis:

Apparat 1, basregistertest:

lyssnare 1: 6/9
lyssnare 2: 9/9
lyssnare 3: 5/9

Summa 20/27; p=[insert formula]

[IngOehman]

Klart man kan redovisa detta, men det är ju bara lite av den information som kan ha legat till grund för beräkningen av de statistiska signifikansen. Därför kan informationen vara vilseledande. Leda någon vilse tycker jag inte man skall göra.

F/E-lyssning handlar initialt om att höra skillnad, inte om att veta vad som är vad. Din matematik förslår därför inte. Prova serierna 9/9, 1/9, 8/9, 0/9 så förstår du nog ett av svårigheterna med att bruka förenklade statistiska metoder...

Därtill finns massor av ytterligare komplicerande faktorer.


Vh, iö

[Morello]

Tabellen bör minst kompletteras med info om vem som svarat först om det i förekommande fall har avgetts fler svar vid samma svarstillfälle.

[IngOehman]

Ja, minst.

Men det räcker inte på långa vägar. Det finns mycket mera information som måste ingå. När all info är på plats kommer tillgängligggörandet bara att leda till missförstånd av vad allt betyder.


Vh, iö

[Morello]

Kan du exmeplifiera ang den informationen?

[Svante]

Jag läste igenom det igen, och tror att jag svarade på allt, men jag kanske har fel.

Du svarade inte på de frågor jag ställde för att det skulle bli lättare för andra att (med din erfarenhet av hur jag agerat som grund) bedöma om det finns skäl att ha förtroende för mig - det vill säga för min förmåga att säkerställa vetenskaplig ackuratess exempelvis genom att korrekt beräkna statistisk signifikans.

Ok, det missade jag.

Jag kan ju bara svara för mig själv, och jag tror att du drivs av en uppriktig vilja att vaska fram huruvida en apparat hörs eller inte*. Jag tror att lyssningarna har haft hög signifikans när de har visat på hörbarhet.

[IngOehman]

Bra, men det var verkligen inget svar på de frågor jag ställde.

[n3mmr]

Njae...

Det där är ju en av de grundläggande vetenskapliga Popperska teserna, men den har ingenting med det här att göra. Det är snarare en variant på första tesen, eller egentligen är det resonemanget som ledde honom fram till den första tesen*. Vad Popper skrev var ju bara att det är meningslöst att försöka bevisa något, som man inte kan bevisa frånvaron av.

Jag tror att Popper skrev mer än det. Från wikipedia: http://sv.wikipedia.org/wiki/Demarkationsproblemet

Det mest kända kriteriet för vetenskap infördes av Karl Popper och säger att en vetenskaplig teori måste vara falsifierbar, det vill säga att den måste vara sårbar.

Nu är jag dålig på vetenskapsteori, men för mig betyder det att man måste utsätta sina metoder för granskning, annars är det inte falsifierbara. Men it amma, vi ska inte spåra ur i vetenskapsteori också nu.

Falsifierbarhet är egenskapen att man ska kunna föreställa sig ett experiment och ett visst utfall av experimentet som klart motbevisar den falsifierbara tesen.

Eller uttryckt annorlunda: meningsfulla vetenskapliga utsagor har egenskapen att det gör praktisk (dvs mätbar) skillnad om dom är sanna eller ej. Så att en mätning i princip kan motbevisa ett påstående (med viss konfidens, naturligtvis...)

Änglarna kan existera eller ej utan att det gör skillnad. Alltså är påståenden om dom vetenskapligt ( t o m epistemologiskt) ointressanta.

Man får gärna prata om små gröna gubbar, men om man tror att dom finns bör man söka hjälp. Samma med gud, själavandring, panteism och single ended triode amps...

Du bör läsa vetenskapsteori, men Popper är bara en bit av sanningen. Nog så viktig, men leder ingenstans på egen hand. Frågor han inte svarar på är t ex hur man kommer på vad nästa steg i utvecklingen av en vetenskaplig teori ska vara.

[Thomas_A]

Ang. möjlighet att svara tvärtom så är det ju lätt testbart också, med Fisher's test. Hypotesen att svaren är signifikant skilt åt varandra alltså.

Naturligtvis måste tabellen kompletteras om svaren inte kan garanteras vara oberoende av varandra.

[Kaffekoppen]

Du menar som styrelsemedlem?

Nej, jag menade som medlem. Du vet redan hur jag ser på den här soppan. Det skall vara kul och man skall ha en vilja att hitta vägar tillsammans. Jag vill se det först.

Handlar helt enkelt om att verkställa.

Precis Det behöver inte vara svårt för att vara omständigt!

varför skulle jag göra nåt sånt? jag är inte ens med i lts, enda gången jag skulle testa en apparat jag egentligen inte har nåt intresse av är om det finns några ekonomiska vinster att göra i projektet...

jag menade bara på att om det nu finns ett genuint intresse för tex lts så är det inga större problem

Precis, det finns helt enkelt olika arbetsinsatser man är beredd att göra om det är ideelt arbete. Det är alltså inte svårt, utan omständigt och rejält tidskrävande. Det var du som översatte "omständigt" till "svårt". De orden har inte samma betydelse för mig. Det finns många som anser att det är omständigt att renovera upp sitt hus som du gör, men du anser nog inte att det är speciellt svårt. Det är tidskrävande och kräver mycket kraft och engagemang, men svårt är det inte.

Eftersom LTS hittills resonerat att resultaten primärt är för sina medlemmar och att de uppnådda resultaten varit av tillräcklig pålitlighet, har metoder använts som innebär klart mindre arbetsinsats.

Det är naturligtvis fritt för vem som helst att arrangera en sådan här tillställning och jag skulle glädjeligen delta, av rena nyfikenhetsskäl. Däremot skulle jag nog inte anse mig ha lust att arrangera det.

[Svante]

Jag läste igenom det igen, och tror att jag svarade på allt, men jag kanske har fel.

Du svarade inte på de frågor jag ställde för att det skulle bli lättare för andra att (med din erfarenhet av hur jag agerat som grund) bedöma om det finns skäl att ha förtroende för mig - det vill säga för min förmåga att säkerställa vetenskaplig ackuratess exempelvis genom att korrekt beräkna statistisk signifikans.

Ok, nytt försök då...

"Har jag förtroende för din förmåga att korrekt beräkna signifikans".

Nej.

Jag tror iofs att du har förmåga att beräkna signifikansen om man skulle använda den förenklade proceduren som jag har föreslagit och jag tror att du har en förmåga att uppskatta signifikansen såsom testerna har gjorts hittills.

Men jag tror inte att du kan beräkna den verkliga signifikansen såsom testerna har gjorts historiskt.

Om du vill debattera det så kan vi väl ta ett exempel, ta den där lyssningen som påminde om mitt exempel 3. Hur stor blev konfidensen där?

[Kaffekoppen]

Är vi ute efter en exakt siffra, eller räcker det om vi vet att vi har tillräcklig signifikans?

[Svante]

Är vi ute efter en exakt siffra, eller räcker det om vi vet att vi har tillräcklig signifikans?

Jag är ute efter en exakt siffra, det är det man brukar mena med att beräkna något.

Om det inte går är det iofs också intressant att få se beräkningen som visar att det är mer än 99% konfidens.

[Morello]

Är vi ute efter en exakt siffra, eller räcker det om vi vet att vi har tillräcklig signifikans?

För att ta reda på huruvida konfidensniån är tillräcklig (tex >0,99) måste vi rimligtvis beräkna den först, inte sant?

[Svante]

Är vi ute efter en exakt siffra, eller räcker det om vi vet att vi har tillräcklig signifikans?

För att ta reda på huruvida konfidensniån är tillräcklig (tex >0,99) måste vi rimligtvis beräkna den först, inte sant?

Nja, jo det är ungefär dit jag vill. Man kan iofs ge sig på en analogi med en påhittad funktion och fråga sig om

0.995+0,003*sin(x) > 0,99

och komma fram till ett säkert svar utan att känna till funktionens exakta värde, om bara x är ett reellt tal. Den stora frågan i analogin med F/E-lyssningen är om det okända, här representerat av sinusen, verkligen är tillräckligt begränsat i verkliga livet. Det är det som är så svårt att bevisa.

[Thomas_A]

Här är några exempel Fishers resultat från två lyssnare där man vill testa om deras svar är signifikant skilda från varandra:

I första fallet har de svarat 7/9 resp 2/9.
I andra fallet har de svarat 8/9 resp 2/9.
I tredje fallet har de svarat 8/9 resp 1/9.
I fjärde fallet har de svarat 13/18 resp 5/18.

I första fallet ligger svaret i gränslandet för vad man bör acceptera som skillnad, och det är därför tveksamt om de svarat tvärtom. Deras sammanlagda resultat bör därför ses som 9/18 och inte 12/18. I övrigas fall är det dock tveksamt om deras resultat beror på en slump och att de faktiskt svarat tvärtom. Som alltid gäller att man inte får selektera dessa svar utifrån ett flertal serier i efterhand. För en power på 80% behöver n vara minst 7 i varje varje grupp om man ska jämföra en proportionsskillnad på 0.9 och 0.1.

------------------------------------------
TABLE = [ 7 , 2 , 2 , 7 ]
Left : p-value = 0.9983134512546278
Right : p-value = 0.028342245989305112
2-Tail : p-value = 0.056684491978610224
------------------------------------------
TABLE = [ 8 , 1 , 2 , 7 ]
Left : p-value = 0.9997943233237352
Right : p-value = 0.007610037021801789
2-Tail : p-value = 0.015220074043603577
------------------------------------------
TABLE = [ 8 , 1 , 1 , 8 ]
Left : p-value = 0.9999794323323735
Right : p-value = 0.0016865487453722927
2-Tail : p-value = 0.0033730974907445854
------------------------------------------
TABLE = [ 13 , 5 , 5 , 13 ]
Left : p-value = 0.9988922269842082
Right : p-value = 0.009196977371786517
2-Tail : p-value = 0.018393954743573034
------------------------------------------

[IngOehman]

Jag läste igenom det igen, och tror att jag svarade på allt, men jag kanske har fel.

Du svarade inte på de frågor jag ställde för att det skulle bli lättare för andra att (med din erfarenhet av hur jag agerat som grund) bedöma om det finns skäl att ha förtroende för mig - det vill säga för min förmåga att säkerställa vetenskaplig ackuratess exempelvis genom att korrekt beräkna statistisk signifikans.

Ok, nytt försök då...

"Har jag förtroende för din förmåga att korrekt beräkna signifikans".

Nej.

Vilket skämt!

Du byter ut de frågor om sakförhållandena jag ställt dig (för att folk skall kunna bedöma värdet av dina gissningar), men en fråga du skriver själv - som efterfrågar din gissning!

Du sätter den till och med inom citationstecken så att det skall verka som om det var min fråga.

Jag tror iofs att du har förmåga att beräkna signifikansen om man skulle använda den förenklade proceduren som jag har föreslagit och jag tror att du har en förmåga att uppskatta signifikansen såsom testerna har gjorts hittills.

Men jag tror inte att du kan beräkna den verkliga signifikansen såsom testerna har gjorts historiskt.

Om du vill debattera det så kan vi väl ta ett exempel, ta den där lyssningen som påminde om mitt exempel 3. Hur stor blev konfidensen där?

1. Det svarade jag på redan på första sidan i den här tråden!
(Liksom jag svarade på alla andra exempel du kom med samtidigt.) Du har inte kommenterat mina svar överhuvudtaget.


2. Jag är inte på något sätt intresserad av vad du tror/gissar/misstänker.

Är det verkligen svårt att svara på frågorna jag ställt?

Jag har INTE ställt någon fråga överhuvudtaget där jag frågar om din bedömning. Den har du ju erbjudit alldeles själv genom att starta den här tråden. Din bedömning är subjektiv, felaktig och dessutom redan känd.

Det jag frågat om är saker som gör att alla andra, som hittills bara sett din bedömning, skall få veta vilken grund det finns till den, det vill säga skall få veta att dina misstankar är grundlösa.

Jag har bara frågat dig om FAKTA. Jag har gjort det för att det skal framgå att det du skriver bara är misstankar/spekulationer. Det faktaunderlag som finns är att du flera gånger har bett mig redogöra för signifikansen i specifika fall, vilket jag gjort mer eller mindre ögonblickligen, och du har inte i NÅGOT ENDA FALL kunna visa att jag haft fel (trots att du i förekommande fall bett att få fundera på saken och räkna i lugn och ro hemma).


Inlägget med alla sex (3+3) frågorna finns högre upp på denna sida. Jag tänker inte ställa dem igen, och jag har inte längre något hopp om att du kommer att ens försöka svara på dem. Hoppas dock att alla inser varför, och därmed förstår vilka svaren är. Jag hade hoppats att du skulle vilja hjälpa till och ge dem, men det tycks inte finnas något sätt att få dig att svara på dem.


För ungefär två tusen år sedan sade en klok man* ungefär detta:

-Skall man berätta om sina misstankar? I brist på fakta tar misstankar faktans roll i människors medvetande, och om man har fel riskerar man därför att göra människor mycket illa. Det är ett ansvar man har att reflektera över. Har man inget annat än misstankar att komma med så gör man rätt i att hålla dem för sig själv.


Vh, iö

- - - - -

*På latin, eftersom han var romare, men det finns goda skäl att misstänka att funderingarnas upphovsman var grek, ty romaren ifråga var en stor fan av de grekiska tänkarna.

[Kaffekoppen]

Svante!

Istället för massa textmassa kan man konstatera att IÖ är besviken eftersom Svantes kritik mot testgenomförandet* kan tolkas som om IÖ (och därmed LTS) tester genom åren varit för vaga i fråga om att säkerställa signifikansen och därmed helt saknar värde.

Är det så man skall uppfatta din kritik/dina förslag till förändringar Svante?







* själva metoderna har jag förstått att Svante i mångt och mycket anser är korrekt utvalda. Även om han ser potentiella problem i vissa fall, så kan han inte specifikt peka på om det någonsin varit ett problem för själva slutsattsen.

[Morello]

Den här diskussionen ter sig mer och mer märklig för var dag som går.

Ni satt enligt utsago i många timmar och diskuterade spörsmålet, men varför tog ni inte ett konkret testfall och gick igenom det i detalj och granskade de beräkningar som legat till grund för eventuella slutsater?


Innan ett komplett testprotokoll finns att studera ser jag det som helt omöjligt att granska den statistiska analysen.

[Morello]

Istället för massa textmassa kan man konstatera att IÖ är besviken eftersom Svantes kritik mot testgenomförandet* kan tolkas som om IÖ (och därmed LTS) tester genom åren varit för vaga i fråga om att säkerställa signifikansen och därmed helt saknar värde.

Är det så man skall uppfatta din kritik/dina förslag till förändringar Svante?

Så har jag inte tolkat Dr. Svantes kritik. Är frågan månne en smula retorisk?

[Kaffekoppen]

Den är inte så retorisk som man kan tro.

Den är helt enkelt ställd på det sätt som kritiken uppfattats.

Svaret behöver således inte vara uttömmande och förklarande, utan ett JA eller NEJ räcker gott.


Jag håller med om att det blir märkligare och märkligare. Jag tror nästan inte att de vill förstå varandra.