Endast för statistikkunniga (F/E-statistik)

[IngOehman]

Med 99,9% konfidensnivå har distorsionen ökat pga. den nya transistorn. Den ökade hela en faktor 1/10000.

Någon mer som kikat på mitt exempel?

Svante hade någon fråga till Ingvar vill jag minnas.

Du säger det ja Morello... men jag är inte säker på att jag orkar med så mycket mer av den evighetsdebatten.

Tycker egentligen inte det finns något skäl för Svante att vilja veta HUR jag gör när jag räknar. Dels kommer han inte att behöva bekymmra sig om det längre, eftersom han sett till att någon annan tar över ansvaret (eller i varje fall att jag inte gör det längre). Det intressanta borde vara att han får veta om han håller med om det jag kommer fram till/påstår, eller om han är av en annan uppfattning.

Hade han haft den inställningen från början hade världen sett bättre ut idag. I varje fall "lokalt".


Men okej'rå... Jag gör ett försök till!

Oavsett vilket kan man dock säga att Morello kan höra skillnad mellan F och E med en statistisk signifikans >98,4%. I praktiken hade jag inte stoppat serien vid nio dock, men vid 10 eller 11, om du hade fortsatt svara rätt (även om du svarat efter Svante! Tro't eller ej...).

Med viss info känd före testen (exempelvis att det redan finns tecken på att Morello är en god lyssnare, och att det därför är hans svar som räknas) är SS >99,6% för att vi i testen lyckats påvisa att apparaten har en hörbar färgning.

Ok, det här är en bit på väg till att göra det begripligt hur du räknar och det är bra.

Då misstolkar du syftet med det jag skrev. Jag avsåg inte hjälpa dig att "förstå hur jag räknar", jag avsåg bara visa svaret på frågan. Jag avsåg visa, att det jag kommer fram till är något du håller med om, om du tänker efter och räknar du me'. (Gör gärna det!)

Hur jag räknar spelar ingen roll. Jag kanske använder min intuition bara - jag tar det jag vet som utgångspunkt, blundar, och berättar sen det svar jag "ser".

(Tro nu inte att det har något med att "höfta" att göra, och tolka för tusan inte heller det jag skrev som att jag informerar dig om att det är så det går till.)

Varför litar du på din miniräknare? Är det för att du vet exakt hur den gör inuti, eller beror det på att du inte funnit att det finns skäl att misstro den?

Kan man inte beskriva metoden i sin helhet kan man i alla fall ge några exempel som här, och åtminstone kolla en del av förfarandet.

Nej, du kan inte "kolla" förfarandet, för jag har inte sagt något om det. (Väldigt avsiktligt!)

Min första fråga, när du säger att konfidensen blir 99,6% om Morello är en god lyssnare, varför betyder det att du kan bortse ifrån Svantes svar?

1. Jag säger inte att konfidensen blir >99,6% "om Morello är en god lyssnare". Läs igen - och gör det noggrannare. Läs mer än bara orden. Bry dig om hur de är ordnade också.

2. Jag har inte bortsett ifrån Svantes svar. Att jag gjort det är en gissning från din sida bara. >99,6 relaterar inte till varken lyssnare Morello eller Svante, det relaterar till apparatens hörbarhet. Svaret är dock villkorat tidigare beslut om lyssnarnas förmåga.

Är dessa saker verkligen så här svåra att fatta för dig?

Och om du ändå hade tänkt göra det, varför fick han vara med i testet från början.

Eftersom du fråga är hypotetisk, och felaktig (du ber mig svara på varför jag hade beslutat något som jag inte hade beslutat ) finns det inget svar till det.

Däremot kan jag säga varför Svante fick vara mer - det beror på att det är APPARATEN som är i fokus, och då spelar det ingen roll vilken metod Morello använder för att avge sina svar. Om hans teknik att nå rätt svar är att välja att ibland svara ja på grund av att Svante svarat något före - så får han det! Vägen till information är ointressant, förutsatt att du inte tror på magi och betraktar magi som fusk...

Det är en statistisk sjävklarhet och ingenting jag borde behöva motivera.

Koll:

Jag antar att du räknar ut 99,6% som 1-2/2^9=0,996, dvs dubbelsidigt (både alla rätt och alla fel är ok).

Jag svarade inte 99,6, jag svarade >99,6%. Exempelvis 99,99%.

Men ja, det är så man hade räknat, om frågan hade varit det du antyder. Man räknar alltså inte som du tidigare räknat - den där skumma ekvationen där du kunde nå SS <50%.

Tycker kanske dina räknetokerier är rätt ointressanta, men om du nu verkar vilja älta frågorna i den här tråden vidare kan jag väl (du publicerade ju delar av styrelsens emailkorrespondans) nämna det: Du talade om konfidenser <<50% i den där emailtråden du startade med LTS-styrelsen, även EFTER att du enligt egen uppgift korrigerat din egen felaktiga matematik... Hur mycket koll har man på statistiken då?

Sen blev du upprörd av att jag förkastade dumheterna, och du startade den här tråden på faktiskt. Vad var syftet? Hämnd? Isåfall (jag kan också vara hypotetisk! ) undrar jag om du anser att du uppnått det du ville? Undrar förstås också om det är rimligt att välja ut någon att hämnas på, för de tokerier man (du) skrivit själv.

Den första frågan kan jag ställa oavsett om det var hämnd du var ute efter förresten: Hur du uppnått det du ville?

...och 98,4% kom ifrån 1-2/2^7=0.984? Du bortsåg alltså från de svar där Svante svarade först?

Nej, det stämmer inte. Jag svarade för övrigt inte alls 98,4%. Läs igen, och gärna noggrannare.

En sista fråga, hur med hur stor konfidens kan man säga att apparaten färgar ljudet?

Ingen aning. Jag har alldeles för lite information tillgänglig för att kunna svara på det. Lång ifrån vad jag tycker är tillräcklig SS i varje fall, om jag tvingas räkna i efterhand utan att ha varit på plats och har vetat hur det gick till (eller rättare sagt har kunna styra hur det gick till).

Hursomhelt är det din tur att svara nu, om du tycker att det går att göra det på den bristfälliga informationen som finns tillgänglig. Berätta vad du själv räknar fram, och om du kommer från till siffror lägre än 50% så börja om från början. (Förlåt, kunde inte låta bli )

Så jag tror inte att någon av debattörerna behöver oroa sig för att problemet förbises.

Det trodde inte jag heller. Jag har som sagt inte sett att (just detta = sammanblandning mellan konfindens och styrka) varit något problem i några av de avhandlingar eller rapporter jag läst. När jag fick läsa att det förekommer måste jag ju ta det på allvar dock. Min misstanke är att du och jag Dimitri, har liknande erfarenheter, men att Dalquist har andra - och att vi därför borde lyssna på honom. Bara för att vi inte stött på det betyder det ju inte att det inte finns, eller hur?


Vh, iö

[Kaffekoppen]

Oavsett vilket kan man dock säga att Morello kan höra skillnad mellan F och E med en statistisk signifikans >98,4%. I praktiken hade jag inte stoppat serien vid nio dock, men vid 10 eller 11, om du hade fortsatt svara rätt (även om du svarat efter Svante! Tro't eller ej...).

Med viss info känd före testen (exempelvis att det redan finns tecken på att Morello är en god lyssnare, och att det därför är hans svar som räknas) är SS >99,6% för att vi i testen lyckats påvisa att apparaten har en hörbar färgning.

Ok, det här är en bit på väg till att göra det begripligt hur du räknar och det är bra.

Jag tokar det som om IÖ anser att han har så god personkännedom att han inte behöver se Svantes tidigare svar som påverkande för det Morello ger. Därmed är Morellos svarsserie obruten.

[Svante]

Hoppla, det var visst känsligt det där. Men jag kan fundera högt en stund på det där med konfidens <50%. Iofs så blir det en rätt akademisk fråga, men såna har vi ju avhandlat förr. Om man tycker att 90% konfidens är för lite så blir ju allt mindre än det rätt ointressant. Men ok, jag gör ett försök att förklara hur jag (har för mig) att jag räknade.

Men ja, det är så man hade räknat, om frågan hade varit det du antyder. Man räknar alltså inte som du tidigare räknat - den där skumma ekvationen där du kunde nå SS <50%.

Tycker kanske dina räknetokerier är rätt ointressanta, men om du nu verkar vilja älta frågorna i den här tråden vidare kan jag väl (du publicerade ju delar av styrelsens emailkorrespondans) nämna det: Du talade om konfidenser <<50% i den där emailtråden du startade med LTS-styrelsen, även EFTER att du enligt egen uppgift korrigerat din egen felaktiga matematik... Hur mycket koll har man på statistiken då?

Jag ser begreppet konfidens som samma sak som 1-p, där p är sannolikheten att svarsserien, eller oftare en grupp av svarsserier uppstår av en slump. Det kan vara alla svarsserier som innehåller högst ett fel när serien är tio svar lång. Det finns ju elva sådana, och totalt 1024 möjliga, då blir p=11/1024 vilket är lite mer än 1%. Konfidensen är då knappt 99%.

Om vi då funderar på ett riktigt dåligt test, ett där vi godtar upp till 7 fel av 10, då är risken väldigt stor att någon av svarssekvenserna i den gruppen uppstår av en slump. Jag orkar inte räkna ut just nu hur stor risken är, men låt oss säga att den är 80%. Då skulle konfidensen bli 20%.

På samma sätt menar jag att ett upprepat test (jag tror det var det det handlade om i mailen) kan ge så låga konfidenser. Om man gör 1000 tester som vart och ett har konfidensen 99%, så är sannolikheten att inget av de testerna visar falsk positivt resultat 0,99^1000=0,043 promille. Det menar jag också är konfidensen, och den är ju hopplöst låg, vilket jag tycker är alldeles riktigt. Det testet kan man ju inte lita på.

Samma sak gäller om vi gör två serier med 99% konfidens, då blir sannolikheten att inget av dem visar falskt positivt resultat 0,99^2=98,01%.

Jag vet inte om det här är "rätt" eller praxis, men på sitt sätt tycker jag att det är vettigt. På något sätt så påminner det mig om debatten om man kan ha mer än 100% distorsion, dvs det är en debatt som inte har någonting av praktisk betydelse, men som kanske har funktionen att man till sist begriper bättre vad man egentligen menar när man använder begreppen.

Just nu förstår jag faktiskt inte varför testet med 1000 99%-iga serier skulle ge nära 50% konfidens. Vad betyder de 50 procenten?

[IngOehman]

Jag tycker det verkar som om du blandar ihop begreppen.

Du skriver konfidens i flera fall, men menar olika saker beroende på om det är en framräknad konfidens från en serie, eller om det är en kombinatorisk konfidens. Osnygg matamatik.

När du skriver:

Samma sak gäller om vi gör två serier med 99% konfidens, då blir sannolikheten att inget av dem visar falskt positivt resultat 0,99^2=98,01%.

tycker jag du snurrar till det illa värre...

Först och främst definierar du inte vad du menar med "positivt resultat". Om man med positivt resultat menar en detektion med >99% konfidens är ju sannolikheten att ingen av dem visar positiv resultat 0%. Det vet vi ju redan att båda gjorde!

Om du menar konfidensen för testerna tillsmmans är den snarare ~99,994% än 98,01%.

Att börja extrahera fram "konfidens på konfidensen själv" (istället för på utfallet) är lätt dubiöst, och att göra det när testen redan är gjord och svaret är givet, är dubbelt dubiöst. Sannolikheter använder man ju för alternativa utfall och för framtiden. Inte när svaret är givet, i varje fall inte utan att byta diciplin till filosofi...

Oavsett vilket kan man dock säga att Morello kan höra skillnad mellan F och E med en statistisk signifikans >98,4%. I praktiken hade jag inte stoppat serien vid nio dock, men vid 10 eller 11, om du hade fortsatt svara rätt (även om du svarat efter Svante! Tro't eller ej...).

Med viss info känd före testen (exempelvis att det redan finns tecken på att Morello är en god lyssnare, och att det därför är hans svar som räknas) är SS >99,6% för att vi i testen lyckats påvisa att apparaten har en hörbar färgning.

Ok, det här är en bit på väg till att göra det begripligt hur du räknar och det är bra.

Jag tolkar det som om IÖ anser att han har så god personkännedom att han inte behöver se Svantes tidigare svar som påverkande för det Morello ger. Därmed är Morellos svarsserie obruten.

För femtielfte gången: Tolka inte det jag skriver, jag har bett dig många gånger tidigare. Jag menar (med reservation för felskrivningar) alltid det jag skriver, och just det jag skriver. Jag avser ALDRIG lämna utrymme för tolkning. Hade jag menat det du försöker tolkar fram så hade jag skrivit det. Alltså: Jag menar det verkligen INTE!

Ditt förslag att jag skulle ha försökt framföra något sådant är ju, utöver att vara felaktigt, minst sagt upprörande rent vetenskapligt!

Man kan väl för tusan inte räkna statistisk signifikans på mjuka indata!


Vh, iö

[Kaffekoppen]

Bra!

Då kan jag krypa ner under stenen.

[IngOehman]

Bra!

Då kan jag krypa ner under stenen.

Närå, sluta tolka bara.

(Och framförallt är det bra om du inte antyder att jag "nog menat" något som är så
ovetenskapligt att jag får rysningar av det. Sådan "hjälp" behöver jag liksom inte. )


Vh, iö

[Svante]

Jag tycker det verkar som om du blandar ihop begreppen.

Du skriver konfidens i flera fall, men menar olika saker beroende på om det är en framräknad konfidens från en serie, eller om det är en kombinatorisk konfidens. Osnygg matamatik.

Hmm, jag förstår inte.

Framräknad konfidens från en serie, det är alltså vilken konfidens tex 9/10 ger, medans kombinatorisk skulle vara när jag väger ihop flera serier, med tex om de har 99% vardera och ger 98% tillsammans?

Har jag förstått det rätt?

I sådana fall förstår jag inte varför det är osnyggt, båda talar ju om konfidens, alltså hur mycket man kan lita på den enda serien i första fallet, respektive hur mycket man kan lita på testet som helhet i andra fallet.

[IngOehman]

Du kan inte kombinera utfallen utan att kombinera utfallsdata.

7 av 7 plus 7 av 7 ger 14 av 14. Inte 7 av 7 + ? av 7.


Vh, iö

[Thomas_A]

Trodde det var klart hur statistiken bör användas. Själv har jag ingen aning om vilka siffror det handlar om i de skarpa lägen som föranlett tråden, så jag kan inte bidra något mer.

[Svante]

Du kan inte kombinera utfallen utan att kombinera utfallsdata.

7 av 7 plus 7 av 7 ger 14 av 14. Inte 7 av 7 + ? av 7.


Vh, iö

Nja, alltså, det finns ju olika sätt att kombinera dem. Man måste bara bestämma sig för vilket sätt man vill göra det.

Menar du att (3 av 9) plus (9 av 9) ska ses som 12 av 18? Hur stor konfidens ger det då?

Och (0 av 7) och (7 av 7), vad blir det tillsammans? 7 av 14? Hur stor konfidens ger det då?

Det verkar vara att kasta bort kraft i testet om man inte ser serierna som separata, det räcker att ena serien är dålig så blir hela testet det. Om man i stället ser serierna som försök att uppnå tex 99% konfidens så kan den ena serien bli hur dålig som helst om bara den andra lyckas. Testet som helhet ger då ~98%, menar jag.

[Svante]

Trodde det var klart hur statistiken bör användas. Själv har jag ingen aning om vilka siffror det handlar om i de skarpa lägen som föranlett tråden, så jag kan inte bidra något mer.

Nej det har blivit lite lätt förvirrat nu. Helst skulle det skrivas en metodspec för att skingra förvirringen. Alla frågor som behöver komma upp har nog kommit upp i den här tråden och det verkar inte som fortsatt diskuss ska ge så mycket mer.

Nu skulle man behöva prata i stället.

[Thomas_A]

Du kan inte kombinera utfallen utan att kombinera utfallsdata.

7 av 7 plus 7 av 7 ger 14 av 14. Inte 7 av 7 + ? av 7.


Vh, iö

Nja, alltså, det finns ju olika sätt att kombinera dem. Man måste bara bestämma sig för vilket sätt man vill göra det.

Menar du att (3 av 9) plus (9 av 9) ska ses som 12 av 18? Hur stor konfidens ger det då?

Och (0 av 7) och (7 av 7), vad blir det tillsammans? 7 av 14? Hur stor konfidens ger det då?

Det verkar vara att kasta bort kraft i testet om man inte ser serierna som separata, det räcker att ena serien är dålig så blir hela testet det. Om man i stället ser serierna som försök att uppnå tex 99% konfidens så kan den ena serien bli hur dålig som helst om bara den andra lyckas. Testet som helhet ger då ~98%, menar jag.

3/9 + 9/9: Om det är gjort av en och samma testperson i en konsekutiv serie för samma H0/H1 så har man inte visat någon skillnad.
0/7 + 7/7: Om det är gjort av en och samma testperson i en konsekutiv serie för samma H0/H1 så han man inte visat någon skillnad.

Om det sker ofta från en och samma personer att man får väldigt spridda resultat kan man misstänka att de inte är pålitliga, alltså att de för vissa serier väljer att gissa medans andra inte, alternativt att de medvetet svarar tvärtom för att sabotera. Sådana personer måste väljas bort. Annars kan ju ovanstående resultat vara ett av de få slumpresultat som faktiskt kan hända, men sällan.

Om person 3/9 + 0/7 är en och samma person och 9/9 + 7/7 är en och samma person kan vi testa dem mot varandra. De blir signifikant skilda åt. Har man bestämt sig för ett ensvansat test så skulle man innan serierna börjat selekterad 9/9 + 7/7-personen först. Det är ju alltid bättre att göra så, träna, selektera och använd de förutbestämda bästa personerna. Testledaren kan ju i förhand bestämma att person 3/9 + 0/7 gärna får svara men hans resultat ej ska räknas på. I förhand alltså.

Det är iofs sant att chansen att hitta åtminstone ett p-värde under den kritiska gränsen ökar med antalet testade hypoteser pga av slump och urval.

Antag att vi i testet ovan genererat 4 p-värden. Det lägsta p-värdet är 9/9+7/7 vilket är 16/16, p=0.000015 (H0=0.5). Även om vi gjort genererat 4 p-värden är detta p-värde så pass lågt att vi kan med gott samvete säga att det är hög sannolikhet att denna person hör en skillnad. En Fishers mellan person och slump ger p=0.001.

[DQ-20]

Du kan inte kombinera utfallen utan att kombinera utfallsdata.

7 av 7 plus 7 av 7 ger 14 av 14. Inte 7 av 7 + ? av 7.


Vh, iö

Nja, alltså, det finns ju olika sätt att kombinera dem. Man måste bara bestämma sig för vilket sätt man vill göra det.

Menar du att (3 av 9) plus (9 av 9) ska ses som 12 av 18? Hur stor konfidens ger det då?

Och (0 av 7) och (7 av 7), vad blir det tillsammans? 7 av 14? Hur stor konfidens ger det då?

Det verkar vara att kasta bort kraft i testet om man inte ser serierna som separata, det räcker att ena serien är dålig så blir hela testet det. Om man i stället ser serierna som försök att uppnå tex 99% konfidens så kan den ena serien bli hur dålig som helst om bara den andra lyckas. Testet som helhet ger då ~98%, menar jag.

Man får inte slänga bort serier endast baserat på utfallet i den beroende varibeln. Gör man det så får man ju ta och räkna på det utfallrum som kan bli aktuellt. Om man på förhand vet eller åtminstone känner på sig att man kommer att slänga bort alla försöksserier som inte har någon chans att uppnå stipulerad statistisk signifikans så ingår ju dessa utfall inte längre i den oändliga population utfall från vilken man tar ett urval. Eftersom det här rör sig om en binominalfördelning så är det till att gå tillbaka och räkna på kombinatoriken (dubbel-urrk.) Om man däremot grundar sitt bortslängande på andra saker (och utfallet kan vara en del i denna förståelse) så handlar det snarare om att definiera omständigheterna kring experimentet. Om vi genom oväntade experimentutfall får anledning att tror/veta/misstänka upptäcker att flera oberoende variabler inte har rätt värde (typ att en av försökspersonerna är trött; okoncentrerad; tillfälligt bullerskadad; relativt okänslig för det fenomen som väntas ge utslag; har knäck i lurarna; sitter fel i förhållande till rum/högtalare; hundra andra saker som jag inte har en aning om) så kan det ju finnas fog för att slänga bort en eller flera testserier just för att det inte tillhör experimentet men att värdet på de oberoende variablerna inte finns tillgängliga förrän man börjat experimentera.

MEN, att slänga bort serier ur fördelningen bara för att de inte är tillräckligt "bra" skall kosta signifikans. En chans till gissning skall inte vara gratis.

/D

[DQ-20]

Men: Hur löser man problemet? I den akademiska världen borde det vara lätt att lösa - nämligen genom att knäppa de forskare på näsan som inte fattar att de inte får formulera sig så. Finns det någon som kan ta det näsknäppningsuppdraget?

Det känns ju som sådana formuleringar visar på signifikanta brister i det vetenskapliga förståndet/kunskapen, och om det finns forskare som uppvisar sådana brister - hur kan man då vara säker på att inte även granskarna gör det?

Vh, iö

Quis custodiet ipsos custodes? Ja säg det. Jag tycker dock inte man behöver vara helt uppgiven. Problemet är framförallt socialpsykologiskt. I discipliner där det är svårt att uppnå statistik signifikans (och/eller skaffa stora urval) blir statistisk signifikans hårdvaluta. Gruppen forskare som helhet blir alltså mer vördnadfulla inför detta än inför effektstorleken även om man "innerst inne" känner till sambandet mellan effektstorlek, urvalsstorlek och signifikansnivå. En annan omständighet är vad det är man mäter. Om man mäter attityder eller psykologiska egenskaper är det svårt att kvantifiera värdet av en skillnad. Hur viktig är en skillnad på ett steg i en sjugradig skala om attityder till fildelning? Vad betyder den? Jämför detta med data på dödlighet så ser man att det inom vissa discipliner är lättare att sätta värde på skillnader än i andra.

/D

[Thomas_A]

Ytterligare en kommentar baserad på Svante's exempel ovan. Om man nu vet att svarsserierna kommit från helt olika personer kan man göra en 2 x 4 tabell och en Fishers. Eller exempelvis att en person var en och samma men i sitt misslyckade test hade två enorma vaxproppar och det finns anledning att misstänka att serierna kan skilja sig åt för detta. Man kan ju också välja att försöka hitta någon när man sett resultatet. Jag förutsätter då att dessa serier gäller och att man inte selekterat dessa 4 ur en grupp av andra. Resultat:


Two sided p-value for p(O>=E|O<=E)
p-value= 0.0000014105 (the sum of small p's)
Two sided p-value for p(O>E|O<E)
p-value= 0.0000004433 (the sum of small p's)
Two sided p-value mid-p
p-value= 0.0000009269 (the sum of small p's)

408 tables evaluated

Chi square (with 3 degrees of freedom):
(including empty -zero- cell)
Pearson's= 23.709 (p= 0.0000)

Chi squares (both with 3 degree of freedom):
(excluding empty -zero- cell)
Pearson's= 34.365 (p= 0.0000)
Likelihood Ratio= 31.772 (p= 0.0000)


Alltså är också denna tabell osannolik och det finns anledning att tro att det inte är slump i en eller fler av observationerna. Vad det sen beror på är en annan sak.

[IngOehman]

Du kan inte kombinera utfallen utan att kombinera utfallsdata.

7 av 7 plus 7 av 7 ger 14 av 14. Inte 7 av 7 + ? av 7.


Vh, iö

Nja, alltså, det finns ju olika sätt att kombinera dem. Man måste bara bestämma sig för vilket sätt man vill göra det.

Menar du att (3 av 9) plus (9 av 9) ska ses som 12 av 18? Hur stor konfidens ger det då?

Du fortsätter att blanda ihop.

Vad jag säger är att SS beror av vilken fråga man svarar på/anger SS för! (Ex: Med vilken SS har personen i fall 2 detekterat objektet?) Det finns inte infromation tillräckligt för att svara på din fråga, och det borde du inse. Det framgår ju inte ens om experimenten är gjorda samtidigt och med samma lyssnare, eller ens om det är samma objekt. Utan att veta något av detta måste det ses som 12 av 18, vilket ger usel SS. Vet man mera kan man dock eventuellt kontatera en väsentligt högre SS för detektionen.

Och (0 av 7) och (7 av 7), vad blir det tillsammans? 7 av 14? Hur stor konfidens ger det då?

1. Utan att veta förutsättningarna går inte heller denna fråga att svara på!

2. Varför frågar du mig? Kan du verkligen inte svara på dessa självklara och helt uppenbara frågor själv.

Det verkar vara att kasta bort kraft i testet om man inte ser serierna som separata, det räcker att ena serien är dålig så blir hela testet det.

Tänk mer. Tänk klarare. Inse att SS bara går att definiera för en NOGGRANNT BESKRIVEN FÖRUTSÄTTNING.

Tänk på detta: Du tester en apparat och får 9 av 9 (rätt eller fel, det spelar ingen roll) och du drar slutsatsen att du kan höra den, och att säkerheten i den slutsatsen är hög (SS), väsentligt högre än 99%.

Ok?

Dagen efter får du höra att apparaten har testats 500 gånger innan du gjorde det, och det har blivit slumpresultat varje gång. Räknar du om din egen detektions statistiska signifikans då?

Det tycks som om du i varje idé du lancerar bryter mot oerhört basala fundament inom statistiken, såsom vikten av inramning för att kunna definiera ett villkor och sannolikhetens (inom den ram man definierar) oberoende av historien.

Trodde det var klart hur statistiken bör användas. Själv har jag ingen aning om vilka siffror det handlar om i de skarpa lägen som föranlett tråden, så jag kan inte bidra något mer.

Nej det har blivit lite lätt förvirrat nu. Helst skulle det skrivas en metodspec för att skingra förvirringen. Alla frågor som behöver komma upp har nog kommit upp i den här tråden och det verkar inte som fortsatt diskuss ska ge så mycket mer.

Nu skulle man behöva prata i stället.

Jag får allt mera känslan, att om det skall tas fram en modell för hur sådana här tester skall göras och/eller om en dylik modell skall bedömas, så är du en av de minst lämpade att göra det.

Själv ser jag inte att det finns något behov av ny modell. Den som funnits och använts i snart 30 år för alla de studier jag gjort på hörbarhet har fungerat invändningsfritt. Jag har inte någon enda gång behövt revidera några fynd, och överensstämmelserna med mätfynd har varit 100%iga.


Vh, iö

[Morello]

Jag vill i alla fall göra gällande att "Morello" kan påstå att han hörde skillnad med en konfidensnivå om 98,4%.

Svaren där "Svante" svarade först har jag kastat då risk för korrelation föreligger. "Svantes" svar ger ingen relevant info alls pga för kort serie.




Jag tycker den senaste dagens inlägg innehåller på tok för mycket känsloyttringar, retoriska tjuvknep och ovidkommande kommentarer, vilket gör det svårare att följa trådens väsentligheter. Vore väldigt fint om alla parter kunde hålla sig strikt till sakfrågorna.

[IngOehman]

Det har du helt rätt i.

I varje fall om jag får ändra 98,4% till >98,4%. Alltså mer än...


Man kan nämligen diskutera om det finns skäl att slänga de svar där Morello svarat först efter Svante. Dels säger ju (den redovisade) historiken att Morello vet att Svante INTE svarat på ett sätt som Morello hållt med om stringent, och dels kunde Morello avstå ifrån att svara (i varje fall om jag hade hållit i lyssningen).

Av praktiska skäl gör man förstås så, att man räknar lägsta säkra sgnifikansnivån (= 98,4%) och alltså fortsätter lyssningen! I synnerhet om man inte vilka förutsättningar som gäller (är det apparaten som testas, eller lyssnarna? Är avgivna svar frivilliga, eller måste varje person svara varje gång? Och så vidare...).

Men i praktiken är nog SS faktiskt väsentligt högre för att Morello hör skillnaden - i varje fall om det INTE finns något tvång för någon av lyssnarna att avge svar (den avgivna serien gör det dock troligt att ett sådant tvång förelegat, eftersom de svarat båda två varje gång ), och det har absolut ingenting med personkännedom att göra - bara med fakta om händelseförloppet.


Men om svaren inte avtvingats någon: Morellos svar var ju frivilligt avgivet, och det finns då inget rationellt skäl att tro att han inte hade kunnat avstå från att säga något när Svante svarade först, eller säga tvärtemot!

Viktigt: Vad man vet säkert retrospektivt, givet serien, är ju att Morello vet att Svante inte hör - om Morello tror sig själv ha svarat rätt.


Vh, iö

- - - - -

PS. Förtydligande: Inställningen...

Svaren där "Svante" svarade först har jag kastat då risk för korrelation föreligger.

...är klart sund, när man inte känner förutsättningarna bättre (mera i detalj) än vad som framgår av frågeformuleringen.

Svårberäknade risker skall man alltid undvika i vetenskapliga sammanhang, eftersom de renderar behov av ännu en SS att beräknas "inuti" själva problemkomplexet. Bara när man kan överblicka förutsättningarna så att risken är eliminerad kan man ignorera den. Det kan man inte göra från så povra beskrivningar som den som fanns i det här fallet. Därav svaret >98,4%.

[Morello]

Morellos svar var ju frivilligt avgivet, och det finns då inget rationellt skäl att tro att han inte hade kunnat avstå från att säga något när Svante svarade först, eller säga tvärtemot!

Vh, iö

Mja, testledarne vet inte om jag skojar och svarar som Svante.
Jag ser inget alternativ annat än att utgå från att korrelation kan föreligga och för säkerhetsn skull kasta svaret.

[IngOehman]

Visst sirru, men det kan finnas korrelation med vad som helst. Korrelationer behöver inte vara besvärande eller otillåtna, det beror på om de är informativa eller inte, och det beror på vilken fråga man vill kunna svara på. Korrelation kan till och med vara konstruktivt för detektionströskeln!

Som testledare måste man alltså kunna skilja mellan relevant och irrelevant korrelation.


Du antyder att det första tillfället då det kan finnas korrelation är vid det svarstillfälle där Svante första gången svarade före Morello, men det stämmer inte. Det kan ha förekommit korrelation tidigare i serien, det går exempelvis inte att utesluta att du kanske svarade JA den tredje gången, inte på grund av att vad du hörde, utan på grund av att du råkade titta på en klocka med en "glad" urtavla.

Det är korrelation det också, men en irrelevant korrelation, eftersom varken du eller klockan hade tillgång till facit.

Det kan även ha förekommit korrelation mellan dig och Svante tidigare i testen - exempelvis om du tittat på honom och försökt se vad ha tyckt. Är det då relevant eller irrelevant korrelation? Att försöka dra någon skarp gräns där korrelation definieras som något oönskat är således inte rimligt. Man måste istället utforma bedömningsintrumentet med utgångspunkt från att det finns korrlation hela tiden, och istället fråga sig när det har betydelse.

Hade Svante tillgång till facit? Nej, det hade han förstås inte, men - det kanske hänt något tidigare som kan förleda dig att tro att Svante hör bra, bättre än du gör, och därför att han därför är en bra snubbe att "härma", för att själv kunna framstå i en "hörkompetentare dager".

Visst, men: För resultatet i vad detektion av appararaten anbelangar spelar det ingen som helst roll, eftersom man (av skäl så självklara att jag hoppas jag inte behöver förklara dem för någon) inte får räkna statistisk "parallellt". Du kan alltså härma vem du vill och när du vill. Så länge ingen av dem som lyssnar har facit påverkar det inte möjligheten att kartlägga utfallet i vad avser SS.

Jag som testledare utgår ifrån att ALLA svar kan vara avgivna med 100% komminikation mellan lyssnarna. Något annat vara oseriöst. Svarsordningen spelar därför ingen som helst roll, och idén att bara en får svara är befängd, eftersom ett sådant förfarande sedd vetenskapligt inte situationens informationsmängd överhuvudtaget.


För den specifika frågan om huruvida just DU kan höra apparaten (eller rättare sagt frågan om hur säker man kan vara på att du kan det) är det dock risk för "relevant" korrelation när du härmar en annan svarare, men:

1. Det går inte att hindra.

2. I detta fall var det ju dessutom en person vars svar du inte hållit med om med någon statistisk signifikans tidigare under serien, som du "härmade". Det finns således skäl att tro att relevant korrelation saknas, och att man sålunda kan bortse ifrån om du svarat före eller efter Svante - även för frågan om SS för ditt härande. Av historien ser vi ju att du inte har någon hjälp av hans synpunkter, och det vet vi ju att även du vet, om ni hört varandra svara.


Hur som helst är detta med DIN detektionsförmåga inte en fråga som har bäring på de faktiska förhållande som varit rådande i LTS-testsammanhang. Dels sysslar vi inte med att testa personer (utan apparater), och dessutom skulle vi inte skulle stoppat lyssningen i detta skede. Vi (jag) hade fortsatt serien tills SS varit långt över 99% i en vorst case-beräkning - sedd ur apparatperspektivet.


Vh, iö

[Svante]

Jag får allt mera känslan, att om det skall tas fram en modell för hur sådana här tester skall göras och/eller om en dylik modell skall bedömas, så är du en av de minst lämpade att göra det.

Själv ser jag inte att det finns något behov av ny modell. Den som funnits och använts i snart 30 år för alla de studier jag gjort på hörbarhet har fungerat invändningsfritt. Jag har inte någon enda gång behövt revidera några fynd, och överensstämmelserna med mätfynd har varit 100%iga.


Vh, iö

Jaadu...

Ska vi mäta erfarenheter, så har jag också gjort ett och annat lyssningstest i mina dagar. Även om jag inte gjorde mitt första formella test när jag var 14, så var jag kanske 19 iaf, om vi räknar sånt som gjordes på hobbybasis. Och de har funkat ganska bra de med, en del har till och med passerat en reviewprocess.

Jag får allt mera känslan att du vill sprida förvirring i den här tråden så att du ska kunna komma in och rädda allt genom att ta tillbaka testandet som du så taktiskt frånsade dig för ett tag sen. Och snart kan du ju hänvisa till vilken röra det blev när jag gick ut och diskuterade offentligt hur LTS egentligen gör. Var det samtalssabotage du kallade din metod?

Hursomhelst, så börjar jag ledsna och förstå att de evighetsdebatter som du var rädd för när jag talade om att redovisa offentligt hur LTS skulle göra faktiskt skulle ha blivit drivna av dig och inte av dumma frågeställare.

Så, nu var det sagt.

[IngOehman]

Ny lågvattennotering.

Nej, jag är 100% ointresserad av att mäta erfarenhetens längd...

Har du något att säga i sakfrågan?

(Att jag nämnde att "metoden" använts i 30 år utan att någon enda
gång några fynd behövt revideras, och att överensstämmelsen med
mätfynd har varit 100%ig - det var inte en presentation av "min
personliga erfarenhet" - det är ett statistiskt konstaterande rörande
metodens pålitlighet. Om du möjligen förväxlade dessa saker...)


Kommer du ens ihåg vem det var som startade den här tråden? Du
valde själv att aktivt gå ut och klaga och att påstå det inte går att lita
på att jag säkerställer statistisk sinifikans.

Nu, efter 18 sidor av detta elände, drivet av dig, säger jag att jag inte
längre (baserat på det du skrivit) litar på din förmåga och omdöme. Då
blir du stött.

Ä du på allvar?


Hoppas hur som helst att du fattar - att på det sättet du betett dig
mot mig i den här frågan - så kommer jag aldrig att bete mig mot någon
i hela mitt liv.

Hoppas även att du förstår att detta är en polarisation du skapat
själv. Du har inte presenterat några sakfall där jag kommit till några
felslut, och det gör att det blir DIN bedömning som står mot min.
Hade du haft något konkret att komma med skulle jag ha kunnat
bemöta det, men nu är det bara ditt tomma ifrågasättande som finns
att ta på.

Den som tror att din bedömning av min oförmåga är korrekt måste
rimligtvis misstro min förmåga att beräkna SS för de fall som jag
hanterat de 30 år som varit. Eller hur?

Jag har i normala fall inget skäl att spekulera om ditt omdöme, och
skulle inte under några omständigheter starta en debatt om det heller!
Men med det du sagt här i tråden har du dock mer eller mindre tvingat
mig att underkänna ditt omdöme, då får du acceptera att jag gör det
också.


Du tycker inte att din egen reaktion är lite märligt, givet att du för
några veckor sedan tyckte det var helt ok att själv starta en tråd med
syftet att officiellt kunna underkänna mitt omdöme?


Vh, iö

[PerStromgren]

Någon mer än jag som tycker att detta börjar bli obehagligt? Nu kan jag ju sluta läsa, och Svante och IÖ har inte uppdraget att underhålla mig, men...

Snälla moderatorn, kan vi inte stänga av?

Snälla?

[IngOehman]

Jag har tyckt att tråden har varit obehaglig i 17 sidor, och jag hade
hållit med dig om ditt yrkande redan efter första sidan. Framförallt
innan det att de värsta anklagelserna raderades.


Vh, iö

[Morello]

Tråden började som bekant att bli intressant för några dagar sedan, men nu är det ta mig satan sandlådenivå på debatten.

[PerStromgren]

Till Ingvar:

Bra!

Om inte moderatorn gör något åt detta, så kan ju du själv fixa tråddöd genom att inte skriva här. Det är du och Svante som bråkar och Svante kan ju inte gärna bråka själv. Var lite osjälvisk och ge f-n i att svara eller försvara dig mot påhopp, så fixar det sig!

Eller tror du inte det?

[IngOehman]

Ok, jag gör som du säger, och hoppas att du har rätt.


Vh, iö

- - - - -

PS. En gissning: Svante kommer att fortsätta bråka (=göra inlägg i tråden med kommentarer till mina inlägg).

[Svante]

Ä du på allvar?

Definitivt.

[Kaffekoppen]

Tråden började som bekant att bli intressant för några dagar sedan, men nu är det ta mig satan sandlådenivå på debatten.

Jag håller verkligen med dig

[Svante]

Någon mer än jag som tycker att detta börjar bli obehagligt? Nu kan jag ju sluta läsa, och Svante och IÖ har inte uppdraget att underhålla mig, men...

Snälla moderatorn, kan vi inte stänga av?

Snälla?

Ja, kanske det. Har jag något särskilt att säga till om i egenskap av trådskapare?

I sådana fall anhålles ödmjukt om trådlåsning innan jag blir ännu argare.

Jag vet inte vad som har flugit i mig.