Endast för statistikkunniga (F/E-statistik)

[Haakan_W]

jag uppfattar det som att svante tycker att testerna inte riktigt fungerar tillfredsställande och man borde göra nånting annorlunda för att få bättre statisktisk signifikans..

rätt?

[Kaffekoppen]

Helt fel är det ju inte uppfattat kanske, men det leder ju till ett antal frågeställningar, varav den största torde vara om Svante anser att alla tidigare tester saknar relevans...

[IngOehman]

Den här diskussionen ter sig mer och mer märklig för var dag som går.

Ni satt enligt utsago i många timmar och diskuterade spörsmålet, men varför tog ni inte ett konkret testfall och gick igenom det i detalj och granskade de beräkningar som legat till grund för eventuella slutsater?

Om du lovar att ta jobbet, så lovar jag att vara på dig dygnet runt och kräva redovisningar av allting, utan ände, i offentlig miljö (således att du inte får någon lugn stund att ägna dig åt själva uppdraget att testa apparater för LTS-medlemmarna).


För övrigt tog svante upp minst ett hypotetiskt exempel som jag skulle ange signifikansen för (en person gissar 10 gånger och av dessa är 10 rätt i rad, samtidigt som en annan gissar 5 gånger, varav alla 5 är fel). Det gjorde jag, ögonblickligen.
(Det blir >>99,0%, närmare bestämt >99,8% vid ursprungsbestämd serie. Givet mera information om hur det gick till kan signifikansen vara väldigt mycket högre ytterligare, men med bara det givna känt blir det >99,8%. På plats under testen är dock självklart allting känt om hur det hela går till.)

Han har fortfarande inte kommenterat om han håller med mig.


Vh, iö

[Svante]

Ja, jag försöker verkligen förstå frågan, men nu är jag på väg till landet och kommer tillbaka om någon vecka. Vi får se om modemet klarar fortsatt debatt.

[Morello]

Den här diskussionen ter sig mer och mer märklig för var dag som går.

Ni satt enligt utsago i många timmar och diskuterade spörsmålet, men varför tog ni inte ett konkret testfall och gick igenom det i detalj och granskade de beräkningar som legat till grund för eventuella slutsater?

Om du lovar att ta jobbet, så lovar jag att vara på dig dygnet runt och kräva redovisningar av allting, utan ände, i offentlig miljö (således att du inte får någon lugn stund att ägna dig åt själva uppdraget att testa apparater för LTS-medlemmarna).


För övrigt tog svante upp minst ett hypotetiskt exempel som jag skulle ange signifikansen för (en person gissar 10 gånger och av dessa är 10 rätt i rad, samtidigt som en annan gissar 5 gånger, varav alla 5 är fel). Det gjorde jag, ögonblickligen.
(Det blir >>99,0%, närmare bestämt >99,8% vid ursprungsbestämd serie. Givet mera information om hur det gick till kan signifikansen vara väldigt mycket högre ytterligare, men med bara det givna känt blir det >99,8%. På plats under testen är dock självklart allting känt om hur det hela går till.)

Han har fortfarande inte kommenterat om han håller med mig.


Vh, iö

Jag var ju som bekant inte med på ert möte. Jag bara tycker det är lite märkligt att det inte kunde redas ut på plats. Hela diskussionen verkar gå lite i cirklar och då kommer man inte direkt framåt med någon vidare fart.

Vad är det för jobb jag ska ta föresten som sedan ska nagelfaras? Jag är inte alls med på vad du menar och vad det har för betydelse i sammanhagnet.

[Morello]

Ja, jag försöker verkligen förstå frågan, men nu är jag på väg till landet och kommer tillbaka om någon vecka. Vi får se om modemet klarar fortsatt debatt.

http://www.faktiskt.se/wap/

[IngOehman]

Vad är det för jobb jag ska ta föresten som sedan ska nagelfaras? Jag är inte alls med på vad du menar och vad det har för betydelse i sammanhagnet.

Du skall inte ta något jobb, men du är välkommen att göra det, liksom Svante eller någon annan, som förstört möjligheterna för den som hade ansvaret tills nyss.

Om du gör det (tar ansvaret för LTS tekniksektion), så kan jag bidra med det jag själv blivit utsatt för - alltså ständiga angrepp och ifrågsaättnaden, det vill säga till att en situation där det blir omöjligt att göra något konstruktivt arbete uppstår, eftersom allting skall nagelfaras i all oändlighet, inte bara av Svante eller någon annan internt i sektionen - utan allt skall nagelfaras offentligt.

Å andra sidan - om du tar jobbet och vill slippa bli utsatt för sådan skit, så kommer du slippa det från mig i varje fall. Jag skulle aldrig bete mig så mot någon mot deras vilja.


Vh, iö

[Kaffekoppen]

Du skall inte ta något jobb, men du är välkommen att göra det, liksom Svante eller någon annan, som förstört möjligheterna för den som hade ansvaret tills nyss.
Vh, iö

Vi är oense om den här debattens betydelse. Vi är oense om konsekvenserna av den här debatten. Vi är oense om Svantes ensidiga "skuld" till situationen.

Men vi är nog ense om att de tidigare testerna som genomförts och som redovisats är tillräckligt välgenomtänkta med ett resultat som är tillförlitligt, dvs inga felaktiga slutsatser har redovisats.

Ingen av oss vet om Svante delar den uppfattningen.


Men vi är alla medvetna om konsekvenserna av den här lekstugan. Det redogjorde jag för sist vi alla sågs.

[dimitri]

En konstig känsla:
Å ena sidan kan jag med handen på hjärnan, ärligt säga att jag har läst tråden noggrant, fortlöpande med stor uppmärksamhet. Jag har även bidragit med ett par inlägg.

Men

Å andra sidan skulle jag ha stora svårigheter att för en utomstående redogöra för trådens innehåll, essens, agendor.

Lite som att läsa "På spanning efter den tid som flytt" där olika händelser, fakta, tankar får anorlunda färg, tolkning beroende på sinnelag, närhet till andra exponerade fakta eller när minnet återkallas.

Ta t.ex Svantes svar den 23/12 på mitt inlägg om en likanande tråd från i maj:
"...Ja, jag har anlitat statistiker ibland. Jag tycker statistik är svårt, det ska medges, och det är alltid en massa farbröders namn som poppar upp när man ska välja analysmetod. Ändå verkar det som att det där med att avbryta en serie när man har fått tillräcklig konfidens är väldigt oortodoxt, trots att det är det som varje normal människa gör när man testar något intuitivt. Ingvar är väl ett exempel på det. Därför finns det kanske skäl att tro att det är en effektiv metod, sett rent evolutionelllt. Därför tycker jag att det är intressant att formalisera även det och försöka ta fram hur stor konfidensen egentligen är. Jag tror att jag kan det om jag bara får designa experimentet. ..."

Till saken hör också att jag i majtråden gav ett exempel på ett fullständigt korrekt, formaliserat förfarande där fortlöpande "tjuvkikande" på resultaten och ett eventuellt i förtid avbrytande av en planerad serie är korrekt och ibland nödvändigt. Och med bibehållen statistik trovärdighet/stringens dessutom.

Det ovanciterade skulle jag kunna tänka mig att tolka som så att Svante tar ett (eller flera) steg tillbaka från sin ursprungliga föreställning om den bristfälliga statistiska stringensen i f/e sammanhang.

Nu kan ngn (med fog?) säga att det jag kan tänka mig tolka, tro, tycka är irrelevant. I så fall är vi inte överens.

[IngOehman]

Jag tror jag förstår det du skriver, och håller med, om jag fattat rätt.

Det du tar upp är en av orsakerna till att jag blev både förvånad och illa berörd av angreppen i den här tråden. Jag hade ju uppfattat att Svante i praktiken dragit tillbaka kritiken mot testmetoderna efter att vi diskuterat alla detajer och jag redovisat alla bedömningsgrunder, efter bästa förmåga.

Ja, jag försöker verkligen förstå frågan, men nu är jag på väg till landet och kommer tillbaka om någon vecka. Vi får se om modemet klarar fortsatt debatt.

Vad är svårt att förstå?

Frågorna är skrivna i klartext! Jag frågade dig:


1. Du Svante, som varit med på några av LTS lyssningstester, har du NÅGON ENDA GÅNG stött på ett resultat som du vet inte ger en statistisk signifikans om >99%, men som ändå kommit i MoLt och påståtts ha en statistisk signifikans högre än 99%?

2. Det vill säga: Finns det någon grund, i form av ett faktiskt fall (där det blivit fel) för dig att ifrågasätta om jag tagit mitt ansvar att upprätthålla en adekvat vetenskaplig hantering av mätdata?

3. Eller handlar det bara om att just du inte tycker dig kunna bedöma signifikansen på plats, som jag har gjort? (Utöver att jag förstås kontrollräknat i de fall det finnits minsta tveksamhet.)
(Denna sista kräver följdfrågor, som jag ställer strax...)


Att ställa dessa tre frågor känns minst sagt olustigt, eftersom jag ju tycker du borde ha redogjort för dessa saker självmant. Jag ställer frågorna för att jag vill ha fram att de antydningar/framställningar du kommit med inte varit vad jag tycker är ärliga - utan de har varit avsiktligt färgade (=du har kanske skrivit dem i affekt, med avsikt att skada mig och/eller LTS? Även om du gjort det med en "god" avsikt - nämligen för att få fram en förändring).

Du har berättad vad du tror/gissar/bedömer, men du har, trots upprepade uppmaningar, inte givit någon annan möjligheten att få veta att det inte finns någon hård substans bakom. Du har valt att inte berätta att det saknas konkreta fakta (fall där något blivit fel) som stöder din förtroendebrist, och du har avstått från att berätta att det finns gott om fakta (alla faktist!) som stöder att beräkningarna varit riktiga. Du har exempelvis flera gånger ställt mig "kontrollfrågor", som jag besvarat invändningsfritt, vilket du inte berätta om, ens när jag specifikt bett dig. Då är det lät att tro att du ställde mig frågorna bara för att du hoppades att jag skulle svara fel, så du kunde berätta om det.

Oavsett vilket behöver alla få veta hur det är nu, när affekten (förhoppningsvis) är överspelad.

Jag förstår om frågorna är lika olustiga att svara på också, av samma skäl som det är olustigt att ställa dem, men jag hoppas du gör det ändå.


Som en avslutning på detta (jag frågar dig bara så att jag skall slippa påstå något - jag vill ju hellre att du klargör för dem som läser den här tråden, det som jag vet att de inte vet) så vill jag alltså även ställa dig några specifika fråger - som klargör hur verkligheten sett ut - den verklighet som jag noterat att du inte berättat om spontant.

Jag vill fråga dig detta:

4. Är det sant att du vid ett antal tillfällen kommit med (enligt dig "svårbedömda") exempel på fall till mig, där jag ombetts att uttala mig om den statistiska signifikansen - och att jag svarat dig ögonblickligen, med antingen ett exakt svar, eller med worst case-svar (">X%")?

5. Är det också sant att du ännu inte har ett enda exempel på att du (efter att ha gått hem och räknat på det hela (och ägna uppgiften din fulla uppmärksamhet)) funnit att mitt ögonblickliga svar varit felaktigt?

6. Kort sagt: Är det riktigt att jag - så vitt du känner till - ALDRIG har kommit med någon enda felaktig bedömning avseende statistisk signifikans?


Är glad om du startar dina svar med JA eller NEJ.

Är i själva verket glad om du alls svarar.


Observera gärna att jag i INGEN av frågorna efterfrågar någon bedömning från dig. Jag vill bara ha konkreta svar på de faktauppgifter jag frågar om.

Att du inte har förtroende för att det går att lita på min förmåga att beräkna den statistiska signifikansen har redan framgått, det är ju liksom det den här tråden har handlat om.

Därför frågar jag dig om FAKTA, så att andra skall kunna bedöma om det finns skäl att ha förtroende för din bedömning.

Jag ogillar att ifrågasätta din bedömning, och hade inte gjort det om du inte initierat diskussionen genom att med gissningar/spekulationer (helt utan fakta) ifrågasätta mitt förtroende.


Vh, iö

[Harryup]

Som utomstående känns denna diskussion en aning märklig. Eftersom det tidigare "rått enighet" om att om en person hör skillnad så finns det en skillnad, så verkar 7 av 7 vara lagom. Har behovet av en andra persons upplevelse uppstått nu? För mig känns det mera tveksamt att man tydligen delger sina resultat muntligt under testens gång. Och utslaget där graden av färgningens betydelse för en normal lyssningsupplevelse i hemmiljö kan vara svår att tolka. Om en förstärkare knäar vid full volym och sjunker 0,5dB vid 20Hz så kommer ju i princip ingen att uppleva det som har ett normalt boende och normalt balanserad anläggning.
Annars tycker jag gott att ni kan bli sams, eller i varje fall ense om vad ni är oense om. För mig är det inte helt klart i varje fall att ni ens är det.

[dimitri]

Det som alla inblandade kombatanter är överens om är f/e metodens fördelar och nödvändighet i ljuset av vilka alternativ som erbjuds.

Där finns en gemensam platform. Något att vara rädd om.
Diskussionen gäller värdering av resultaten och möjligen även vissa procedurdetaljer syftande till säkerställande av dubbelblindhet.

JAg ser flera faktorer/nyanser här:

---LTS procedurer publicerade i MOLT är avsedda för LTS medlemmar. En icke medlem kan på sin höjd komma med en (mycket) försynt önskan om det ena eller det andra.

---En styrelsemedlem som avgår har inte automatiskt rätt att ifrågasätta procedurer offentligt. Däremot har denne rätt/plikt att starta diskussionen inom LTS framför allt innan han avgår från styrelsen.

---Det viktigaste: den uppkomna debatten får inte leda till att barnet hälls ut med badvattnet. Det finns många out there som bara väntar på att f/e metoden komprometteras. Det är de kommersiella aktörerna och deras hängivna kunder. E/E är en nagel i ögat/Örat för dessa och låt det förbli det.

---Jag har räknat igenom IÖ's exempel. Jag hittar inga fel. Detta är förstås förmätet eftersom jag är ingen expert, men ändå.

---F/E måste finnas kvar. Låt oss se det så här: Alla metoder utvecklas, förfinnas. Ibland bara som ett uttryck för pragmatism och/eller öppenhet att kompromissa. Sådana eventuella ändringar innebär inte prestigeförlust för någondera part. Alla konflikter har potential att leda till utveckling.

Alltså: E/E er nu den bästa/enda metoden att utvärdera apparater objektivt. Trots dess eventuella tillkortakommanden. De statistisk metoderna kan bli säkrare, t.ex. genom dubbelblindheten.

[Thomas_A]

Finns det något verkligt testutfall att räkna på, istället för alla hypotetiska exempel?

[Harryup]

---En styrelsemedlem som avgår har inte automatiskt rätt att ifrågasätta procedurer offentligt. Däremot har denne rätt/plikt att starta diskussionen inom LTS framför allt innan han avgår från styrelsen.

Öhhh, va? Är du för någon öststatscensur? Klart att alla får prata om vad man vill. Däremot så bör man ju göra försök att lösa allt med berörda parter direkt i alla lägen.

[IngOehman]

Som sagt...

För ungefär två tusen år sedan sade en klok man i Rom ungefär detta:

-Skall man berätta om sina misstankar? I brist på fakta tar misstankar faktans roll i människors medvetande, och
om man har fel riskerar man därför att göra människor mycket illa. Det är ett ansvar man har att reflektera över.
Har man inget annat än misstankar att komma med så gör man rätt i att hålla dem för sig själv.


Det handlar inte så mycket om vad man har möjlighet eller rättighet att göra, utan mera om vad som är rätt att göra.
(Rätt = hyggligt)

Bara för att man har en juridisk rättighet att (på vissa sätt) göra folk illa, är det inte rätt att göra det.


Vh, iö

[Morello]

Du skall inte ta något jobb, men du är välkommen att göra det, liksom Svante eller någon annan, som förstört möjligheterna för den som hade ansvaret tills nyss.

Vh, iö

Avses Svante, jag eller oss båda?

[IngOehman]

Ni är båda välkomna att ta ansvaret för tekniksektionen.

Jag tänkte inte på dig när jag skrev om de förstörda möjligheterna för mig att sitta
kvar som ansvarig. Du har mig veterligt aldrig någonsin på ren spekulation smuts-
kastat LTS offentligt, eller ifrågasatt min insats som ansvarig för tekniksekionen.


I själva verket är det inte längre min sak att säga vem som är välkommen att ta
ansvaret. Det är en fråga för LTS' styrelse att avgöra.


Vh, iö

- - - - -

PS. Språkpolisen informerar: Det heter antingen...

Avses Svante, jag eller vi båda?

...eller...

Avses Svante, jag eller gäller det oss båda?

[dimitri]

---En styrelsemedlem som avgår har inte automatiskt rätt att ifrågasätta procedurer offentligt. Däremot har denne rätt/plikt att starta diskussionen inom LTS framför allt innan han avgår från styrelsen.

Öhhh, va? Är du för någon öststatscensur? Klart att alla får prata om vad man vill. Däremot så bör man ju göra försök att lösa allt med berörda parter direkt i alla lägen.

Jag pratar inte om den juridiska rätten. Yttrandefrihet gäller och ska försvaras med alla medel.
Jag pratar om anständighet, respekt, tillit. Och om rådande föreningskultur. Det uppstår meningsskiljaktigheter inom (nästan) alla föreningar. Tom inom Montessori dagiskollektivet MARIA i Göteborg. Dessa löses galant genom diskussion inom föreningen.
Att gå ut till offentligheten måste ibland göras. Det verkar inte som att det var ett sådant läge, ur min oLTS-horisont.

[IngOehman]

Då uppfattade jag dig rätt.


Vh, iö

[n3mmr]

Jag kanske ska förtydliga en sak i min beskrivning av testerna. I LTS-versionen sitter försöksledaren och växlar på en omkopplare. Signalen är typiskt en kort snutt av en CD-skiva som har visat sig särskilt avslöjande, CD-spelaren sätts på repetering av denna snutt, och i varje repetering växlar försöksledaren på omkopplaren.

Man kan alltså "följa med" ett par växlingar och tänka "före-efter-före-efter..." och se om intrycket stämmer i varje växling för att till sist bestämma sig och ropa till "före" (eller "efter"). Då slutar försöksledaren växla och antecknar om svaret var rätt eller fel.

Sen får, och detta är problematiskt, även andra lyssnare instämma eller motsäga den första som svarade, och även detta antecknas.

Jag läser och begrundar det ovanstående och inser att jag fortfarande inte har sett en beskrivning av testet som du vill beskriva ovan.... Det fattas en del steg som beskriver hur man får referensen klar, hur man tränas in, hur man slumpar.

Som du beskriver det kan det ju vara så att man bara testar folks förmåga att inte tappa bort sig i en enkel sekvens av 121212121212121212121212....
Men det ska det väl inte vara???
Så, nåt litet fattas.

Orkar du fullständiga beskrivningen?

[IngOehman]

Det finns ingen beskrivning, för det finns inga metodregler. Metoden är fri, den är inte reglerad inom ramen för det som är F/E-lyssning.

En relevant beskrivningen är alltså inte bara omöjlig att formulera, utan ett försök till en förenklad beskrivning (alltså en som låtsas som om det alltid behöver gå till på ett specifikt sätt) kan rent av vara vilseledande.

Det finns nämligen inget specifikt sätt som "gäller". Det finns ingen "metod", utan "metoden" är en helt fri parameter.
Sättet att undersöka en apparats ljudande egenskaper kan nämligen variera väldeliga från gång till gång.

Det beror på att den till stor del beror på vilken sorts fel man letar efter - det vill säga vilken sorts fel man tror kan vara det dominerande problemet med den specifika apparaten och som det därför är värt att lägga extra ansträngningar för att finna, i F/E-lyssningen.

Möjligheten finns dessutom alltid för en lyssnare att begära någon speciell musiksignal, eller sekvens (lång, kort, kontinuerligt spelande musik, begärd eller spontan omkoppling...) - allt för att optimera chansen att lyssnarna kan göra sitt bästa. Den enda som är absolut fixt är att lyssningen sker blint och att statistiska sgnifikansen säkerställs.


Vh, iö

[n3mmr]

Det finns ingen beskrivning, för det finns inga metodregler. Metoden är fri, den är inte reglerad inom ramen för det som är F/E-lyssning.

En relevant beskrivningen är alltså inte bara omöjlig att formulera, utan ett försök till en förenklad beskrivning (alltså en som låtsas som om det alltid behöver gå till på ett specifikt sätt) kan rent av vara vilseledande.

.....

Vh, iö

Det var faktiskt inte det jag frågade efter, den fasta en-gång-för-alla-givna metoden. Jag ville veta mer om det Svante beskrev, just det tillfället, just den gången.

Du kanske kan svara själv?

[IngOehman]

Nej, jag tror jag nöjer mig med att lyssnandet varje gång har utformats på det bästa sätt jag kunnat komma på. Enda gemensamma nämnaren mellan gångerna är att jag sett till att vi ALLTID lyssnat mycket öppet (icke-blint) innan vi börjat med blindlyssningarna.

Då får man hjälp att lära sig vad att lyssna efter, men får även hjälp att välja passande programmaterial. Att slösa en massa tid på att blindlyssna en massa programmaterial med vilket ingen tycker sig kunna detektera skillnad mellan F och E ens i en öppen lyssning - brukar vara helt meningslöst.

Jag känner inte till vilket specifikt fall ni talar om och jag tycker inte heller att man skall nojja in på en massa ointressanta detaljer om testandet vid varje specifika tilfälle, vilket ju är det enda som INTE berättar något om själva testobjektet.

Det intressanta, och orsaken till att vi testat apparater, är ju att vi skall kunna berätta något om dem. Det man behöver veta om testerna har Johan Lindroos med bravur (tycker jag) berättat om i artiklarna.


Vh, iö

[Svante]

Ja, ifall någon undrar så har jag inte övergett den här tråden, jag sitter nu på landet via modem och vill inte sitta uppkopplad den tid det tar att debattera med exponentiell tillväxt.

Men svar kommer på Ingvars röda frågor, nån gång till helgen skulle jag tro. Kanske har jag ett par röda frågor till Ingvar också...

[Kaffekoppen]

*snyting*

[Morello]

Kanske har jag ett par röda frågor till Ingvar också...

Blir de av retorisk typ?

[Svante]

Kanske har jag ett par röda frågor till Ingvar också...

Blir de av retorisk typ?

Det skulle jag tro.

[IngOehman]

Du behöver inte svara Svante. Du har haft flera veckor och därtill åtskilliga upprepningar av frågorna på dig. Hade du velat svara på dem hade du nog redan gjort det. Nu är det liksom för sent.

Jag har fattat för länge sedan att du inte vill svara på dem, och då behöver du inte. Att så här i efterhand klämma fram ett svar (som du ändå med största säkerhet kommer att formulera för att försvara dig, och inte för att ge alla läsare en ärlig chans att se att du inte haft någon substans bakom kritiken, utan att det har varit spekulationer och en vilja att ventliera ett misstroende bara) känns föga meningsfullt.


Jag har nu hunnit vänja mig vid att från och med nu slippa ansvaret - och jag trivs rätt bra med det!

Så gör det rätta - du har framfört din kritik och att du inte har förtroende för pålitligheten i det jag redovisat, och jag har tagit konsekvensen av detta och avgått.

Nu bör du rimligen också ta på dig det ansvar* som du kritiserat mig för att undlåtit att ta.

Jag kan lova dig att jag inte kommer att returnera en liknade offentlig kritik som du utsatt mig för. Inte ens saklig kritik kommer jag att drabba dig med. Jag är bara glad om LTS har någon som vill ta på sig det ganska betungande ansvaret att säkerställa vederhäftighet med avseende på verksamheten.


Vh, iö

- - - - - -

*Jag hade med glädje överlämnat det till dig även utan att du startat detta olustiga krig. Du hade bara behövt fråga. Det är ett ansvar det är skönt att slippa ju.

[Kaffekoppen]

Ni borde lära er retorik båda två

[Morello]

*Jag hade med glädje överlämnat det till dig även utan att du startat detta olustiga krig.

Ingvar, tycker du verkligen att det sista stycket är förenligt med hela sanningen ang. denna soppa?