Angående F/E-lyssningen i senaste Musik & Ljudteknik

[MagnusÖstberg]

Va? Har MoLT kommit ut igen? Det var ju bara typ ett halvår sedan jag läste om förra numret....

/ B

Lustigt, det har skrivit om de senaste 11 nummrena som nu varit utgivna enligt plan

Den största felande länken nu verkar vara att föreningen missat att byta ut det föregående nummret som "senaste nummret" på hemsidan mot det här. Men allt kan ju inte vara perfekt jämt

[phon]

säger som Bill50x...

Va? Har MoLT kommit ut igen?

Här har den inte kommit i vart fall, eller så är den rejält transparent.

[DQ-20]

OK, då förstår jag bättre. Det verkar vara ett rimligt tillvägagångsätt givet att statistiken lätt blir "kladdig" om man skall ha brytvillkor inlagda.

Jag är ingen statistiker, men... det är väl bara att låta datorn räkna? Nuförtiden trodde jag inte att vi led brist på beräkningskraft. Detta är väl inget som inte ett kalkylark skulle kunna fixa?

Nej. Eller, ja. Det man inte vet har man inte ont av. Det gäller i detta fall också det man vet. Att man inte har ont av det. Men i ännu högre grad har man ont av det man vet att man inte vet.

/D

[PerStromgren]

Nej. Eller, ja. Det man inte vet har man inte ont av. Det gäller i detta fall också det man vet. Att man inte har ont av det. Men i ännu högre grad har man ont av det man vet att man inte vet.

Eh?

Du har inte lust att stuva om ordena så att en enkel man fattar?

[Laila]

Om en eller flera utövare misslyckas med något,vad som helst,
kan det kanske vara svårt att tex. statistiskt beräkna varför, typ.
(Givet att vi inte har nödig info om utövarna) Tror jag

Edit:Parangtes etc.

[Svante]

Alltså det här var ju uppe i den där inte fullt så trevliga monstertråden för ett par år sedan. För att göra en lång historia kort, datorn simulerar en miljon lyssningar med vald försöksdesign* och n lyssnare som avger slumpresultat, och räknar hur många av dem som ger falsk positiv detektion. Vi väljer försöksdesign och antal lyssnare så att andelen serier där någon av lyssnarna ger falsk positiv detektion är mindre än 1/100.

Försöksdesignen var här 11-15-18, dvs vi kräver antingen
11 rätt i rad, man får bryta efter 11,
14 rätt av 15, man får bryta efter 15 eller
16 rätt av 18, man får bryta efter 18.

Med 4 lyssnare ger detta 99% konfidens, dvs risken att en falsk detektion uppstår av en slump är ungefär 1 på 100.

Hur jag ska räkna ut ett p-värde för ett utfall som ligger under gränsen inser jag inte just nu.

OK, då förstår jag bättre. Det verkar vara ett rimligt tillvägagångsätt givet att statistiken lätt blir "kladdig" om man skall ha brytvillkor inlagda.

Basta hälsningar,

D

Mm, fördelen med kladdig statistik gör ju att lyssnarna skärps. Huvudsyftet med försöksdesignen är att inte tvinga lyssnarna till onödigt långa serier, och i det ingår då att man bryter om man ser att det gick som en dans.

Man skulle kunna tvinga alla att lyssna 20 gånger, alltid oavsett hur det går, men då skulle de blir så trötta.

[DQ-20]

Alltså det här var ju uppe i den där inte fullt så trevliga monstertråden för ett par år sedan. För att göra en lång historia kort, datorn simulerar en miljon lyssningar med vald försöksdesign* och n lyssnare som avger slumpresultat, och räknar hur många av dem som ger falsk positiv detektion. Vi väljer försöksdesign och antal lyssnare så att andelen serier där någon av lyssnarna ger falsk positiv detektion är mindre än 1/100.

Försöksdesignen var här 11-15-18, dvs vi kräver antingen
11 rätt i rad, man får bryta efter 11,
14 rätt av 15, man får bryta efter 15 eller
16 rätt av 18, man får bryta efter 18.

Med 4 lyssnare ger detta 99% konfidens, dvs risken att en falsk detektion uppstår av en slump är ungefär 1 på 100.

Hur jag ska räkna ut ett p-värde för ett utfall som ligger under gränsen inser jag inte just nu.

OK, då förstår jag bättre. Det verkar vara ett rimligt tillvägagångsätt givet att statistiken lätt blir "kladdig" om man skall ha brytvillkor inlagda.

Basta hälsningar,

D

Mm, fördelen med kladdig statistik gör ju att lyssnarna skärps. Huvudsyftet med försöksdesignen är att inte tvinga lyssnarna till onödigt långa serier, och i det ingår då att man bryter om man ser att det gick som en dans.

Man skulle kunna tvinga alla att lyssna 20 gånger, alltid oavsett hur det går, men då skulle de blir så trötta.

Jag menade endast att de statistiska uträkningarna blev kladdiga (=lite invecklade), inte försöksdesignen (som är glasklar).

/D

[DQ-20]

Nej. Eller, ja. Det man inte vet har man inte ont av. Det gäller i detta fall också det man vet. Att man inte har ont av det. Men i ännu högre grad har man ont av det man vet att man inte vet.

Eh?

Du har inte lust att stuva om ordena så att en enkel man fattar?

Så gärna. Vad jag ville säga var nej.

/D

[Almen]

Men man kan aldrig veta. En ickedetektion är ju bara en icke-detektion.

Det enda man kan veta säkert är att vi misslyckades med det vi försökte; att bevisa att förstärkaren var hörbart färgande.

Ovanstående är en subjektiv utsaga och utgör en tolkning av statistiken, inte en statistisk "sanning".

Även en "icke-detektion" i statistiska sammanhang bär information. Själva uttrycket "icke-detektion" bygger på tillämpandet av en godtycklig gräns för p-värdet som saknar objektiv grund.

Är vad du menar här, att Svante borde sagt typ "Det enda man kan veta säkert är att vi misslyckades med det vi försökte; att bevisa med 99% konfidens att förstärkaren var hörbart färgande."?

Är tacksam för samtliga inlägg - detta är något som jag gärna snurrar fram och tillbaka litet i huvudet. Har dålig intuitiv känsla för det...

[Svante]

Men man kan aldrig veta. En ickedetektion är ju bara en icke-detektion.

Det enda man kan veta säkert är att vi misslyckades med det vi försökte; att bevisa att förstärkaren var hörbart färgande.

Ovanstående är en subjektiv utsaga och utgör en tolkning av statistiken, inte en statistisk "sanning".

Även en "icke-detektion" i statistiska sammanhang bär information. Själva uttrycket "icke-detektion" bygger på tillämpandet av en godtycklig gräns för p-värdet som saknar objektiv grund.

Är vad du menar här, att Svante borde sagt typ "Det enda man kan veta säkert är att vi misslyckades med det vi försökte; att bevisa med 99% konfidens att förstärkaren var hörbart färgande."?

Det kan iaf jag ställa upp på. Jag tror att det Dq far efter är att vi har ganska höga (statistiska) krav för att såga en förstärkare. Om vi hade nöjt oss med 70% konfidens, så hade vi nog kunnat såga den.

...och med detta sagt så ska man inte glömma att konfidens inte är samma sak som grad av färgning. Ovanstående betyder INTE att förstärkaren färgade litegrann, men så lite att vi inte bryr oss om det.

Det betyder bara att vi inte är så säkra på att den färgade hörbart att vi vill påstå att den gör det. Vilket är en helt annan sak.

...och det är fullständigt rimligt att vi har så höga krav, vi vill ju inte såga en bra förstärkare bara för att vi råkade svara "rätt" av en slump.

[DQ-20]

Men man kan aldrig veta. En ickedetektion är ju bara en icke-detektion.

Det enda man kan veta säkert är att vi misslyckades med det vi försökte; att bevisa att förstärkaren var hörbart färgande.

Ovanstående är en subjektiv utsaga och utgör en tolkning av statistiken, inte en statistisk "sanning".

Även en "icke-detektion" i statistiska sammanhang bär information. Själva uttrycket "icke-detektion" bygger på tillämpandet av en godtycklig gräns för p-värdet som saknar objektiv grund.

Är vad du menar här, att Svante borde sagt typ "Det enda man kan veta säkert är att vi misslyckades med det vi försökte; att bevisa med 99% konfidens att förstärkaren var hörbart färgande."?

Nej.

1. Ordet "konfidens" kommer jag ALDRIG ALDRIG ALDRIG skriva utan citationstecken. Det hör inte hemma i sammanhang där tolkningen av ordet sannolikhet är relativ frekvens. "Konfidens" har med förtroende att göra och det är en subjektiv känsla. Det finns något som heter "subjektiv sannolikhet" och som anger graden av förtroende någon har för ett utsaga. Ed Jaynes och Laplace har skrivit om dettta och det är "da shit" i AI. MEN, en subjektiv sannolikhet kastar oss obevekligen in i Bayesiansk statistik. Då krävs bl.a. en sk. prior, dvs. en subjektiv sannolikhet som man har innan ny information tillförs. Man uppdaterar sedan sin prior enligt en viss formel. (Bayes teorem) Vi har alltså en förutfattad uppfattning och väger den mot de resulatat vi får. Vår posterior anger graden av förtroende vi har i att det är på ett visst sätt givet vår förutfattade meningar och resultaten från försöket. Detta gör dock få forskare i formell mening och man talar därför normalt inte om "konfidens" utan om "signifikans" (och p-, och t-värden). Jag tror jag förstår varför man kan vilja använda ordet "konfidens" men jag tycker att det är missledande eftersom det ger statistiken ett värde den inte har.

2. "Icke-detektion" är en subjetiv utsaga som grundar sig på de subjektiva kriterier för statistisk signfikans som man satt upp. Man kan göra mer eller mindre vettiga avväganden så det är inte helt godtyckligt vad man bör välja men det är ett val. Ett resultat är dock aldrig säkerställt i det enskilda fallet utan över en oändlig mängd upprepade försök. Signifikansnivån är en "repeated sampling property".

"Konfidens"/signifikans säger bara att OM det inte finns någon hörbar effekt av apparaten vi testar kommer

a. "konfidens": 99% av alla försök att ge färre rätta svar när det inte finns någon verklig effekt
b. signifikans: 1% av alla alla försök ger lika många eller fler rätta svar även när det inte finns någon verklig effekt.

3. Den logiska skillnaden mellan att bevisa existensen av något (t.ex. hörbar färgning) och att bevisa "icke-existensen" av något (t.ex. frånvaron av hörbar färgning) är inte så tydlig som man kan förledas att tro när det gäller statistik. "Detektion" är här inte en logisk sanning utan ett sannolikhetuttalanden. Även om bristen på "detektion" inte "bevisar" den absoluta frånvaron av något kan man dock säga att "OM det finns en hörbar påverkar är det under dessa omständigheter svår att detektera". Jämför med uttalandet "bruset låg under mätapparaturens egenbrus (-94 dB)". Det betyder inte att det inte finns något brus - bara att vi inte kunde detektera det med de metoder vi använde. Och det är värdefull information. Skall man köra svarta och vita svanar så kan man säga att har man aldrig sett en svart svan kan man inte säga att det inte finns svarta svanar. Däremot kan man säga att OM det finns svarta svanar så är de mycket ovanliga.

Jag ser för övrigt detektion/icke-detektion är en [s]diktomisering[/s] dikotomisering till en binär mätskala av en underliggande variabel som är kontinuerlig (hörbarhet) och som inte kan observeras såvida den inte når ett visst tröskelvärde. Man tittar på proportionen rätta svar i förhållande till slumpresultat. Ju lägre proportion rätta svar, desto svårare att "detektera". När proportionen rätta svar är i paritet med det man kan förvänta sig av slumpen får man förmoda att hörbarhetsvariabeln befinner sig under det kritiska värde där man kan mäta den.

Ungefär så.

/D

[Bill50x]

Jag ser för övrigt detektion/icke-detektion är en diktomisering till en binär mätskala av en underliggande variabel som är kontinuerlig (hörbarhet) och som inte kan observeras såvida den inte når ett visst tröskelvärde.

Kunde inte sagt det bättre själv.
Inte för att jag vet vad det betyder...




Sorry, kunde inte låta bli

/ B

[Almen]

Tack, Dahlqvist, jag skall grunna på det. Jag antar att det skulle vara "dikotomisering"?

[dimitri]

Jag ser för övrigt detektion/icke-detektion är en diktomisering till en binär mätskala av en underliggande variabel som är kontinuerlig (hörbarhet) och som inte kan observeras såvida den inte når ett visst tröskelvärde. Man tittar på proportionen rätta svar i förhållande till slumpresultat. Ju lägre proportion rätta svar, desto svårare att "detektera". När proportionen rätta svar är i paritet med det man kan förvänta sig av slumpen får man förmoda att hörbarhetsvariabeln befinner sig under det kritiska värde där man kan mäta den.

Ungefär så./D

Vackert formulerat. Och dessutom sant. Men det är något speciellt med denna dikotoma eller binära skala. Jo, dess dikotoma karaktär är självbestämmande. Alltså inte som med de flesta dikotoma variabler där vi i förväg bestämmer cut-off punkten. I denna kontinuerliga hörbarhetsskala varierar hörbarhetströskeln mellan individer. Och det räcker med att en enda individ kan höra skillnad mellan två testobjekt med hög precision, t.ex 20/20, så är slutsatsen den att hörbar skillnad mellan objekten föreligger.
Det har sagts tidigare att det är en fördel med lyssningsvana deltagare i en f/e lyssning. På samma sätt skulle man kunna spekulera i att det vore en fördel om lyssningspanelen inte inkluderade en extrem deltagare med (omänsklig?) förmåga att höra skillnader. En variant på detta är att, vid tillräckligt många deltagare, utesluta extremer från analysen.

Liten spåning lite på halvt skoj: Man skulle kunna kalibrera enskilda lyssnare enligt var och ens förmåga att höra skillnader. På det viset skulle det vara möjligt att uppskatta graden av färgning, dvs dra nytta av det faktum att skalan är kontinuerlig och inte dikotom i sig.

[DQ-20]

Jag ser för övrigt detektion/icke-detektion är en diktomisering till en binär mätskala av en underliggande variabel som är kontinuerlig (hörbarhet) och som inte kan observeras såvida den inte når ett visst tröskelvärde.

Kunde inte sagt det bättre själv.
Inte för att jag vet vad det betyder...




Sorry, kunde inte låta bli

/ B

Det är lätt, fast jag använde kanske ett ovanligt ord och min sedvanliga framställning med "lossy compression".

Dikotomi (dichotomy) är när man delar upp en helhet i två icke-överlappande delar som tillsammans täcker in helheten (mutually exclusive, collectively exhaustive). Exempel: svart, inte svart; ja; inte ja; hörbar, inte hörbar; rätt, inte rätt.

Ibland "diktomiserar" (eller gör andra skalreducerande åtgärder) vid mätning för att underlätta eller möjliggöra själva mätningen. Det underliggande fenomenet (hörbarhet, attityd, temperatur, matematikkunskaper) kan vara kontinuerligt men i mätningen måste man nöja sig med ett ändligt antal diskreta steg. Inom samhällvetenskap i allmänhet är detta legio, exempelvis smärtskalor inom sjukvården, attitydrundersökningar. Men även vanliga kunskaptest inom undervisning med flervalsfrågor har dessa egenskaper. Faktum är att testteori utgår från att kunskaper och färdigheter är normalfördelade och att ovanför en viss nivå kan man med en viss sannolikhet lösa en viss uppgift. Man kan veta att kunskaperna var ovanför eller under en viss nivå (rätt eller fel svar), men inte hur mycket över eller under.

I en binär variabel, dvs. en variabel som endast kan anta två värden, kan värdena motsvara två klasser, dvs. två olika värden som sinsemellan inte är rangordnade (rött blått, hund katt, golf vattenpolo). Den kallas då "kategorisk". Men det kan också finnas en inbördes rangordning (bra dålig, ful snygg, varm kall) mellan värden. Detta är egentligen ett specialfall av en ordinal skala, dvs. en skala där det finns en inneboende rangordning mellan värdena men där skalstegen inte är objektivt definierade (ganska snygg, snygg, mycket snygg).

När en binär variabel är kategorisk är mätskalan identisk med det underliggande fenomenet. I annat fall är det en artificiell dikotomi som har inträffat vid mätning. När det gäller hörbarhet är min tolkning att det är ett kontinuerligt fenomen som i LTS test kvantifieras till två värden. Om man gör många försök får man dock en skala med "kontinuerliga egenskaper", nämligen andelen rätta svar som kommer att ligga mellan 50-100%. Denna andel är en indikation av hur lätt det är att detektera en apparat på samma sätt som andel rätt i ett flervalstest är "semi-kontinuerliga" mätningar av kunskaper trots de binära svaren. Min poäng är att denna andel har relevans och man kan uttala sig om sannolikheten för att andelen rätta svar ligger under eller över en viss nivå. Denna aspekt kommer bort när man fokuserar på det binära utfallet "detektion"/"icke-detektion" som är en slutsats, inte ett resultat. Jag tror att många ser en direkt koppling mellan hur svaren avges (F eller E, binärt) och hur slutsatserna dras (detektion/icke-detektion, binärt). Denna koppling är dock inte nödvändig och man kan tolka resultaten på andra sätt (givet att man har tillräckligt långa serier att tillgå).

Ovanstående är inte särskilt irrelevant för LTS tester och skall inte ses som någon kritik mot dessa. Det är mest allmänna kommentarer om synen på resultaten och hur de kan tolkas.

/D

[Almen]

...det räcker med att en enda individ kan höra skillnad mellan två testobjekt med hög precision, t.ex 20/20, så är slutsatsen den att hörbar skillnad mellan objekten föreligger.

Detta kan inte nog betonas, eftersom det verkar som att många lider av villfarelsen att för att ett resultat skall vara korrekt måste "en majoritet" tycka likadant. Det är i alla fall en vanlig kritik av F/E-lyssning som jag har märkt, att det inte borde räcka med att en person detekterar. Jag vet inte om en del tror att 99% konfidens betyder att "99% av försökspersonerna tyckte likadant i 99% av fallen". Det är ju inget problem för den interna debatten, men kanske värt att vara medveten om när man går ut med resultat mer offentligt.

[Svante]

Dq:

Konfidens konfidens konfidens

Vi hade en diskussion om detta förut som jag inte minns att vi kom fram till ett slut på. Det främsta skälet till att jag gärna skriver konfidens är att det signifikans och tillhörande p-värde är "bakvända". Högre signifikans ger lägre p-värde. Så om jag pratar om olika delresultat och säger att jag i försök A fick högre signifikans (p=0,02) än i försök B (p=0,04) så blir det så krylligt i mitt huvud.

Då känns det bättre att säga att jag fick högre konfidens i försök A (98%) än i försök B (96%). Siffrorna stämmer liksom då.

Jag tror jag frågade dig om du hade nåt bättre ord att använda för p-värdet, men jag fick aldrig nåt svar på det har jag för mig.

Själv har jag inga svårigheter att förstå att 99% konfidens betyder att om man gjorde många studier liknande denna så skulle 1% av dem ge falskt positiva resultat.

[DQ-20]

Dq:

Konfidens konfidens konfidens

Vi hade en diskussion om detta förut som jag inte minns att vi kom fram till ett slut på. Det främsta skälet till att jag gärna skriver konfidens är att det signifikans och tillhörande p-värde är "bakvända". Högre signifikans ger lägre p-värde. Så om jag pratar om olika delresultat och säger att jag i försök A fick högre signifikans (p=0,02) än i försök B (p=0,04) så blir det så krylligt i mitt huvud.

Då känns det bättre att säga att jag fick högre konfidens i försök A (98%) än i försök B (96%). Siffrorna stämmer liksom då.

Jag tror jag frågade dig om du hade nåt bättre ord att använda för p-värdet, men jag fick aldrig nåt svar på det har jag för mig.

Själv har jag inga svårigheter att förstå att 99% konfidens betyder att om man gjorde många studier liknande denna så skulle 1% av dem ge falskt positiva resultat.

O, plåga.

Jag har sedan vi diskuterade detta glidit i anti-konfidensriktning. Om man inte förstår innebörden av "signifikans" så förstår man heller inte "konfidens" endast med hjälp av orden. För övrigt är det "konfidens" som är bakvänt, inte signifikans. Det är risken för felaktiga slutsatser vi beräknar, inte sannolikheten för sanna. Den senare leder lätt till "omvänd" sannolikhet: hur sanna är resultaten. Och det är INTE vad ett signifikanstest säger. Jag tror alltså att "the cure is worse than the disease".

Jag tycker för övrigt att man kan avstå från att använda "starkare" eller "högre" i samband med signifikans även i forskningsartiklar eftersom resultaten varken blir starkare eller svagare pga av just signifikansnivån - det har snarare med effektstorleken att göra. Man kan inte säga att "sanningshalten" ökar i den enskilda undersökningen pga av ett lågt p-värde.

Jag skall fundera vidare på något pedagogiskt namn för statistisk signifikans.

/D ´

[Almen]

Det är risken för felaktiga slutsatser vi beräknar, inte sannolikheten för sanna.

Ah.

[Svante]

Jag har sedan vi diskuterade detta glidit i anti-konfidensriktning. Om man inte förstår innebörden av "signifikans" så förstår man heller inte "konfidens" endast med hjälp av orden. För övrigt är det "konfidens" som är bakvänt, inte signifikans. Det är risken för felaktiga slutsatser vi beräknar, inte sannolikheten för sanna. Den senare leder lätt till "omvänd" sannolikhet: hur sanna är resultaten. Och det är INTE vad ett signifikanstest säger. Jag tror alltså att "the cure is worse than the disease".

Fast alltså, förstår man inte det så...

Jag tycker för övrigt att man kan avstå från att använda "starkare" eller "högre" i samband med signifikans även i forskningsartiklar eftersom resultaten varken blir starkare eller svagare pga av just signifikansnivån - det har snarare med effektstorleken att göra. Man kan inte säga att "sanningshalten" ökar i den enskilda undersökningen pga av ett lågt p-värde.

Nämen... Nä. Eller vad är det som har med effektstorleken att göra?

Alltså, en studie blir ju starkare om den har högre konfidens. Det är mindre risk att effekten man har hittat har uppstått av en slump. Effekten är ju vad den är, oavsett om jag har valt att göra 3 lyssningar eller 300 (bortsett från trötthetseffekter då).

Är det kanske så att det är ordet "signifikans" som är felaktigt? Det är ju (språkligt) riktat åt samma håll som konfidens. Är det nån sån där positivist som har varit framme när ordet valdes?

Det borde kanske kallas "felrisk" i stället. Då stämmer det med att ett lägre p-värde ger en lägre felrisk, eller hur?

[DQ-20]

Det borde kanske kallas "felrisk" i stället. Då stämmer det med att ett lägre p-värde ger en lägre felrisk, eller hur?

Det var någonting ditåt jag lutade. Övrigt får anstå - schaffe, schaffe.

/D

[-Martin-]

Det borde kanske kallas "felrisk" i stället. Då stämmer det med att ett lägre p-värde ger en lägre felrisk, eller hur?

Vad är det för fel på ordet "felsannolikhet" som väl är gängse benämning?

[DQ-20]

Det borde kanske kallas "felrisk" i stället. Då stämmer det med att ett lägre p-värde ger en lägre felrisk, eller hur?

Vad är det för fel på ordet "felsannolikhet" som väl är gängse benämning?

Den är inte gängse för denna tillämpning. Den avser väntevärden för andra feltyper (t.ex. för fel i informationöverföring eller materialfel). Man kan då få utsagor som "felsannolikheten för felsannolikheten ligger på 0.01", vilket inte är helt lyckat.

"Fel" har dock i detta sammanhang med beslutsfel vilket förutsätter en subjektiv beslutsregel. Det handlar alltså om en beskrivning av konsekvenserna av ett beslut som bygger på p-värdet. Det är inte en beskrivning av p-värdet i sig.

/D

[Svante]

Det är inte en beskrivning av p-värdet i sig.

/D

Så, hur skulle du beskriva vad p-värdet är? Går det att sammanställa med ett enda ord? Det är nog det det hela handlar om.

[HolographicAudio™]

Det måste vara en som precis gått ur produktion.

Nej, den finns definitivt i produktion. Jag kan lova att denna produkt kommer att finnas kvar på marknaden så länge som våra kunder efterfrågar denna produkt.

/Lasse