IngOehman skrev:Min erfarenhet av vetenskapsvärlden är att den här "signifikans-nojjan" ofta är så stor att den bländar försöksansvariga, så till den milda grad att de missar alla viktiga övriga krav helt. Det vill säga att en många helt meningslösa studier görs, där frågetällningar förenkats så till den milda grad att de förorar nästan all mening. I synnerhet när flera parametrar än dem som studien attackerar blir variabler i studien.
Inte sällan behöver teoribildning en bättre informationskraft än vad som kan fås från urvattnade experimentupplägg. Det har lett till att många av de starkaste teoribildningarna har varit resultat av helt intuitiva hanteringar av den experiment-soppa som verkligheten ställer oss inför varje dag. Det är väl därför som många tunga vetenskapsmän varit praktiker med stor experimentlystnad, men kanske inte alltid så stor respekt för hanteringen av analysen.
Kort sagt: Information, tanke(/känsla), snabbhet och en komplex intelligent värdering, är viktigare än den exakta strukturen för analysen när hypoteser sätts upp, och när teoribildning startar.
Verifikation och falsifikation måste däremot självklart ske med höga krav på signifikansanalys.
Vh, iö
Nu handlade visserligen den här tråden om just signifikanstest men om ovanstående kan man bara säga: jajamensan.
Redovisning av signifikanstest är i mångt och mycket en social fråga. Sätten att redovisa på och nivåer skiljer sig från vetenskapsområde till vetenskapsområde. Den som använt statistik och förstått dess innebörd inser snabbt att det är ett trubbigt instrument för kunskapsutveckling. Att det i vetenskapliga publikationer läggs extra stor vikt vid signifikanstest beror sannolik på att de resultat som redovisas där har en viss nivå av slutgiltighet. Man har lämnat det explorativa och teoribildande. Publikation i vissa högt rankande tidskrifter har ju i det närmaste en kanoniserande verkan på de slutsatser som presenteras. Men i explorativa sammanhang tjänar signifikanstest åtminstone till att påvisa möjliga utfall av slumpvisa processer och det är det enda vi har i den vägen. Men de förhållanden som råder kring experiment utanför statistiken är givetvis det som spelar någon verklig roll. Jag vill gärna framhålla två aspekter.
1. Experiment ger möjlighet till kontrollerade förhållanden.
När man gör experiment är det oftast fråga om en renodlad miljö (t.ex. någon form av laboratorium) där man försöker kontrollera så många som möjligt av de faktorer som kan påverka utfallet av experimentet. De man vill undersöka förändrar man och de man vill inte skall påverka utfallet håller man konstanta. Men om man inte vet vilka faktorer som kan inverka kan det bli hur tokigt som helst. Det är därför kvaliteten på experimentdesign är avhängig forskaren kunskaper i ämnet. Det är också därför man inte bör släppa exempelvis statistiker, ekonomer eller annat löst folk på att designa studier i psykoakustik, hur duktiga de än må vara på allmän experimentdesign. Att kontrollera experiment förutsätter att man vet vad som skall kontrolleras för.
2. Experiment är en empirisk utvärdering av teori och hypoteser.
Experiment utförs normalt inte på måfå utan utföraren har en teori eller hypotes om hur saker och ting hänger ihop. Man förändrar systematiskt vissa nyckelvariabler som man tror har påverkan på utfallet utifrån en teoretisk modell. För att föra den gemensamma kunskapsfronten framåt måste man därför ha koll på vad som reda vets och vad som är viktigt att veta härnäst.
Områdesspecifik kunskap är också viktigt när det gäller att skapa experimentsituationer där ett visst förhållande framstår så klart som möjligt. Om det är små skillnader man undersöker vill man att dessa skall ge så klart utslag som möjligt i en viss experimentdesign. Detta med att skapa experiment med så hög känslighet som möjligt är kopplat till statistiken. Om vi tänker oss liknelsen med en radio så kan vi ställa lägre krav på radion om vi har en bra antenn som lyfter fram en svag signal ur bakgrundsbruset. Om vi skapar ett experiment med en hög förmåga att lyfta fram en viss effekt kan vi ställa lägre krav på det signifikanstest vi sedan använder (lägre "statistical power"). Det hänger alltså ihop. Har vi en svag experimentdesign eller en svag effekt kan det vara motiverat att försöka öka "statistical power" genom att antingen gör fler försök eller helt sonika sänka signifikansnivåerna. Man kan säga att man ökar risken för falsklarm för att minska risken för att slänga ute babyn med badvattnet. Vad som är värst i varje situation kan bara den som är hemma i fältet bedöma.
Detta om vetenskap och experiment har det skrivits spaltkilometrar om och det finns mycket att säga. Men övertygelse eller intuition är en viktig ingrediens i jakten på kunskap. Det är alltså inte så att en stark och befogad övertygelse om hur saker och ting hänger ihop per automatik bör ge vika för empiriska resultat som (åtminstone tillfälligtvis) går stick i stäv denna övertygelse.
Hälsningar,
Dahlqvist
)
) som det låter!
