Entreq - Marknadsföring med fysikaliska osanningar?

[PappaBas]

En filosofisk fråga: Är en studie dubbelblind om man bygger en apparat som slumpar åt en och man själv är både lyssnare och försöksledare?

Jodå, det tycker jag väl.

Men om switchutrustningen är assymetrisk så att det går att skilja på A->B och B->A? Eller om nivåkalibreringen inte är tillräckligt bra? Då riskerar man Typ I-fel.

Eller om automatiseringen gör det svårare att anpassa testet efter de svagheter som DUT:en eventuellt har? Då riskerar man Typ II-fel.

Det är det jag menar, det finns så många sätt att göra fel på och själva dubbelblindheten är ingen garanti för något. Man måste se på hur hela testet är utformat för att kunna bedöma trovärdigheten.

+1
"Det beror på" kan väl sammanfatta det hela?
Man får också skilja på vad som är teoretiskt bäst och praktiskt genomförbart.
Varje ytterligare moment riskerar inducera felkällor och det måste man väga mot de eventuella fördelar som finns.
En så enkel modell som möjligt där man förstår och kan kontrollera felkällorna tycker jag är bäst.

Jag vet inte så mycket på djupet om just hur denna typ av hörbarhetstester fungerarar mer än just att nivåskillnader är otroligt viktiga men det finns säkert mycket mer.
Instinktivt känns det dock som att det vore bra om försöksledaren är osynlig och ohörbar under hela försöket. För mig hade det gett resultaten högre trovärdighet.
Men det finns säkert en mängd andra potentiella felkällor. Både en datoriserad såväl som levande "switchare" är ju potentiella felkällor.

[Almen]

"Det beror på" kan väl sammanfatta det hela?

Mycket bra sammanfattning!

Man får också skilja på vad som är teoretiskt bäst och praktiskt genomförbart.
Varje ytterligare moment riskerar inducera felkällor och det måste man väga mot de eventuella fördelar som finns.
En så enkel modell som möjligt där man förstår och kan kontrollera felkällorna tycker jag är bäst.

Jag vet inte så mycket på djupet om just hur denna typ av hörbarhetstester fungerarar mer än just att nivåskillnader är otroligt viktiga men det finns säkert mycket mer.
Instinktivt känns det dock som att det vore bra om försöksledaren är osynlig och ohörbar under hela försöket. För mig hade det gett resultaten högre trovärdighet.
Men det finns säkert en mängd andra potentiella felkällor. Både en datoriserad såväl som levande "switchare" är ju potentiella felkällor.

Precis. Och den naturliga reaktionen om man får reda på att försöket inte var dubbelblint tycker jag är "Nähä, hur säkerställde ni att lyssnarna inte kunde gissa vad de lyssnade på, då?", och inte "Nähä, ett värdelöst test.". Det viktiga är naturligtvis att det är enkelblint, sedan får man praktiskt utifrån hur testet i övrigt ser ut hantera Typ I-riskerna (och då inte enbart risken att testledaren läcker information).

[Svante]

En filosofisk fråga: Är en studie dubbelblind om man bygger en apparat som slumpar åt en och man själv är både lyssnare och försöksledare?

Jodå, det tycker jag väl.

Men om switchutrustningen är assymetrisk så att det går att skilja på A->B och B->A? Eller om nivåkalibreringen inte är tillräckligt bra? Då riskerar man Typ I-fel.

Eller om automatiseringen gör det svårare att anpassa testet efter de svagheter som DUT:en eventuellt har? Då riskerar man Typ II-fel.

Det är det jag menar, det finns så många sätt att göra fel på och själva dubbelblindheten är ingen garanti för något. Man måste se på hur hela testet är utformat för att kunna bedöma trovärdigheten.

Alltså, min fråga var mest semantisk. Dubbelblindhet brukar betyda att två personer är ovetande om vad som hörs, men att det i detta fall bara finns en person närvarande.

[JM]

Nu närmar sig High End mässan så vilka nya nästan signifikanta sanningar kommer marknadsföras med öppna tester?

JM

[Almen]

En filosofisk fråga: Är en studie dubbelblind om man bygger en apparat som slumpar åt en och man själv är både lyssnare och försöksledare?

Jodå, det tycker jag väl.

Alltså, min fråga var mest semantisk. Dubbelblindhet brukar betyda att två personer är ovetande om vad som hörs, men att det i detta fall bara finns en person närvarande.

Ja, alla lyssningstest typ foobars A/B är ju sådana, och får väl ses som dubbelblinda rent formellt, även om man inte tänker på dem så vanligtvis. Eller?

[Svante]

Jodå, det tycker jag väl.

Alltså, min fråga var mest semantisk. Dubbelblindhet brukar betyda att två personer är ovetande om vad som hörs, men att det i detta fall bara finns en person närvarande.

Ja, alla lyssningstest typ foobars A/B är ju sådana, och får väl ses som dubbelblinda rent formellt, även om man inte tänker på dem så vanligtvis. Eller?

Ja, jag skulle se dem som blinda. Punkt. Ordet dubbelblindhet har ju kommit till för att beskriva informationsläckage från en försöksledare till en försöksperson. Säger man dubbelblint om ett test som slumpas av en apparat så har man inte förstått innebörden av ordet, den är en tom etikett ungefär ekvivalent med "bra".

[Almen]

Ja, jag skulle se dem som blinda. Punkt. Ordet dubbelblindhet har ju kommit till för att beskriva informationsläckage från en försöksledare till en försöksperson. Säger man dubbelblint om ett test som slumpas av en apparat så har man inte förstått innebörden av ordet, den är en tom etikett ungefär ekvivalent med "bra".

Det är jag med på. Ja, om man vill ha en meningsfull definition så är det är en rimlig användning, nu när jag tänker efter lite.

[IngOehman]

Jodå, det tycker jag väl.

Alltså, min fråga var mest semantisk. Dubbelblindhet brukar betyda att två personer är ovetande om vad som hörs, men att det i detta fall bara finns en person närvarande.

Ja, alla lyssningstest typ foobars A/B är ju sådana, och får väl ses som dubbelblinda rent formellt, även om man inte tänker på dem så vanligtvis. Eller?

Ja, jag skulle se dem som blinda. Punkt. Ordet dubbelblindhet har ju kommit till för att beskriva informationsläckage från en försöksledare till en försöksperson. Säger man dubbelblint om ett test som slumpas av en apparat så har man inte förstått innebörden av ordet, den är en tom etikett ungefär ekvivalent med "bra".

Så kan man se det.

Eller också kan man se det som att den där apparaten inte vet vad den gör, och därför kan ses som en blind testledare, som inte kan ge lyssnarna några ledtrådar(informationsläckage.

- - -

Men som sagt - det är ju bara sant om den verkligen är (informationsmedvetande)blind OCH oförmögen att kommunicera falsk väg. Det är inte säkert att det är så, som Almen påpekade.

Det kan även påpekas att dubbelblindhet, om man skall se det så strikt och specifikt som du vill se det Svante, inte är en garanti för att irrelevant information som hjälper lyssnaren att välja, når lyssnaren. Även om inte testledaren vet vad som är vad så kan ju försöksuppställningen ge ledtrådar, t ex genom att det finns en delay med i bilden, något klickljud, en störning som inte har med studien att göra...

Kort sagt - hur man än vänder och vrider på det så kan ingen akribi säkerställas med ord av detta slag . hur noga man än är med att använda själva orden rätt.

Ett enkelblindt test kan vara bättre än ett dubbelblindt. Det viktiga är alltid att inte censurera bort information. Den som tar del av hur en studie gått till behöver ju faktiskt inte serveras slutsatser, så det är viktigare att servera ackurat information, eftersom den kritiska punkten om man talar om vetenskaplighet INTE är metodiken, utan hur man drar slutsatser från känd information. Gör man allt sådant rätt så är det värsta som kan hända att man inte kan dra några säkra slutsatser.


Vh, iö

[Svante]

Ett enkelblindt test kan vara bättre än ett dubbelblindt. Det viktiga är alltid att inte censurera bort information. Den som tar del av hur en studie gått till behöver ju faktiskt inte serveras slutsatser, så det är viktigare att servera ackurat information, eftersom den kritiska punkten om man talar om vetenskaplighet INTE är metodiken, utan hur man drar slutsatser från känd information. Gör man allt sådant rätt så är det värsta som kan hända att man inte kan dra några säkra slutsatser.

Nu blev jag lite förvånad, men då är det är ju bra att vi är överens om det. Man ska alltså dokumentera vad man har gjort så att andra kan granska det kritiskt och dra egna slutsatser.

Nu finns det iofs flera kritiska punkter när man talar om vetenskaplighet, det finns ju något som heter vetenskaplig metodik också som gör att data man får fram blir värdefull. Det är ju bättre med värdefull data än med osäker data.

[IngOehman]

Ett enkelblindt test kan vara bättre än ett dubbelblindt. Det viktiga är alltid att inte censurera bort information. Den som tar del av hur en studie gått till behöver ju faktiskt inte serveras slutsatser, så det är viktigare att servera ackurat information, eftersom den kritiska punkten om man talar om vetenskaplighet INTE är metodiken, utan hur man drar slutsatser från känd information. Gör man allt sådant rätt så är det värsta som kan hända att man inte kan dra några säkra slutsatser.

Nu blev jag lite förvånad, men då är det är ju bra att vi är överens om det. Man ska alltså dokumentera vad man har gjort så att andra kan granska det kritiskt och dra egna slutsatser.

Om man publicerar en studie, ja, självklart. Hur kan du vara förvånad över det?

Jag vet inte hur mycket jag (och Johan Lindroos) tjatade om att det är detta man bör satsa på, inte att stirra sig blind på oflexibla strukturer och sen servera färdiga slutsatser till LTS' läsare. Vetenskaplighet handlar inte om att göra på något specifikt sätt, utan om att dra korrekta slutsatser från den fakta som finns. Hela den akademiska världen verkar ha missat detta.

Nu finns det iofs flera kritiska punkter när man talar om vetenskaplighet, det finns ju något som heter vetenskaplig metodik också som gör att data man får fram blir värdefull. Det är ju bättre med värdefull data än med osäker data.

Njae... Så enkelt behöver det inte alls vara, men det är en rådande uppfattning i den akademiska världen att det är som du skriver. Det ser man på väldigt många studier som görs.

Det är alldeles för fullt av meningslösa frågor som får superentydiga svar... Man vet svaren superexakt, men inte vad de betyder eller spelar för roll för de större frågorna.

Man undersöker helt enkelt alldeles på tok för mycket meningslösheter/självklarheter, och gör det med alldeles för grova medel dessutom, bara för att man övervärderar vikten att få data som är enkel och överskådlig och lättberäknad. Alltför ofta ger sådana studier inget av värde. Men söker hellre säkra svar på saker som man redan nästan visste, än kastar sig ut och letar efter saker som man svävar i ovisshet om.

Jag är rätt säker på att du förstår vad jag menar med det, och att du håller med mig i hög grad, innerst inne. Är inte säker på att du vill skriva det här dock.


Missförstå mig inte, till slut måste man skapa ett resultat av något slag, men hög signifikans, om man vill kunna bevisa något för andra, men det behövs mera vilda studier där man skakar om och skaffar sig intuitiva aningar som man kan studera noggrannare sedan. Kunskapsinhämtning är mycket mera komplex än att kantiga förfärdiga strukturer är svaret på allt. De är svaret på nästan inget.

Innan man har vecklat ut något som man undersöker, går det inte att veta hur man bäst undersöker det, helt enkelt.


Vh, iö

[sprudel]

Ett enkelblindt test kan vara bättre än ett dubbelblindt. Det viktiga är alltid att inte censurera bort information. Den som tar del av hur en studie gått till behöver ju faktiskt inte serveras slutsatser, så det är viktigare att servera ackurat information, eftersom den kritiska punkten om man talar om vetenskaplighet INTE är metodiken, utan hur man drar slutsatser från känd information. Gör man allt sådant rätt så är det värsta som kan hända att man inte kan dra några säkra slutsatser.

Nu blev jag lite förvånad, men då är det är ju bra att vi är överens om det. Man ska alltså dokumentera vad man har gjort så att andra kan granska det kritiskt och dra egna slutsatser.

Om man publicerar en studie, ja, självklart. Hur kan du vara förvånad över det?

Jag vet inte hur mycket jag (och Johan Lindroos) tjatade om att det är detta man bör satsa på, inte att stirra sig blind på oflexibla strukturer och sen servera färdiga slutsatser till LTS' läsare. Vetenskaplighet handlar inte om att göra på något specifikt sätt, utan om att dra korrekta slutsatser från den fakta som finns. Hela den akademiska världen verkar ha missat detta.

Nu finns det iofs flera kritiska punkter när man talar om vetenskaplighet, det finns ju något som heter vetenskaplig metodik också som gör att data man får fram blir värdefull. Det är ju bättre med värdefull data än med osäker data.

Njae... Så enkelt behöver det inte alls vara, men det är en rådande uppfattning i den akademiska världen att det är som du skriver. Det ser man på väldigt många studier som görs.

Det är alldeles för fullt av meningslösa frågor som får superentydiga svar... Man vet svaren superexakt, men inte vad de betyder eller spelar för roll för de större frågorna.

Man undersöker helt enkelt alldeles på tok för mycket meningslösheter/självklarheter, och gör det med alldeles för grova medel dessutom, bara för att man övervärderar vikten att få data som är enkel och överskådlig och lättberäknad. Alltför ofta ger sådana studier inget av värde. Men söker hellre säkra svar på saker som man redan nästan visste, än kastar sig ut och letar efter saker som man svävar i ovisshet om.

Jag är rätt säker på att du förstår vad jag menar med det, och att du håller med mig i hög grad, innerst inne. Är inte säker på att du vill skriva det här dock.


Missförstå mig inte, till slut måste man skapa ett resultat av något slag, men hög signifikans, om man vill kunna bevisa något för andra, men det behövs mera vilda studier där man skakar om och skaffar sig intuitiva aningar som man kan studera noggrannare sedan. Kunskapsinhämtning är mycket mera komplex än att kantiga förfärdiga strukturer är svaret på allt. De är svaret på nästan inget.

Innan man har vecklat ut något som man undersöker, går det inte att veta hur man bäst undersöker det, helt enkelt.


Vh, iö

Hela det sista stycket är underbart att läsa.
Jag spar den till mina studenter att läsa, att att studera, att filosofera över.
Tack!

[Svante]

Jag vet inte hur mycket jag (och Johan Lindroos) tjatade om att det är detta man bör satsa på, inte att stirra sig blind på oflexibla strukturer och sen servera färdiga slutsatser till LTS' läsare. Vetenskaplighet handlar inte om att göra på något specifikt sätt, utan om att dra korrekta slutsatser från den fakta som finns. Hela den akademiska världen verkar ha missat detta.

Det verkar som att det var ett tag sedan du läste MoLt. Utvecklingen sedan du skrev där har snarast varit att vi i högre grad visar läsarna hur vi har gjort (metod) och rådata (resultat) från tex lyssningar. Läser man dina gamla artiklar så är det ofta tämligen svårt att förstå vad du egentligen har gjort och att skilja dina tolkningar från fakta.

Baserat på ovanstående kan man också undra om du överhuvudtaget har läst en akademisk vetenskaplig artikel. Sådana är mycket tydligt uppdelade i bakgrund, metod, resultat, diskussion och slutsatser. Metod- och resultatdelarna ska hållas så fria från egna tolkningar som det är möjligt enligt akademisk konvention.

Det som står i en akademisk vetenskaplig artikel måste också vara sant. Det betyder att i den mån man spekulerar kring de större sammanhangen så ska man göra det i diskussionsdelen, och vara tydlig med att man spekulerar. Det står isf något i stil med att "it could be speculated that ...".

I övrigt kan jag hålla med om att många stannar vid signifikansprövning och lägger relativt lite tyngd vid effektstorlek. Alltså av typen läkemedel x var signifikant bättre än läkemedel y, men diskuterar inte så mycket om hur mycket bättre. Det där kan man tolka på två olika sätt. Antingen begriper inte forskaren bättre, eller så är det så fullständigt självklart att man ska titta i tabellen över data, för effektstorleken står ju där också, alltid, vill jag påstå. Man pekar i diskussionen på de signifikanta resultaten, för det är ju framförallt där som effektstorleken betyder något. Det där är ju en av de fina sakerna som akademisk praxis genererar, eftersom alla redovisar sin metod och sina data så kan man hitta uppgift om effektstorlek även om författaren inte har gjort något stort nummer av det i diskussionen.

...och sedan kan man diskutera om forskningen ägnar för mycket tid åt oväsentligheter. Det diskuteras mycket i den akademiska forskarvärlden, och man försöker även mäta användbarheten (inte bara mängden) forskning som en forskare genererar med olika index. Jag är rätt kritisk till sådana index, men det görs iaf. Jag tycker att det finns något sympatiskt att man anser det värt att forska på saker bara för att de är outforskade. För bara någon månad sedan grävde jag fram forskning från 50-talet om hur bubblor bildas under vattnet. Jag har nytta av det till något som den andre forskaren knappast kunde tänka sig att det skulle användas till.

...och till sist kan man diskutera om forskningen sätter fokus på fel saker genom att ägna tid åt oväsentligheter och att läsarna därmed missar det väsentliga. Det tror jag är vanligt. Alltså att det händer. Mitt favorithatobjekt är när man försöker mäta något som är svårmätt för att förbättra en verksamhet. Man hittar på ett index som korrelerar med "braighet" (tex antal publikationer) och så inför man en återkoppling så att de avdelningar som genererar många publikationer får mer pengar. Folk på avdelningarna är då inte dummare än att de börjar dela upp sina publikationer i flera små (och som regel sämre) publikationer. I verkligheten är det ett mer komplicerat samspel, men just det där att användadet av ett mått för styrning (återkoppling) korrumperar måttet återkommer om och om igen. Och problemet där är inte måttet, utan användandet av det. Så om man ska mäta något så måste man förstå vad det betyder, förstå om det betyder det man söker, och förstå konsekvenserna av att använda det till något, speciellt om systemet man ska ändra innehåller egen intelligens. Men det måste vara var och en som använder forskningen som ska klara av det där. Det är inte forskarens fel att hans forskning används på felaktiga sätt. Det som står i artiklarna är ju bara sanningar.

[leffe]

Hi-end tweak-branschen skulle inte ens existera om inte så många saknade tillit till sina egna upplevelser/preferenser!
Hoppet att uppnå nirvana är lika stort som rädslan att tycka fel.

[PerStromgren]

Får jag bara i all ödmjukhet inflika att "dubbelblint" bara syftar på att vare sig försöksledare eller försöksperson känner till vilket subjekt som genererar stimuli. Om försöksledare och försöksperson är samma person spelar nog ingen roll i sammanhanget, det är bara litet svårare att göra försöket dubbelblint.

[Strmbrg]

Är Entreqs produkter avhandlade redan? Att så många olika trådar glider ner i blindtest-diskussioner och "liknande" är lite tjatigt...

Jag tycker att det är andra domäner (eller vad man skall säga) som är intressanta här, än de strikt tekniska och semantiska och vem-som-har-rätt-i-diverse-olika-detaljer.

Nämligen sådana där lite luddiga o-ingenjöriga frågor, som det inte finns matematiskt eller fysikaliskt grundade svar på, typ:

Luras Entreq?
Är Entreq primärt ute efter pengar?
Är Entreq snarare aningslösa än listigt illasinnade? (Ja, det handlar väl snarast om ett enmansföretag, inte en stor organisation...)
Är verkligen småskaligt producerade, perifera och funktionsmässigt tveksamma, hemmagjorda små prylar till stereoanläggningar ( ) en god källa till lönsamhet och inkomster?

Jag skulle vilja dra paralleller till "sådana där butiker" som säljer kristaller och tarotkort. De som sysslar med det tror verkligen på att prylarna funkar. De sysslar inte med der för att illasinnat lura av folk pengar på grejor som de inte själva tror på.

Ovanstående skall dock INTE summeras i att jag menar att Entreq är ett fint och bransch-nyttigt företag, det är snarare bara ett försök att resonera om sammanhangen.

[Svante]

Får jag bara i all ödmjukhet inflika att "dubbelblint" bara syftar på att vare sig försöksledare eller försöksperson känner till vilket subjekt som genererar stimuli. Om försöksledare och försöksperson är samma person spelar nog ingen roll i sammanhanget, det är bara litet svårare att göra försöket dubbelblint.

Du menar att det är svårare att göra det bara enkelblint?

[PerStromgren]

Får jag bara i all ödmjukhet inflika att "dubbelblint" bara syftar på att vare sig försöksledare eller försöksperson känner till vilket subjekt som genererar stimuli. Om försöksledare och försöksperson är samma person spelar nog ingen roll i sammanhanget, det är bara litet svårare att göra försöket dubbelblint.

Du menar att det är svårare att göra det bara enkelblint?

Nej. Dummer, du fattar vad jag menar!

[Svante]

[hifikg]

Är Entreqs produkter avhandlade redan? Att så många olika trådar glider ner i blindtest-diskussioner och "liknande" är lite tjatigt...

Jag tycker att det är andra domäner (eller vad man skall säga) som är intressanta här, än de strikt tekniska och semantiska och vem-som-har-rätt-i-diverse-olika-detaljer.

Nämligen sådana där lite luddiga o-ingenjöriga frågor, som det inte finns matematiskt eller fysikaliskt grundade svar på, typ:

Luras Entreq?
Är Entreq primärt ute efter pengar?
Är Entreq snarare aningslösa än listigt illasinnade? (Ja, det handlar väl snarast om ett enmansföretag, inte en stor organisation...)
Är verkligen småskaligt producerade, perifera och funktionsmässigt tveksamma, hemmagjorda små prylar till stereoanläggningar ( ) en god källa till lönsamhet och inkomster?

Jag skulle vilja dra paralleller till "sådana där butiker" som säljer kristaller och tarotkort. De som sysslar med det tror verkligen på att prylarna funkar. De sysslar inte med der för att illasinnat lura av folk pengar på grejor som de inte själva tror på.

Ovanstående skall dock INTE summeras i att jag menar att Entreq är ett fint och bransch-nyttigt företag, det är snarare bara ett försök att resonera om sammanhangen.

Jag skulle känna mig lurad om jag betalat 2800 för en tiokronorskabel med 30-spänn strumpa. Särskilt när ett enkelt blindtest visar att jag inte kan skilja den nakna från den klädda. Det har inte hindrat mig från att "investera" i dyrkabel en gång i tiden. Tröstar mig med att de i varje fall inte är sämre än lampsladd, mina röda dyrkablar är dessutom uppiggande att se på när jag inte lyssnar. Kanske jag skulle strippa Coconutkabeln någon natt?