Från omätbart till svårmätbart med kategoribaserade mätningar

Det är viktigt att veta hur personer och samhället mår eller hur en produkt eller tjänst upplevs samt att kunna jämföra hur detta förändras över tid och mellan olika områden, när exempelvis beslut ska fattas om prioriteringar, insatser och effekter.

Ibland hör man uttryck som att mäta det omätbara när det gäller latenta egenskaper. Det stämmer inte riktigt. Visst, latenta egenskaper är ”dolda” och kan inte direkt observeras, men vi kan se tecken på dem genom observerbara så kallade manifesta uttryck, till exempel prestationer eller värderingar. Tänk dig att du svarar på en enkät om hur du mår eller du gör ett prov. Dina svar kan säga något om ditt välbefinnande, liksom din prestation på provet kan visa på en förmåga. Att observera manifesta uttryck är den första fasen i en mätning av latenta egenskaper, den så kallade observationsfasen.

För att få viss kunskap och förståelse för en latent egenskap kan vi använda intervjuer. Men om vi vill ha siffror – kvantitativa mätvärden – som kan användas för beräkningar, jämförelser och objektiva beslut, krävs det att vi mäter den latenta egenskapen. Hur är ditt välbefinnande, och hur är det jämfört kvantitativt med andra? Hur är din förmåga i jämförelse med klassen, eller för den delen resten av landet?

Grundläggande mättekniska principer

När många i vardagligt tal säger "mätning” tänker de ofta på sådant som poäng i ett test eller en andel av personer som svarar på ett visst sätt i en enkät. Enkätundersökningar, observationsprotokoll eller tester är ofta ett första viktigt underlag för att mäta latenta egenskaper, men för en mätning krävs att vi dessutom använder grundläggande mättekniska principer. När vi använder grundläggande mättekniska principer för att mäta latenta egenskaper, vilka är baserade på data som vi får i kategoriform via enkätundersökningar, observationsprotokoll eller tester, kallas det kategoribaserade mätningar.

En av de viktigaste mättekniska principerna för att en mätning ska kunna användas för jämförelser mellan olika grupper och över tid är spårbarhet till metrologiska referenser (s k “normaler”). För till exempel den fysikaliska storheten “längd” är spårbarhet relativt enkelt att förstå. För att veta att din linjal har rätt längd kan du jämföra, kalibrera den, mot en annan, referenslinjal, en normal för längdmätning. Referensen är i sin tur jämförd med andra referenser med högre noggrannhet, och för fullständig jämförbarhet, hela vägen upp till den primära realisationen av en meter som internationell normal för längdenheten. Tillförlitliga och jämförbara mätningar av latenta egenskaper behöver metrologiska referenser på liknande sätt.

Från observationer till mätvärden

När man svarar i kategorierna Kan eller Kan inte på en fråga i en enkät vet vi bara att den ena kategorin är “bättre” än den andra men inte hur stor skillnaden mellan svaren är. Hur mycket mer är Kan än Kan inte? Ofta ges ”klassificeringstal” för skattningar där man exempelvis låter svarskategorin 0 (noll) motsvara Kan inte och 1 (ett) motsvara Kan. Men det finns inget numeriskt värde på datat vi samlat in eller skillnaderna dem emellan. Detta kallas ”ordinal” data, och kan jämföras med en linjal där skalstrecken har okända avstånd mellan sig.

Nästa steg i en mätprocess är restitutionsfasen, då vi omvandlar observationerna, exempelvis ordinala enkätsvaren eller provutfallet, till linjära, kvantitativa mätvärden. Här separeras de två uppsättningar latenta egenskaper: (i) mätvärde för personers upplevelse, känsla, beteende eller förmåga och (ii) mätvärde för uppgifternas latenta egenskap. Just denna separation är nödvändig för tillförlitliga och jämförbara mätvärden då mätvärdena för uppgifterna används som metrologiska referenser. Vid kategoribaserade mätningar används främst den så kallade Rasch-modellen för att göra detta. Det är så klart inte så enkelt som att bara ta lite enkätdata och stoppa in det i Rasch-modellen. Kategoribaserade mätningar kräver också att vi ställer rätt frågor till rätt personer, och att svaren verkligen ger observationer för den latenta egenskap vi vill mäta och inte någon annan egenskap.

Krävs det inte mer än så?

Det är svårt att mäta latenta egenskaper, men det är inte omöjligt. Trots att restitutionsfasen är avgörande för att få tillförlitliga och jämförbara mätvärden görs detta i många fall inte alls. Genom RISE satsning Centrum för kategoribaserade mätningar arbetar vi tillsammans med andra aktörer för att bygga och stärka kompetens och utveckla metoder och verktyg för kategoribaserade mätningar, som gör det omätbara till det svårmätbara. Även om en mer detaljerad beskrivning av hur Rasch-modellen fungerar är bortom detta blogginlägg är det viktigt att komma ihåg att det finns modeller och verktyg att använda.

En ytterligare sak att komma ihåg: Har du läst detta inlägg har du tillgång till dator och troligen även en smartphone. Dessa relativt nya och avancerade verktyg använder vi i vår vardag, samtidigt som merparten av oss har väldigt liten förståelse för hur de fungerar fullt ut. På motsvarande sätt är det med mätinstrument: linjalen, vågen eller klockan, osv. Även för mätningar av latenta egenskaper, kan det rimligen vara på liknande sätt. Alla användare behöver alltså inte ha full förståelse för hur dessa nya mätverktyg fungerar, men däremot, en viss kunskap behövs om vad som är viktigt att tänka på för att möjliggöra både tillförlitliga och jämförbara mätningar av latenta egenskaper.

Jag hoppas att du dels fått ny kunskap, dels att du blivit nyfiken på att lära dig ännu mer om ämnet från det omöjliga till svårmätbart med kategoribaserade mätningar och på att reflektera kring hur ni gör i er verksamhet. Tveka inte att kontakta mig eller mina kollegor för fortsatt diskussion och dialog om hur du och din organisation kan vara med på den fortsatta resan!

RISE: Sveriges nationella metrologiinstitut

Som nationellt metrologiinstitut ansvarar RISE genom sina riksmätplatser för många av de fysikaliska mätstorheterna i det internationella systemet för måttenheter, SI. Det är en del i en internationell mätkvalitetsinfrastruktur som gör att vi kan lita på att en meter är en meter eller ett kilogram ett kilogram oavsett var i världen vi befinner oss. Kraven på ökad trovärdighet i mätningar av latenta egenskaper gör att vi också är med och driver utvecklingen mot en motsvarande internationell mätkvalitetsinfrastruktur även för dessa egenskaper.

RISE kunskapsplattform Centrum för kategoribaserade mätningar är en svensk satsning där RISE utöka sin roll som nationellt metrologiinstitut och bygger och stärker kompetens inom mätningar av upplevelser, känslor, beteenden och förmågor