Mål med et nøyaktig instrument og få alltid to forskjellige svar. Tilfeldigheter gjør at målinger går litt opp og ned uten at det som måles har endret seg. Og da vi mennesker er finslipt til å finne mønstre i alt, blir det er lett å glemme at halvparten av tiden vil en KPI nødvendigvis være under gjennomsnittet og halvparten av tiden over gjennomsnittet.  

For HMS indikatorer som måler antall skader eller andre alvorlige hendelser er det i praksis umulig å skjelne mellom de reelle endringer og tilfeldige rapporteringstall som ikke er annet enn statistisk støy. Noen enheter opplever lange perioder uten alvorlige ulykker og får bekreftet at de jobber riktig med sikkerhet. Så plutselig skjer alle ulykkene på en gang og enheten er plutselig en versting i statistikken uten noen egentlig skjønner hvorfor. 

I denne artikkel vil det bli vist hvorfor de vanlige HMS-indikatorer for ulykker ikke fungerer. For de som ikke er fornøyd med kun å rapportere tall kun fordi de må, blir det også presentert et bedre alternativ. 

Populær indikator i HMS 

Følgende resonnement er samme for alle indikatorer som måler relativt sjeldne hendelser som ulykker. Indikatoren er omregningen av bedriftens skader til antall skader per 1 million arbeidstimer. Fordi skader kan tolkes på litt ulik vis kommer den i ulike variasjoner. Typiske eksempler er TRIF / TRIR (Total Recordable Incident Frequency / Total Recordable Incident Rate) og LTIF (Lost Time Incidents).

Norsk industri samler inn slik data og antall skader per 1 million arbeidstimer ligger i snitt på 2,5 i 2020 (figur 1). Bemerk at det tilsvarer hele 45 år uten skader i hjemmet. Det er 45 år som leves 24 timer i døgnet i hjemmet uten å få redusert arbeidsevne neste dag etter kink i ryggen, kutt i fingeren, vrikking av ankel eller snubling i trapper eller over egne ben… For noen av oss virker indikatoren mistenkelig lav. Uansett, så forteller dette i det minste at kravet til sikkerhet er veldig høyt på en arbeidsplass og høyere end kravene i hjemmet.

Typisk bruk av indikatoren

Figur 2 er et fiktivt, men likevel realistisk, eksempel som viser hvordan indikatoren benyttes i praksis.

Figur 2 viser utviklingen av antall skader i Nord Pois AS fra 2012 til 2020. I år 2014 var man fornøyd med en nedgang til kun 3 skader. Det var da et relativt stort fokus på sikkerhet og bortsett fra en liten midlertidig oppgang i 2016, ga målrettet sikkerhetsarbeid gevinst og 2017 ble en milepæl med null skader. Ledelsen roste seg selv og alle andre, og det ble markering med kake og skryt i årsrapporten.

Men så skjedde det noe fra 2017. Utviklingen fra 2017 til 2020 ble veldig kjedelig. I 2020 er antall skader 5-doblet siden 2015! Utviklingen var på samme tid bekymrende og frustrerende. Frustrerende fordi man brukte mye tid og krefter på sikkerhet. Bekymrende fordi det var et genuint ønske om å bedre sikkerheten i hele bedriften.

Mønstre som ikke eksisterer

Dataene i eksemplet er generert fra en modell som har strødd skader helt tilfeldig ut over alle årene. Eneste betingelse i modellen er et gjennomsnitt på 2,5 skader per år (poissonfordelt). Figur 2 demonstrer kraftige svingninger i indikatoren, selv om den underliggende prosessen er konstant i alle årene. Punktene beveger seg bedragersk som om de er drevet av underliggende årsaker. Vi mennesker er skapt til å se mønstre på tynt grunnlag, og fordelen som måtte har vært evulosjonsmessig blir borte i møtet med indikatorer.

Dersom Nord Pois AS besto av ca. 500 ansatte, ville de 5 arbeidsskader i 2020 tilsvare 5 skader per 1 million timer. Det er dobbelt så høyt som gjennomsnittet fra Norsk Industri også selv om den underliggende prosessen kun hadde et gjennomsnitt på 2,5 og dermed er akkurat like bra som gjennomsnittet.  

Indikatoren er altså tvilsom i en relativ stor bedrift med 500 ansatte og blir kun verre for mindre bedrifter. Meningsfull bruk krever et ekstremt stort antall arbeidstimer. Norsk Industris sin statistikk er meningsfull kun fordi den baserer seg på et veldig stort antall timer. Enkeltbedrifter bør derimot styre forbi. De som er overbevist allerede her, kan evt. lese om hvordan denne typen indikator likevel kan benyttes med æren i behold: Kokebokoppskrift HMS Indikator.  

Nedenfor vil det bli vist hvorfor indikatoren matematisk sett ikke holder vann og at store selskaper som Equinor heller ikke klarer å håndtere indikatoren.

Indikator for skader i Equinor 

I en pressemelding 21.07.2021 som fikk mye oppmerksomhet i media, går det feil vei med antall personskader. TRIF (antall personskader med medisinsk behandling per million arbeidstimer) har økt fra 2,3 til 2,5 og selskapet ser alvorlig på saken.   

Men er en øking fra 2,3 til 2,5 så mye at rapporten har rett når den konkluderer med at det går feil vei med sikkerheten? Svaret er nei, økingen må tolkes som tilfeldig og endring i indikatoren kan kun tolkes som statistisk støy.  

Å dra konklusjoner på bakgrunn av kun to datapunkter (2,3 og 2,5) er aldri bra. Men et annet argument er viktigere og handler om at hendelsene skjer sjelden i forhold til antall arbeidstimer (ca. 23 mil). Sjeldne hendelser gir spesielle utfordringer statistisk sett og medfører store tilfeldigheter. I praksis må da selv store endringer fra år til år tolkes som naturlig “støy”. Ikke at sikkerhetsnivået faktisk har endret seg.

Vide intervaller til ingen nytte

Beviset ligger i beregning av et 95 % konfidensintervall for indikatoren. I vår tilfelle gir TRIF på 2,3 intervallet [1.8 til 3,0]. Det betyr at en TRIF mellom 1,8 og 3,0 er “normalt”. En endring i Equinorrapporten fra 2,3 til 2,5 ligger godt innenfor intervallet og økingen bør tolkes som et “falskt mønster”.  

Kvartalsrapporten vurderte ikke et slikt intervall og slo alarm på feil grunnlag. Bedriften reagerer dermed på tilfeldig statistisk støy. Det er alltid uheldig, og ineffektive tiltak er nærmest garantert. 

Beregningsmetoden (figur 3) for hvordan intervallet er beregnet i Excel kan nedlastes her. og kan også benyttes til enkelt å beregne intervaller for din egen bedrift (kun de to blå felt for “Antall hendelser” og “Antall arbeidstimer” må fylles ut).

På tross av Equinors betydelige størrelse fikk de problemer. For mindre bedrifter blir timetallet håpløst lavt. La oss se på et tenkt eksempel med ca. 200 ansatte som er nærmere virkeligheten for de fleste.  

Eksempel for mellomstor bedrift 

En bedrift kan etter et år med 400 000 arbeidstimer totalt ha opplevd 3 fraværsskader. Det tilsvarer 7,5 skader per 1 million arbeidstimer og LTI (Lost time Injuries) blir da 7,5.  

Året etter dobler samme bedrift antall skader til 6. Antall arbeidstimer er fortsatt 400 000. Det gir en dobbelt så høy LTI som nå er 15.  

En dobling av LTI på denne måten ville antakelig vekke bekymring. Kanskje skyld ville bli fordelt og tiltak iverksatt. Men igjen blir konklusjonen feil. For selv en dobling av LTI til 15, gir ikke grunnlag for å hevde at sikkerheten er blitt dårligere. Denne typen KPI medfører så store usikkerheter at selv en fordobling like gjerne er en ren tilfeldighet.   

Det er fordi en LTI på 7,5 gir intervallet [2,6 til 22]. Altså et enormt intervall som krever en LTI på over 22 før påstand om en forverring er gyldig. Uansett om man er stor eller lille, så er denne typen KPI beheftet med så store usikkerheter at selv store bedrifter ikke kan håndtere den. 

Finns det bedre alternativer? 

Ja! Det finns robuste metoder som får fram reelle endringene ved bruk av atferdsdiagrammer (også kaldt kontrolldiagrammer) som figur 4: 

Først når et punkt i atferdsdiagrammet går over den røde grensen, er det stor sannsynlighet for at en reell endring har funnet sted. Utfordringen er fastsettelsen av den røde grensen og skjer med en elegant, statistisk beregning. Ingen kunnskaper i statistikk er nødvendig, og metoden er beskrevet steg for steg i artikkelen Kokebokoppskrift HMS Indikator. En mer generell beskrivelse av atferdsdiagrammer og hvorfor de virker er beskrevet i avsnittet Atferdsdiagram som forbedringsverktøy

Metoden er litt mer omstendelig enn å kaste en terning som de fleste gjør i dag, og det springende punktet for valg av KPI blir hvorfor man dypest sett bruker tid på HMS-tall.