LTI, TRIF, TRIR er eksempler på indikatorer for antall skader, og har alle til felles at de stort sett tolkes feil. Avsnittet Indikator til villedning beskriver hvorfor dette er tilfelle, og i denne artikkelen vil en bedre indikator presenteres inkludert en kokebokoppskrift som kan benyttes uten statistiske ferdigheter.
Tallet i seg selv, som er antall skader/hendelser per 1 mil. arbeidstimer, er ikke utfordringen. Det er utviklingen i indikatoren som vanskelig lar seg tolke. Mange glemmer da at halvparten av tiden må alle indikatorer nødvendigvis falde under gjennomsnittet ved status quo.
Slik er det for alle indikatorer, men spesielle forhold gjør at LTI og liknende er spesiell vanskelig å håndtere. I praksis er det nesten umulig å vite om utviklingen går i en bestemt retning eller om endringer er rene tilfeldigheter. Årsaken er de bakenforliggende data som er vanskelige fordi de består av sjeldne hendelser. Det gir utfordringer i den matematiske statistikken og tallene som rapporteres ute i bedriftene har ofte liten verdi.
For de som ikke er fornøyd med kun å rapportere tall og som er drevet av reelle forbedringer, finns det en annen rapporteringsmetode. Metoden teller ikke antall hendelser, men dager mellom hendelser. Først vil metoden bli illustrert med et eksempel, og til slutt presenteres en kokebokoppskrift som kan benyttes uten statistiske ferdigheter. Prinsippene i metoden er utviklet av statistikeren Donald J. Wheeler1,2) og en mer generell beskrivelse av atferdsdiagrammer og hvorfor de virker er beskrevet i avsnittet Atferdsdiagram som forbedringsverktøy.
Vanlig indikator som taller antall skader
Vi benytter et tenkt eksempel med bedriften Pois Nord AS som de siste 9 årene har hatt et gjennomsnitt på 2,5 skader årlig (Figur 1). Bedriften har ca. 500 ansatte og indikatoren blir da 2,5 skader per 1 million arbeidstimer. Dette er gjennomsnittet oppgitt av Norsk Industri i 2020 for sine medlemsbedriftet.
Svingningene i figur 1 er helt tilfeldige og skapt ved hjelp av en simulering. Likevel ville samme figur i en bedrift ha blitt tolket som alt annet enn tilfeldigheter. Nedgangen i antall skader fra 2012 til 2017 ville bli tolket som en positiv utvikling i sikkerhetsnivået. På samme vis ville økingen i antall skader fra 2017 til 2020 mest sannsynlig bli tolket som en forverring av sikkerheten. Men antall skader og hvordan de fordeler seg ut over årene er simulert fra en poissonfordeling med forventningsverdi 2,5 skader/år og dataene er 100 % tilfeldig generert og dermed er det heller ingen reelle mønstre i dataene.
Antall skader også fra virkeligheten vil hoppe rundt og imitere «falske» mønstre og i praksis gjøre det umulig å skjelne mellom reelle endringer og tilfeldige tall.
Antall dager mellom skader som bedre alternativ
Det går heldigvis an å temme dataene med et triks som utnytter ekstra informasjon som ligger mellom hver hendelse. I dette tilfelle antall dager mellom hver skade. Tiden mellom hver hendelse inneholder mer informasjon enn antall skader, og muligheten til å fange opp reelle endringer blir bedre.
Metoden består av såkalte atferdsdiagrammer. Figur 2 viser et slikt atferdsdiagramm som viser antall dager mellom hver skade. Gjonnomsnitt over alle år og antall skader i hvert enkelt år er samme som i figur 1 og underliggende prosessen kunne derfor ha vært den samme i begge figurer.
Matematisk sett ligger det mer informasjon gjemt i antall dager og gjør figur 2 mest anvendelig. År 2017 (punkt nummer 12) ligger utenfor en nedre grenseverdi representert med stiplet linje og viser at endringen av sikkerheten til det bedre i 2017 er reell og ikke bare en statistisk tilfeldighet. I figur 2 er grensene (stiplete linjer) beregnet med dataene tom punkt 16 (år 2016). Nøyaktig hvordan grensene beregnes demonstreres i avsnittet «Kokeboksoppskrift».
De siste 5 punkter er alle nær den øvre grenselinje og er også mistenkelige. De tilhører 2020 og er en reell indikasjon på at sikkerheten har forverret seg i 2020.
Diagramm for dårlig HMS indikator, antall skader.
Et atferdsdiagram med indikatoren benyttet av de fleste, antall skader, er vist i figur 3. Ingenting i diagrammet indikerer endringer da alle punkter er mellom øvre- og nedre grenseverdi (stiplete linjer). Og slik vil det være i de fleste virkelige eksempler fordi den vanlige indikatoren er for grov til å fortelle noe brukbart. Bemerk også at med null som nedre grenseverdi (figur 3) vil aldri nedre grenseverdi utløse en indikasjon om forbedring uansett hvor få antall skader.
Indikatoren i figur 3 gir tilfeldige konklusjoner og inviterer til ren gjetning om sammenhenger mellom årsak og virkning. Den alternative indikatoren i figur 2 kan fange opp reelle endringer og kan benyttes til å identifisere årsakssammenhenger. Identifisering av dominerende årsakssammenhenger er et vesentlig element i forbedringsarbeid, men overskygges i mange tilfeller av kravet om rapportering. Verdien av rapporteringen kommer ofte i 2. rekke.
Eksempel med antall dager uten endring
Før vi går til kokebokoppskriften bør metoden tydeliggjøres med et nytt eksempel med antall dager mellom hver skade. Forventningsverdi er fortsatt 2,5 skader/år som tilsvarer 146 dager i gjennomsnitt mellom hver skade (365/2,5)
Hvert datapunkt, Antall dager mellom skader, er i figur 4 omgjort til antall skader per år. Det er for å få en intuitiv kurve som går opp når antall skader øker. Første datapunkt som er 142 dager mellom de første to skader blir til 365 / 142 = 2,57 skader per år og er første datapunkt i diagrammet. De stiplete linjer markerer en statistisk grense som er et filter for statistisk støy. Dataene hopper som forventet rundt i diagrammet på grunn av tilfeldig støy, men holder seg innenfor grensene. Det betyr at den underliggende prosess som skaper dataene ikke viser tegn på endring.
I figur 5 ses derimot en reell endring i punkt 13. Sannsynligheten for skader er i punkt 13 økt med simulering til et gjennomsnitt på 3,0 skader per år fra 2,5. Indikatoren har gitt signal om en reell endring – en endring som ville ha vært usynlig med den vanlige indikatoren, antall skader.
Utviklingen videre i figur 6 viser at neste datapunkt også er over grenseverdien og forsterker troen på at sikkerheten er blitt dårligere. Etter punkt 13 er sikkerheten forverret i alle årene, men ikke alle verdier er over grenseverdien – og det trenger de heller ikke å være for å indikere permanent endring. Flere verdier bryter grensen de siste 10 punkter, og det er tydelig at den gamle gjennomsnittsverdien på 2,5 er blitt for lav. Allerede i punkt 13 har man objektivt bevis på at ting har forverret seg og bør utløse årsaksanalyser med tilhørende tiltak. Å vente på 10 datapunkt til ville være unødvendig og uansvarlig.
Metoden nedenfor kan kopieres til lignende problemstillinger uten spesielle ferdigheter. Alternative metoder som kun baserer seg på klassisk statistikk og sannsynlighetsregning krever spesialkompetanse innenfor statistikk, men anses ikke for å være mer nøyaktige.
Tidsserie
Første trinn er alltid utarbeidelse av en tidsserie. Figur 7 er en tidsserie med data fra Tabell 1: Antall dager mellom hver skade.
Tabell 1: Antall dager mellom hver skade | |||||||||||
142 | 166 | 134 | 139 | 145 | 138 | 147 | 145 | 138 | 124 | 142 | 133 |
Tidsserien benyttes til å danne et overordnet bilde av dataene. Det er nødvendig fordi man må ha en oppfattelse av hva som er opp og ned, mye og lite, og fange opp åpenlyse feil som ellers ville ha blitt pinlige senere.
Transformasjon til rate
Trinn to er å omgjøre antall dager til en hendelsesrate i form av antall skader per år. Hendelsraten fås ved å dele årets 365 dager med antall dager mellom hver hendelse. Første datapunkt som er 142 dager mellom de første to skader blir til 365 / 142 = 2,57 skader per år.
Tabell 2: Omgjøring til årlig rate |
|||||||||||
142 | 166 | 134 | 139 | 145 | 138 | 147 | 145 | 138 | 124 | 142 | 133 |
2,57 | 2,20 | 2,72 | 2,63 | 2,52 | 2,43 | 2,48 | 2,52 | 2,65 | 2,94 | 2,57 | 2,74 |
Moving Range
Trinn 3 er beregning a et såkalt «Moving Range» som er avstanden mellom hvert etterfølgende antall dager. Første Moving Range er 2,570 – 2,199 = 0,372. Neste Moving Range er ikke 2,1988 – 2,7239 = – 0,525 fordi Moving Range må være positiv og må gjøres om til + 0,525. Moving Range kan ikke eksistere for første datapunkt og vil alltid være tom.
Tabell 3 | ||||||||||||
Dager | 142 | 166 | 134 | 139 | 145 | 138 | 147 | 145 | 138 | 124 | 142 | 133 |
Rater | 2,57 | 2,20 | 2,72 | 2,63 | 2,52 | 2,43 | 2,48 | 2,52 | 2,65 | 2,94 | 2,57 | 2,74 |
Moving Range | 0,372 | 0,525 | 0,098 | 0,109 | 0,084 | 0,050 | 0,034 | 0,128 | 0,299 | 0,373 | 0,174 |
Beregning av grenseverdier
I trinn 4 beregnes grenseverdiene. Da kreves først gjennomsnittet av antall hendelser per år (eller annen periode) og gjennomsnittet av Moving Range fra tabell 3:
Gjennomsnitt hendelsesrate (t.o.m. 2016) | 2,58 |
Gjennomsnitt Moving Range | 0,20 |
Øvre grenseverdi = Gjennomsnitt hendelsesrate + 2,66 ∙ Gjennomsnitt Moving Range
Øvre grenseverdi = 2,58 + 2,66 ∙ 0,20 ⇔ Øvre grenseverdi = 3,11
Nedre grenseverdi = Gjennomsnitt hendelsesrate – 2,66 ∙ Gjennomsnitt Moving Range
Nedre grenseverdi = 2,58 − 2,66 · 0,20 = 2,04 ⇔ Nedre grenseverdi = 2,04
Nedre grenseverdi kan i noen tilfeller bli negativ og settes da til null dersom negative verdier ikke gir mening (I dette eksemplet ville ikke en negativ grenseverdi gi mening). 2,66 er en skaleringsfaktor som ikke her vil bli forklart ytterligere og er alltid 2,66.
Plotting av atferdsdiagrammet
Man har nå alt som trengs til å plotte inn verdier, grenser og evt. en middelverdi som nedenstående i Excel:
Diagrammet viser at selv om tallene svinger opp og ned, så er ingen datapunkter over eller under noen grenseverdier. Da kan heller ikke endringer i indikatoren benyttes som argument for at sikkerhetsnivået har endret seg. Først når et datapunkt går over en grenseverdi, er dette et signal om en reell endring.
Tallet i seg selv, som er antall skader/hendelser per 1 mil. arbeidstimer, er ikke utfordringen. Det er utviklingen i indikatoren som vanskelig lar seg tolke. Mange glemmer da at halvparten av tiden må alle indikatorer nødvendigvis falde under gjennomsnittet ved status quo.
Slik er det for alle indikatorer, men spesielle forhold gjør at LTI og liknende er spesiell vanskelig å håndtere. I praksis er det nesten umulig å vite om utviklingen går i en bestemt retning eller om endringer er rene tilfeldigheter. Årsaken er de bakenforliggende data som er vanskelige fordi de består av sjeldne hendelser. Det gir utfordringer i den matematiske statistikken og tallene som rapporteres ute i bedriftene har ofte liten verdi.
For de som ikke er fornøyd med kun å rapportere tall og som er drevet av reelle forbedringer, finns det en annen rapporteringsmetode. Metoden teller ikke antall hendelser, men dager mellom hendelser. Først vil metoden bli illustrert med et eksempel, og til slutt presenteres en kokebokoppskrift som kan benyttes uten statistiske ferdigheter. Prinsippene i metoden er utviklet av statistikeren Donald J. Wheeler1,2)
Vanlig indikator som taller antall skader
Vi benytter et tenkt eksempel med bedriften Pois Nord AS som de siste 9 årene har hatt et gjennomsnitt på 2,5 skader årlig (Figur 1). Bedriften har ca. 500 ansatte og indikatoren blir da 2,5 skader per 1 million arbeidstimer. Dette er gjennomsnittet oppgitt av Norsk Industri i 2020 for sine medlemsbedriftet.
Svingningene i figur 1 er helt tilfeldige og skapt ved hjelp av en simulering. Likevel ville samme figur i en bedrift ha blitt tolket som alt annet enn tilfeldigheter. Nedgangen i antall skader fra 2012 til 2017 ville bli tolket som en positiv utvikling i sikkerhetsnivået. På samme vis ville økingen i antall skader fra 2017 til 2020 mest sannsynlig bli tolket som en forverring av sikkerheten. Men antall skader og hvordan de fordeler seg ut over årene er simulert fra en poissonfordeling med forventningsverdi 2,5 skader/år og dataene er 100 % tilfeldig generert og dermed er det heller ingen reelle mønstre i dataene.
Antall skader også fra virkeligheten vil hoppe rundt og imitere «falske» mønstre og i praksis gjøre det umulig å skjelne mellom reelle endringer og tilfeldige tall.
Antall dager mellom skader som bedre alternativ
Det går heldigvis an å temme dataene med et triks som utnytter ekstra informasjon som ligger mellom hver hendelse. I dette tilfelle antall dager mellom hver skade. Tiden mellom hver hendelse inneholder mer informasjon enn antall skader, og muligheten til å fange opp reelle endringer blir bedre.
Metoden består av såkalte atferdsdiagrammer. Figur 2 viser et slikt atferdsdiagramm som viser antall dager mellom hver skade. Gjonnomsnitt over alle år og antall skader i hvert enkelt år er samme som i figur 1 og underliggende prosessen kunne derfor ha vært den samme i begge figurer.
Matematisk sett ligger det mer informasjon gjemt i antall dager og gjør figur 2 mest anvendelig. År 2017 (punkt nummer 12) ligger utenfor en nedre grenseverdi representert med stiplet linje og viser at endringen av sikkerheten til det bedre i 2017 er reell og ikke bare en statistisk tilfeldighet. I figur 2 er grensene (stiplete linjer) beregnet med dataene tom punkt 16 (år 2016). Nøyaktig hvordan grensene beregnes demonstreres i avsnittet «Kokeboksoppskrift».
De siste 5 punkter er alle nær den øvre grenselinje og er også mistenkelige. De tilhører 2020 og er en reell indikasjon på at sikkerheten har forverret seg i 2020.
Diagramm for dårlig HMS indikator, antall skader.
Et atferdsdiagram med indikatoren benyttet av de fleste, antall skader, er vist i figur 3. Ingenting i diagrammet indikerer endringer da alle punkter er mellom øvre- og nedre grenseverdi (stiplete linjer). Og slik vil det være i de fleste virkelige eksempler fordi den vanlige indikatoren er for grov til å fortelle noe brukbart. Bemerk også at med null som nedre grenseverdi (figur 3) vil aldri nedre grenseverdi utløse en indikasjon om forbedring uansett hvor få antall skader.
Indikatoren i figur 3 gir tilfeldige konklusjoner og inviterer til ren gjetning om sammenhenger mellom årsak og virkning. Den alternative indikatoren i figur 2 kan fange opp reelle endringer og kan benyttes til å identifisere årsakssammenhenger. Identifisering av dominerende årsakssammenhenger er et vesentlig element i forbedringsarbeid, men overskygges i mange tilfeller av kravet om rapportering. Verdien av rapporteringen kommer ofte i 2. rekke.
Eksempel med antall dager uten endring
Før vi går til kokebokoppskriften bør metoden tydeliggjøres med et nytt eksempel med antall dager mellom hver skade. Forventningsverdi er fortsatt 2,5 skader/år som tilsvarer 146 dager i gjennomsnitt mellom hver skade (365/2,5)
Hvert datapunkt, Antall dager mellom skader, er i figur 4 omgjort til antall skader per år. Det er for å få en intuitiv kurve som går opp når antall skader øker. Første datapunkt som er 142 dager mellom de første to skader blir til 365 / 142 = 2,57 skader per år og er første datapunkt i diagrammet. De stiplete linjer markerer en statistisk grense som er et filter for statistisk støy. Dataene hopper som forventet rundt i diagrammet på grunn av tilfeldig støy, men holder seg innenfor grensene. Det betyr at den underliggende prosess som skaper dataene ikke viser tegn på endring.
I figur 5 ses derimot en reell endring i punkt 13. Sannsynligheten for skader er i punkt 13 økt med simulering til et gjennomsnitt på 3,0 skader per år fra 2,5. Indikatoren har gitt signal om en reell endring – en endring som ville ha vært usynlig med den vanlige indikatoren, antall skader.
Utviklingen videre i figur 6 viser at neste datapunkt også er over grenseverdien og forsterker troen på at sikkerheten er blitt dårligere. Etter punkt 13 er sikkerheten forverret i alle årene, men ikke alle verdier er over grenseverdien – og det trenger de heller ikke å være for å indikere permanent endring. Flere verdier bryter grensen de siste 10 punkter, og det er tydelig at den gamle gjennomsnittsverdien på 2,5 er blitt for lav. Allerede i punkt 13 har man objektivt bevis på at ting har forverret seg og bør utløse årsaksanalyser med tilhørende tiltak. Å vente på 10 datapunkt til ville være unødvendig og uansvarlig.
Metoden nedenfor kan kopieres til lignende problemstillinger uten spesielle ferdigheter. Alternative metoder som kun baserer seg på klassisk statistikk og sannsynlighetsregning krever spesialkompetanse innenfor statistikk, men anses ikke for å være mer nøyaktige.
Tidsserie
Første trinn er alltid utarbeidelse av en tidsserie. Figur 7 er en tidsserie med data fra Tabell 1: Antall dager mellom hver skade.
Tabell 1: Antall dager mellom hver skade | |||||||||||
142 | 166 | 134 | 139 | 145 | 138 | 147 | 145 | 138 | 124 | 142 | 133 |
Tidsserien benyttes til å danne et overordnet bilde av dataene. Det er nødvendig fordi man må ha en oppfattelse av hva som er opp og ned, mye og lite, og fange opp åpenlyse feil som ellers ville ha blitt pinlige senere.
Transformasjon til rate
Trinn to er å omgjøre antall dager til en hendelsesrate i form av antall skader per år. Hendelsraten fås ved å dele årets 365 dager med antall dager mellom hver hendelse. Første datapunkt som er 142 dager mellom de første to skader blir til 365 / 142 = 2,57 skader per år.
Tabell 2: Omgjøring til årlig rate |
|||||||||||
142 | 166 | 134 | 139 | 145 | 138 | 147 | 145 | 138 | 124 | 142 | 133 |
2,57 | 2,20 | 2,72 | 2,63 | 2,52 | 2,43 | 2,48 | 2,52 | 2,65 | 2,94 | 2,57 | 2,74 |
Moving Range
Trinn 3 er beregning a et såkalt «Moving Range» som er avstanden mellom hvert etterfølgende antall dager. Første Moving Range er 2,570 – 2,199 = 0,372. Neste Moving Range er ikke 2,1988 – 2,7239 = – 0,525 fordi Moving Range må være positiv og må gjøres om til + 0,525. Moving Range kan ikke eksistere for første datapunkt og vil alltid være tom.
Tabell 3 | ||||||||||||
Dager | 142 | 166 | 134 | 139 | 145 | 138 | 147 | 145 | 138 | 124 | 142 | 133 |
Rater | 2,57 | 2,20 | 2,72 | 2,63 | 2,52 | 2,43 | 2,48 | 2,52 | 2,65 | 2,94 | 2,57 | 2,74 |
Moving Range | 0,372 | 0,525 | 0,098 | 0,109 | 0,084 | 0,050 | 0,034 | 0,128 | 0,299 | 0,373 | 0,174 |
Beregning av grenseverdier
I trinn 4 beregnes grenseverdiene. Da kreves først gjennomsnittet av antall hendelser per år (eller annen periode) og gjennomsnittet av Moving Range fra tabell 3:
Gjennomsnitt hendelsesrate (t.o.m. 2016) | 2,58 |
Gjennomsnitt Moving Range | 0,20 |
Øvre grenseverdi = Gjennomsnitt hendelsesrate + 2,66 ∙ Gjennomsnitt Moving Range
Øvre grenseverdi = 2,58 + 2,66 ∙ 0,20 ⇔ Øvre grenseverdi = 3,11
Nedre grenseverdi = Gjennomsnitt hendelsesrate – 2,66 ∙ Gjennomsnitt Moving Range
Nedre grenseverdi = 2,58 − 2,66 · 0,20 = 2,04 ⇔ Nedre grenseverdi = 2,04
Nedre grenseverdi kan i noen tilfeller bli negativ og settes da til null dersom negative verdier ikke gir mening (I dette eksemplet ville ikke en negativ grenseverdi gi mening). 2,66 er en skaleringsfaktor som ikke her vil bli forklart ytterligere og er alltid 2,66.
Plotting av atferdsdiagrammet
Man har nå alt som trengs til å plotte inn verdier, grenser og evt. en middelverdi som nedenstående i Excel:
Diagrammet viser at selv om tallene svinger opp og ned, så er ingen datapunkter over eller under noen grenseverdier. Da kan heller ikke endringer i indikatoren benyttes som argument for at sikkerhetsnivået har endret seg. Først når et datapunkt går over en grenseverdi, er dette et signal om en reell endring.