Pridok/Intility opplevde problem med epj3.pridok.no, 30.09.2024, fra kl. 16:26 til kl. 16:55.
Berørte og omfang av hendelsen
Hendelsen berørte tilgjengelighet for epj3.pridok.no for alle kunder av Pridok som benytter dette endepunktet.
Hendelsen forårsaket at kunder av Pridok ikke var i stand til å aksessere pasientjournalsystemet som er Pridok sin tjeneste ut mot sine kunder.
Feil oppstått: Mandag 30.09.2024 kl. 16:26
Feil rettet: Mandag 30.09.2024 kl. 16:55
Total tid for hendelsen: 29 minutter
Intility beklager det inntrufne, og beskriver hendelsesforløp, årsak og tiltak nedenfor.
Årsak
Hendelsen skyldtes en konfigurasjonsfeil under implementering av ny funksjonalitet for mekanismen som ruter all ekstern trafikk inn til Pridok sitt miljø som deres kunder benytter.
Hendelsen ble løst ved å avbryte oppdatering og rulle tilbake til gammel, fungerende versjon.
Tiltak
For å redusere risikoen for lignende hendelser i fremtiden vil Intility sammen med Pridok utføre utvidede tester for slike oppdateringer/utbedringer i et nytt, separat testmiljø.
Hendelsesforløp
Mandag 30. September
16:21: DevOps tekniker hos Intility starter oppdatering av miljøet med nye endringer.
16:33: DevOps tekniker hos Intility tar kontakt med system arkitekt for miljøet da oppdateringen tar unormalt lang tid. Ønsker å forhøre seg om tidligere oppdateringer.
16:35: DevOps tekniker oppretter et warroom da han oppdager at epj3.pridok.no ikke svarer lenger.
16:37: Kunde tar kontakt med intility og melder om at ep3.pridok.no er nede.
16:42: Intility identifiserer feilen i konfigurasjonen.
16:49: Intility beslutter å kansellere oppdateringen som er pågående og starter en ny utrulling av tidligere versjon.
16:50: Intility informerer Pridok om årsak til feil i felles chat over Teams.
16:53: Intility informerer videre at DevOps tekniker setter miljøet tilbake til tidligere versjon.
16:55: Overvåkingssystemet til intility gir beskjed at epj3.pridok.no svarer og bekreftes ved enkel test fra DevOps teknikker.
16:55: Intility informerer om at epj3.pridok.no er oppe igjen.
16:56: Pridok bekrefter normal funksjonalitet.