Haveriet inträffade när regionens 26 000 datorer skulle få en ny version av chatt- och videokonferensprogrammet Lync. På kvällen den 25:e februari hade processen satts igång – den skulle slutföras när användarna loggade in på sina datorer nästa morgon.
En felaktig inställning ledde till att hela regionens nätverk blev som sirap.
Klockan 7.50 på torsdagsmorgonen hörde man av sig från vårdcentralen i Svalöv till Servicedesken. Efter det strömmade felanmälningarna in och krismötena avlöste varandra under dagen. Det framgår av rapporterna om IT-haveriet som SVT Nyheter Skåne har tagit del av.
Ingen attack
Klockan kvart över nio konstaterade nätverksteknikerna att den stora nätverkstrafiken kom inifrån Region Skånes eget nät. Man kunde därför utesluta en så kallad överbelastningsattack från internet, som Skånetrafiken en gång råkat ut för. En halvtimme senare fick man klart för sig att telefonerna inte fungerade ute på vårdcentralerna.
Teknikerna trodde det handlade om ett vanligt fel, så det dröjde tills man hittade den riktiga orsaken: uppdateringen av Lync.
För att genomföra uppdateringen av Lync på varje enskild dator skulle den nya versionen laddas hem från olika centrala servrar. När alla försökte göra det samtidigt blev det förödande effekter: ”I takt med fler nedladdningar når IT nätverket till slut en kritisk punkt då nätet överbelastas som i sin tur leder till störningar som påverkar i princip alla övriga system i IT nätverket”, står det i rapporten.
Problemen pågick mellan fem och sju timmar och påverkade all utrustning som är kopplad till nätverket. Resultatet blev långsamma och otillgängliga it-system.
En patient avled
I efterhand tror regionala chefläkaren Jens Enoksson att en patient kan ha fått felaktig medicinering till följd av haveriet. Mer allvarligt är att en annan patients provsvar som skrivits in i systemet inte gick att utläsa förrän dagen efter. Det senare kan ha fått ödesdigra konsekvenser.
– Patienten avled senare. Det är svårt att veta om det här provsvaret – om det hade uppmärksammats – hade hjälpt till att behandla patienten, säger Jens Enoksson till SVT Nyheter Skåne.
Efter haveriet den 26:e februari har Region Skåne utrett var felet låg. När chatt- och videokonferensprogrammet Lync uppdaterades så hade inställningarna gjorts så att uppdateringen ska använda maximal nätverkskapacitet, i stället för att en avvägning görs av hur stor kapacitet som kan användas till det, och hur mycket som ska användas till annat.
Efter att tekniker åtgärdat felet kunde kvarvarande installationer genomföras med normal nätverkskapacitet. Men trots att man upptäckte felet och försökte dra ner på belastningen så var inte den åtgärden tillräcklig.
Krismöte
Vid ett krismöte bestämde man sig för att helt stoppa uppdateringen. Då hade personalen i vården flaggat för inställda operationer och risk för patientsäkerheten.
– Man är väldigt beroende av IT-systemen. Under korta perioder klarar man sig utan, men det beror också på hur stora delar av systemet som ligger nere. Det är ju inte bara patientjournaler som ska läsas, utan också annan teknik som förlitar sig på att det finns nät, säger regionala chefläkaren Jens Enoksson.
Enligt rapporten har flera problem identifierats. Förutom det rent tekniska konstaterar man att de reservrutiner som faktiskt finns inte användes i full utsträckning vid det här tillfället. En annan lite pikant detalj är att man lägger ut informationen på intranätet om att nätet inte fungerar. Sedan kom information om att problemen var lösta, när det i själva verket återstod flera timmar.
Triss i haverier
Nu ska Region Skåne anmäla de två incidenterna enligt Lex Maria. Inspektionen för Vård och Omsorg (IVO) ska utreda haveriet.
– Vi kommer naturligtvis följa upp de här två ärendena när Inspektionen för Vård och Omsorg har behandlat de färdigt och gett sitt utlåtande, säger Jens Enoksson.
Efter haveriet i februari drabbades vården av ett ännu kraftigare nätverkshaveri i mars. Då slogs nätverket ut av cirka 1000 skrivare som kom i konflikt med regionens säkerhetslösning. Den händelsen utreds fortfarande av Region Skåne.
Under tisdagen drabbades några skånska vårdcentraler av en seghet i systemet. Enligt de första rapporterna tros även det vara utlöst av en programvaruppdatering.