보안 업데이트 누락으로 싱가포르 공공 의료 시스템 장애…외래 예약 4,000건 변경

세 의료 클러스터 전반에서 발생한 예방 가능한 장애

계약업체가 필수 보안 업데이트를 완료하지 않아 10월 13일 싱가포르 공공 의료 시스템에 장애가 발생했다. 이로 인해 외래 진료 예약 약 4,000건이 변경됐고, 일부 환자는 최대 2시간을 기다렸다. 장애는 약 9시간 30분 동안 이어졌으며 NHG 헬스, 국립대학보건시스템, 싱헬스에 영향을 미쳤다.

탄 키앗 하우 보건부 선임정무장관은 이번 업데이트가 공용 도메인 네임 시스템(DNS) 서비스와 관련된 것이었다고 밝혔다. 국가 보건기술 기관인 시냅스는 작업을 수행할 서비스 제공업체와 계약했지만, 예정된 글로벌 변경 작업 전에 업데이트가 완료되지 않았다. 탄 장관은 이번 누락은 예방할 수 있었던 일이라며, 발생해서는 안 될 장애에 대해 사과했다.

조사 결과 백업 인프라로 문제를 해결할 수 없었던 이유도 밝혀졌다. 싱가포르 공공 의료 시스템에는 데이터센터가 두 곳 있었지만, 두 곳 모두 동일한 DNS 서비스와 보안 설정에 의존했다. 한 데이터센터에서 다른 데이터센터로 운영을 옮겨도 근본적인 장애 원인은 그대로 남게 되는 구조였다.

이번 장애로 인한 환자 안전 사고는 보고되지 않았다. 조사관들은 사이버 공격, 무단 접근, 시스템 침해 또는 환자 데이터 손실이 없었다고 확인했다. 직접적인 영향은 서비스 중단, 대기 시간 증가, 예약 변경이었다.

환자와 직원이 겪은 일

예약, 방문객 등록, 약품 조제, 청구 등의 서비스가 영향을 받았다. 세 클러스터의 연결 문제가 서로 달랐기 때문에 기관마다 장애 양상은 동일하지 않았다.

환자들이 겪은 불편은 컴퓨터 화면이 뜨지 않는 데 그치지 않았다. 일부는 진료를 받기까지 더 오래 기다렸고, 다른 환자들은 외래 예약 시간이 변경됐다. 예약 약 4,000건이 변경됐지만, 이 수치는 장애 기간에 불편을 겪은 전체 인원이 아니라 예약 건수를 집계한 것이다.

의료기관들은 정상적인 컴퓨터 시스템을 사용할 수 없을 때 적용하는 비상 운영 절차를 가동했다. 추가 인력을 투입하고, 수동 업무 절차와 별도의 읽기 전용 형식으로 제공되는 일부 환자 기록을 활용해 필수 진료를 이어갔다.

읽기 전용 기록은 해당 시스템에서 정보를 변경하지 않고 열람할 수 있게 한다. 정상 서비스가 중단된 동안 의료진은 이를 통해 일부 환자 정보에 접근했다. 평소 전자적으로 처리하던 업무를 대신하는 과정에서 늘어난 업무량도 직원들이 감당해야 했다.

장애 발생과 복구 과정

시냅스가 밝힌 사고 경과에 따르면 장애는 10월 13일 오전 7시 10분께 시작됐다. 오후 3시께부터 서비스가 순차적으로 복구되기 시작했고, 오후 4시 37분에는 영향을 받은 모든 서비스의 복구가 완료됐다. 보고된 장애 시작 시점부터 완전 복구까지는 9시간 27분으로, 장애가 9시간 30분가량 지속됐다는 설명과 일치한다.

• 10월 13일 오전 7시 10분께: 네트워크 연결에 영향을 미치는 기술적 문제가 발생해 세 공공 의료 클러스터의 서비스가 중단되기 시작했다.
• 10월 13일 오후 3시께: 영향을 받은 서비스가 순차적으로 복구되기 시작했다.
• 10월 13일 오후 4시 37분: 시냅스에 따르면 영향을 받은 모든 서비스가 복구됐다.
• 10월 13일 오후 5시 40분께: 시냅스가 서비스 복구를 확인하는 추가 입장을 발표했다.
• 11월 3일: 의원들이 장애와 환자 영향, 백업 체계의 신뢰성에 대해 정부에 질의할 예정이었다.

시냅스는 처음에 네트워크 연결에 영향을 미치는 기술적 문제라고 설명하고, 조사가 진행 중인 가운데 사이버 사고 정황은 없다고 밝혔다. 이후 조사 결과는 보안 업데이트 누락이 원인이었다고 확인했으며, 환자 데이터가 침해되거나 손실되지 않았다고 밝혔다.

공용 DNS 서비스가 중요했던 이유

DNS 서비스는 컴퓨터 시스템이 애플리케이션을 찾아 연결하도록 돕는다. 일종의 주소록처럼 작동한다. 시스템이 서비스의 위치를 요청하면 DNS가 해당 서비스에 접속하는 데 필요한 정보를 제공한다. 이 공용 주소록이 제대로 작동하지 않으면, 서로 별개인 여러 애플리케이션에 접근하기 어렵거나 불가능해질 수 있다.

필수 보안 업데이트는 공용 DNS에 적용되는 것이었다. 계약업체가 예정된 글로벌 변경 작업 전에 업데이트를 완료하지 못하면서 공공 의료 전반에서 사용하는 기술적 의존 요소가 장애 지점이 됐다.

탄 장관은 해당 변경 사항이 사전에 알려져 있었다고 말했다. 따라서 핵심적인 운영상 실패는 예정된 변경에 필요한 사전 준비를 완료하지 못한 것이었다. 지시 사항을 추적하는 것만으로는 충분하지 않으며, 작업이 실제로 완료됐는지 확인하는 절차도 필요하다.

정부의 시정 조치에는 중요한 기술 변경에 대한 추적과 검증 강화가 포함된다. 실제로는 시스템 책임 기관이 필요한 업데이트가 적용됐는지 확인할 수 있는 신뢰성 있는 절차를 마련하고, 해당 업데이트를 준비하게 한 변경 작업이 시행되기 전에 이를 확인해야 한다.

데이터센터 두 곳으로도 충분하지 않았던 이유

공공 의료 시스템에는 데이터센터 두 곳을 포함한 백업 인프라가 마련돼 있었다. 이런 체계는 특정 시설이나 그 인프라 일부를 사용할 수 없을 때 서비스를 옮길 수 있게 해준다. 하지만 이번 사고에서는 두 데이터센터 모두 동일한 DNS 서비스와 보안 설정에 의존했다.

따라서 다른 시설로 전환해도 시스템은 해결되지 않은 동일한 문제에 다시 직면하게 됐다. 두 번째 시설은 서비스를 운영할 다른 장소를 제공했지만, 공용 의존 요소 때문에 이번 장애에 효과적인 복구 경로가 되지 못했다.

정부는 대응 조치의 일환으로 공용 의존 요소를 점검하고 복구 체계를 개선하고 있다. 핵심은 주 시스템과 백업 시스템이 모두 사용하는 서비스에 장애가 생겼을 때 백업이 작동할 수 있는지 여부다.

지명직 의원 하레시 싱가라주는 시스템에 독립된 백업이 있는지, 서비스가 얼마나 빨리 복구돼야 하는지, 목표를 달성했는지에 대한 답변을 요청했다. 조앤 페레이라 의원도 백업 인프라가 왜 장애를 막지 못했는지 묻고, 영향을 받은 환자 수를 요청했다.

시냅스의 책임은 여전

시냅스는 서비스 제공업체의 계약상 의무를 검토하고 있으며, 계약 위반이 확인되면 적절한 조치를 취할 예정이다. 탄 장관은 외주 계약 여부와 관계없이 핵심 시스템의 복원력을 확보할 책임은 시냅스에 있다고 말했다.

업데이트를 수행할 계약업체의 책임과 의료 시스템의 신뢰성을 유지할 시냅스의 책임은 모두 이번 대응의 일부다. 기술 업무를 다른 기관에 맡기더라도 병원, 진료소, 환자가 의존하는 시스템을 감독할 책임은 해당 기관에 남는다.

서비스 제공업체의 신원, 계약상 벌칙, 시정 조치 완료 일정은 공개되지 않았다. 캐산드라 리 의원은 조사 진행 상황과 또 다른 장애의 발생 가능성을 낮출 방안을 요청했다.

시냅스는 유사한 엔지니어링 분야의 조직들에서 전문가 패널을 구성했다. 패널은 조사 결과와 제안된 개선책을 검토하고 추가 개선 사항을 찾을 예정이다. 보건부는 시정 조치를 감독하고 효과를 검증한다.

신속한 원인 진단도 복구 계획의 일부

사고 당시 모니터링 시스템은 비정상 활동을 감지했지만, 근본 원인을 찾아 안전하게 서비스를 복구하는 데는 시간이 걸렸다. 문제가 있다는 사실을 감지하는 것과 정확히 무엇을 수리해야 하는지 파악하는 것은 대응의 서로 다른 단계다.

시냅스는 복구 시간을 단축하기 위해 모니터링과 장애 진단을 강화하고 있다. 여러 의료 클러스터가 이용하는 시스템에서는 각 애플리케이션을 따로 살펴보는 데 그치지 않고 공용 서비스까지 거슬러 올라가 문제를 추적해야 한다.

서비스 복구 후 발표한 입장에서 시냅스는 환자와 방문객이 겪은 상황과 의료기관과 함께 진행한 작업을 다음과 같이 설명했다.

장애 기간 일부 공공 의료기관의 환자와 방문객은 특정 서비스를 이용할 때 대기 시간이 길어지는 불편을 겪었습니다.

“저희 팀은 영향을 받은 서비스를 가능한 한 신속히 복구하기 위해 공공 의료 클러스터와 긴밀히 협력했습니다.

복구 시간은 서비스가 단계적으로 정상화됐음을 보여준다. 일부 서비스는 오후 3시께 복구되기 시작했지만, 영향을 받은 모든 서비스가 복구되기까지는 1시간 30분 이상 더 걸렸다. 따라서 직원들은 정상 운영이 서비스별로 고르게 돌아오지 않는 상황에 대응해야 했다.

시스템 장애에도 진료를 이어가기

의료기관들은 추가 인력, 일부 읽기 전용 기록, 수동 절차를 활용해 필수 진료를 이어갔다. 환자들이 지연을 겪고 예약 수천 건이 변경됐지만, 탄 장관은 이번 장애로 인한 환자 안전 사고는 없었다고 밝혔다.

정부는 부분 장애 대응 연습을 포함해 비상 운영 체계와 직원 대비 태세, 정기 훈련을 강화할 계획이다. 부분 장애가 발생하면 일부 애플리케이션은 사용할 수 있지만 다른 애플리케이션은 접근할 수 없게 될 수 있다. 이때 직원들은 어떤 업무를 정상적으로 계속하고 어떤 업무에 대체 절차를 적용할지 판단해야 한다.

이번 대응에는 서로 연결된 세 가지 목표가 있다. 기술 변경 관리를 개선해 재발을 막고, 공용 의존 요소를 개선해 장애의 영향을 줄이며, 운영 준비를 강화해 진료를 이어가는 것이다.

환자에게는 기술적 문제가 생겨도 예약 취소나 지연이 줄어드는 것이 성공의 기준이다. 의료진에게는 필수 정보에 안정적으로 접근하고 장애 중에도 실행 가능한 절차를 갖추는 것이 중요하다. 탄 장관은 의료 기술의 신뢰성을 높이는 한편, 시스템 장애 시에도 직원들이 환자를 안전하게 돌볼 수 있도록 해야 한다고 말했다.

핵심 내용

• 보안 업데이트 누락으로 10월 13일 싱가포르의 공공 의료 클러스터 세 곳에서 장애가 발생했다.
• 외래 예약 약 4,000건이 변경됐고, 일부 환자는 최대 2시간을 기다렸다.
• 서비스는 오전 7시 10분께부터 중단됐으며, 오후 4시 37분에 완전히 복구됐다.
• 두 데이터센터 모두 동일한 DNS 서비스와 보안 설정에 의존해 백업 인프라로 효과적으로 전환할 수 없었다.
• 이번 장애로 인한 환자 안전 사고는 보고되지 않았으며, 조사관들은 사이버 공격이나 환자 데이터 손실이 없었다고 확인했다.
• 시냅스는 계약업체의 의무를 검토하고 있으며, 보건부는 시정 조치를 감독하고 효과를 검증할 예정이다.