아웃룩 장애 최종 보고서가 나왔다 — 원인은 네 가지, 고칠 일은 스무 가지

지난주 금요일 저녁, 마이크로소프트가 아웃룩 전 세계 장애의 최종 보고서를 내놨습니다. 11월 20일 자 보고서로 15쪽 분량이며, 관리자 센터에서만 볼 수 있습니다. 앞 글에서 다룬 11월 15일 자 예비 보고서가 원인을 세 가지로 정리했다면, 최종 보고서는 원인을 네 가지로 늘리고 고칠 일 스무 가지를 기한과 함께 적었습니다. 달라진 점과 새로 나온 내용을 중심으로 정리합니다. 장애 개요와 예비 보고서 내용은 앞 글에서 확인하실 수 있습니다.

원인이 셋에서 넷으로 늘었다

최종 보고서가 꼽은 원인은 네 가지입니다. 7월부터 숨어 있던 게이트웨이 결함의 락 경합, 용량 약 14% 오프라인, Teams 트래픽의 자동 전환에 미국 업무 시간대의 피크 부하가 더해졌습니다. 예비 보고서에는 없던 네 번째 조건입니다. 네 가지 모두 따로 보면 평범한 일입니다. 겹치자 결함이 터졌습니다.

용량 부족에 대한 설명도 바뀌었습니다. 예비 보고서는 “무관한 문제” 때문이라고 했지만, 최종 보고서는 정기 소프트웨어 업데이트 과정의 일부였다고 바로잡았습니다. 장애가 전 세계로 퍼진 이유에 대한 설명도 달라졌습니다. 예비 보고서는 “별개의 문제” 탓이라고만 했는데, 최종 보고서는 그 표현을 빼고 트래픽 분배 방식 자체가 “다른 지역으로 장애를 연쇄시킬 수 있다”고 적었습니다. 원인을 외부 요인에서 자기 설계 문제로 옮긴 셈입니다.

메일은 잃지 않았다 — 다만 예외가 있다

최종 보고서에서 가장 다행인 소식은 메일 손실이 없었다는 점입니다. 밀린 메일은 모두 전달됐고, 반송되지 않도록 재전송 기한을 24시간에서 48시간으로 늘렸습니다. 다만 30일 넘게 쓰지 않은 개인용 메일함으로 간 메일 중 일부는 기한이 지나 반송됐습니다. 사이버 공격이 아니라는 점도 다시 확인했습니다. 악의적 활동의 흔적은 없고, 결함을 만든 변경은 AI 도구가 만든 것도 아니라고 했습니다.

아쉬운 점도 있습니다. 최종 보고서에도 피해 사용자 총수는 나오지 않습니다. 장애가 얼마나 많은 사람에게 닿았는지는 Downdetector 신고 740만 건 같은 외부 수치로만 가늠해야 합니다.

복구가 늦어진 이유도 보고서에 적혔다

첫 고객 공지는 본격적인 영향이 시작된 지 약 20분 뒤에 나갔습니다. 최종 보고서는 이 간격을 줄이는 일을 연말까지 할 일로 적었습니다. 원인을 찾는 데 시간이 걸린 이유는 변경이 몇 달 전 것이라 되돌릴 수 없었기 때문입니다. 새로 바꾼 것을 끄는 식의 빠른 대응이 통하지 않았습니다. 서버를 다시 켜도 밀린 트래픽이 한꺼번에 몰려 다시 멈추는 일이 반복됐고, 서버 한 대를 고치는 데도 다섯 단계가 필요해 전 세계 모든 용량 단위에 같은 작업을 반복해야 했습니다. 사티아 나델라 CEO는 11월 17일 이그나이트 기조연설에서 회복력에 할 일이 남았다고 사과했습니다.

고칠 일 스무 가지, 기한은 내년 3월까지

최종 보고서의 고칠 일은 스무 가지입니다. 이미 끝낸 일곱 가지는 결함 되돌리기, 윈도우 이미지 수정, 메일 재전송 기한 연장, 용량 추가, 감시 강화, 임시 안전장치, 점검 중 서버 복귀입니다. 앞으로 할 열세 가지 중 연말까지 할 일은 지역 간 장애 연쇄를 막는 트래픽 분배 수정, Teams 전환은 해당 지역만 하기, 용량 부족 사전 감지, 탐지·통지 단축입니다. 내년 1분기까지 할 일은 작업별 용량 분리, 최신 고코어 하드웨어에서의 부하 테스트, 변경 감사·진단 개선, 전 세계 단위 복구 절차 개선, 여유 용량 추가입니다.

다만 열세 가지 중 네 가지는 기한이 없습니다. 장애 구역 축소, 복구 시 점진적 트래픽 복귀, 재시도·백오프 개선, 피크 조건을 포함한 전환 테스트가 그렇습니다. GeekWire는 기한이 없는 항목이 네 가지나 된다는 점을 짚었습니다.

매체들은 어디를 다르게 봤나

GeekWire는 테스트 격차와 “안전장치가 오히려 독이 됐다”는 점을 전면에 내세웠습니다. The Verge의 톰 워런은 내부 취재로 복구 과정의 혼란을 전했습니다. 장애는 스위스에서 시작해 멕시코로 퍼졌고, 내부 최고 등급인 sev0로 분류돼 수백 명이 투입됐으며, 한때 대응 회의가 1,000명 정원까지 찼다고 합니다. Forrester는 시선을 경영 쪽으로 돌렸습니다. 메일과 회의, 파일, 보안까지 한 업체에 묶이면 한 번에 다 멈춘다며, 핵심 앱의 대안과 메일과 독립된 연락 수단을 갖추라고 했습니다.

피해 규모를 돈으로 환산한 추산도 갈립니다. Morningstar DBRS는 보험 손실 3억~5억 달러로 봤고, Business Chief는 최대 7억 달러까지 언급했습니다. 둘 다 잠정 추산이라 폭이 큽니다. 외부 감시 업체 APIContext는 첫 장애 관측 36분 만에 전 세계로 퍼졌다고 밝혀, 탐지가 얼마나 늦었는지를 바깥에서 보여줬습니다.

정리하면, 기술 매체와 경영 매체는 원인은 같이 보지만 교훈은 다르게 둡니다. 마이크로소프트 보고서는 자기 시스템을 고치는 데 집중하고, 한 업체에 몰린 리스크에 대한 답은 쓰는 쪽이 따로 내야 합니다. 또 최종 보고서는 SLA 크레딧에 대해 아무 말이 없습니다. 보상은 보고서가 아니라 약정과 청구로 해결할 일입니다.

쓰는 사람 입장에서 챙길 것

SLA 크레딧 청구는 12월 31일까지입니다. 앞 글에서 안내한 대로 장애 번호 EX1550543과 MO1550821을 근거로 남겨 두세요. 서비스 상태 기록은 30일만 남으니, 청구 자료로 쓸 기록은 미리 저장해 두는 게 좋습니다. 오래 쓰지 않은 개인 메일함으로 보낸 메일이 반송됐는지도 확인해 보세요.

출처

답글 남기기

이메일 주소는 공개되지 않습니다. 필수 필드는 *로 표시됩니다