장애 구간 판별과 재발 방지 보고

문제

DNS 응답이 실패하거나 지연돼 사용자 접속이 끊겼는데, 원인이 내부 배포 시스템에 있어 현장에서 직접 조치할 수 없는 상태였습니다.

접근

고객사 영향도를 먼저 파악하고, 구간별 로그를 대조해 원인이 없는 구간을 하나씩 소거했습니다. 복구 뒤에는 원인과 조치 타임테이블, 재발 방지 대책을 정리해 보고서로 제출했습니다.

설계 판단

타임아웃이 완화된 뒤에도 완전 복구가 늦어질 것으로 보였습니다. 복구를 기다리는 대신, 고객사가 멀티 CDN 구성이라 우리 쪽 트래픽을 빼도 서비스가 유지된다는 점을 근거로 트래픽 제외를 요청했습니다. 직접 고칠 수 없는 구간은 두고, 사용자 영향이 닿는 구간부터 막았습니다.

결과

전면 장애의 영향을 고객사 측 조정으로 완충했고, 복구 뒤 원인과 대책을 담은 보고서를 제출했습니다. 고객사는 자체 검증을 거쳐 트래픽을 되돌렸습니다.