혹시 SRE/DevOps 포지션 가지신 분들 RunBook이나 Incident 메뉴얼 어떻게 관리하시나요?

Question

안녕하세요.이번에 프로젝트를 진행하면서, 원래는 개발 포지션인데 자연스럽게 SRE/DevOps 역할까지 겸하게 되었습니다.운영을 직접 맡아서 해보니까, 개발할 때랑은 또 완전히 다른 종류의 고민이 생기더라고요.특히 incident 대응 관련해서 조금 고민이 있는데,보통 RunBook이나 메뉴얼을 만들어두긴 하잖아요.근데 막상 실제 상황에서 써보면이게 생각보다 그렇게까지 도움이 되지는 않는 느낌이었습니다.결국 내용이서비스 재시작특정 순서로 점검같은 식으로 정리되는 경우가 많고,조금만 상황이 달라지거나 복합적인 이슈가 섞이면RunBook만으로 해결이 잘 안 되는 경우도 많더라고요.그래서 실제로는“이거 예전에 누가 해결했지?”하면서 사람을 찾거나, 슬랙/히스토리를 뒤지는 경우가 많았습니다.근데 이 과정 자체가 생각보다 시간이 꽤 들고,무엇보다 특정 incident에 대한 해결 과정이자연스럽게 특정 개인에게 의존하게 되는 구조가 되는 것 같아서조금 고민이 되더라고요.개인적으로는이런 부분은 충분히 더 자동화되거나,좀 더 구조적으로 관리될 수 있을 것 같은데막상 어떻게 접근해야 할지는 감이 잘 안 옵니다.혹시 현업에서는RunBook을 어떻게 관리하고 계신지incident 대응 과정이나 해결 히스토리를 어떻게 쌓고/활용하시는지특정 개인 의존도를 줄이기 위해 어떤 방식들을 쓰고 계신지경험 공유해주시면 정말 감사하겠습니다

zepinos · Accepted Answer

장애대응절차 문서(RunBook)로는 해결 안되는 경우가 많고, 그래서 회사에서 공식적인 시스템을 갖추는 거겠죠.많이들 쓰는게 역시나 Jira/Confluence 이고, 써놨다고 해도 이걸로 무탈히 잘 검색된다는 보장도 없는데다가, 일부 사람들은 글도 아니고 이미지 캡처만 올려놔서 검색이 더더욱 어려울 때도 있습니다.이러한 것을 어떻게 남기느냐를 결정하는게 조직장일테고, 조직장의 성향에 따라 방향이 갈리는거라 답은 없다고 생각합니다.어떠한 장애나 확인할 건(사건, incidence)이 발생하면 일단 Jira 등에 무조건 등록하고, 이후 완료된 건에 대해서 필요에 따라 Confluence 에 남겨두긴 하나, 이건 정리된 내용이라 오히려 해결 도중 담당자가 겪었던 내용, 가지고 있던 지식, 고민했던 내용 등은 다 담기기 어렵습니다. 그렇다보니, 저는 가장 중요한게 사람이라고 생각합니다. 결국 물어물어 해결하는 경우가 많다는게 안타깝죠. 물론 AI 가 개발 뿐만 아니라 인프라 쪽도 언젠가는 많이 넘볼 것이고, 우리가 고치는거 보다 그냥 신규로 생성하는게 장애 대응이 더 빠르고 깔끔할 시대가 올겁니다. OS 와 Disk(AMI, Volume)에 대해 스냅샷을 생성해놓고, 그냥 무지성으로 복구하는 거겠죠.물론 그 전까지는 사람이 직접 개입해야 할테니…인프라 조직을 이끌고 입는 입장에선 한 사람이 아니라 기본적으로 2명 이상,최대한 모든 인원이 내용을 공유받고 경험할 수 있도록 일을 순환시켜가며 주고 있습니다. 물론 제 지식도 최대한 전파를 하고, 밥 먹는 자리에서도…좋지 않다는건 알지만 제 경험들…업무적인 내용까지 주절주절 다 얘기해줍니다. 전 인간이라 이렇게 밖에 안되더라구요.

혹시 SRE/DevOps 포지션 가지신 분들 RunBook이나 Incident 메뉴얼 어떻게 관리하시나요?

1개의 답변

#devops 목록