미리보기

DR 센터 구축 프로젝트 인프라 전개

장애 발생 시 서비스 연속성을 확보하기 위한 DR(Disaster Recovery) 센터 구축 및 글로벌 서비스 대응을 위한 인프라 확장 프로젝트 수행
주요 역할: 인프라 설계 및 구축, 클라우드 환경 연동, 장애 대응 자동화, CICD 및 마이그레이션 수행

• DR 센터 구축

  • 장애 발생 시 자동으로 타 IDC로 Failover되는 이중화 환경 구성

  • AWS Route53의 상태 검사기(Health Check)를 활용하여 장애 발생 시 DNS의 IP를 DR 센터로 자동 전환

• 인프라 및 네트워크 설계

  • On-Premise 및 AWS 기반의 지역별 인프라 구축

  • 글로벌 전개 프로젝트 진행, 해외 로컬과 통신 가능한 환경 설계

  • Nginx Gateway를 활용해 내수와의 통신 구성

• Kubernetes 기반 시스템 구성

  • Helm 패키지를 활용한 K8s 애플리케이션 배포

• CI/CD 파이프라인 구축

  • Jenkins 스크립트 작성 및 자동화 파이프라인 구성

  • ArgoCD를 통한 배포 자동화 구축

트러블 슈팅

• SSL 예외로 인한 트래픽 끊김 현상

  • 서버 및 로드밸런서 덤프 분석을 통해 Timeout 현상 파악

  • LB->서버로의 헬스체크 간격 조정을 통해 실제 응답 실패를 감지

  • 몇달 동안 원인 파악이 안됐던 것의 원인 파악을 통해 근본적인 해결책을 찾음

• 도메인 조회 장애

  • 약 1시간 동안 도메인 조회 불가로 인한 서비스 장애 발생

  • CoreDNS 로그 확인을 통해 참조 DNS 서버의 장애 원인 파악

  • 이후 Pod를 통한 도메인 정상 조회 여부 확인 및 복구 완료

프라이빗 클라우드(OpenStack) 기반 인프라 운영

- 프라이빗 클라우드 운영 / OpenStack 기반 인프라 관리 및 게스트 OS 지원 / Kubernetes 클러스터 운영

• OpenStack 기반 인프라 운영

  • VM 생성 및 삭제, 로드밸런서(물리 장비, openstack LBaaS, HAproxy) 생성/삭제 등 OpenStack 리소스 운영

  • 오브젝트 스토리지를 활용한 NAS 구성 및 관리

• 게스트 OS 수준의 운영 지원

  • 통신 장애 시 스위치 및 로드밸런서의 라우팅 경로 확인을 통한 원인 분석

  • 디스크 마운트, SSH 설정, sudoers 파일 구성 등 OS 레벨 작업 수행

  • 장애 발생 시 트러블슈팅 지원 및 초기화 작업

• 자동화 및 대규모 작업 처리

  • Ansible을 활용하여 다수의 VM에 동시 작업 자동화

  • 반복적인 운영 작업을 스크립트화하여 효율성 향상

• Kubernetes 클러스터 운영

  • OOM(Out of Memory)이 자주 발생하는 워커 노드 분석 및 리소스 최적화 가이드 제공

  • 클러스터 상태 점검 및 리소스(CPU, Memory) 설정 튜닝 지원

  • 워커 노드 관리 및 노드 확장 시 운영 지원