미리보기

• AWS 기반 퍼블릭 클라우드 환경에서 쿠버네티스 클러스터 구축 및 운영

• Terraform, Pulumi 등 IaC 도구를 활용한 인프라 구성 관리

• Jenkins 기반 CI/CD 파이프라인 구성 및 배포 자동화 운영 경험

• Prometheus, Grafana 및 Datadog 등을 활용한 서비스 모니터링 시스템 구축 및 운영

• 다양한 프로젝트 경험을 통한 트러블슈팅 및 장애 대응 역량 보유

• 인프라 비용 검토, 권한 관리, 시스템 운영 전반 담당

01. 비용 효율적인 인프라 구축 및 운영

[#01. AWS 및 데이터독 비용 절감 활동]

1. 실제 리소스 사용량에 기반한 인프라 설계 및 재구성

   1. 24년도 4분기 대비 25년도 1분기 AWS 비용 약 53% 절감

2. 미사용 및 비효율 AWS 리소스 정리

   1. 불필요한 AWS EBS 볼륨 제거로 약 $110 달러/월 절감

   2. AWS EBS 볼륨 타입 변경으로 기존 대비 약 20% 비용 최적화

3. Datadog 로그 수집 최적화 및 불필요 수집 제거 → 로그 비용 약 50% 절감

[#02. 비용 모니터링 자동화 리포트]

1. 예기치 못한 AWS 및 데이터독 비용 증가를 방지하기 위해 데일리 비용 리포트 구현

   1. Slack 연동으로 업무 시작 시 콘솔 등에서 직접 찾아보지 않아도 바로 확인 할 수 있도록 함

   2. 전일 대비 변동 사항이 있는 경우, 멘션을 통해 바로 인지 할 수 있도록 함

[주요 담당 업무]

1. 비용 리포트 구현 및 주기적 검토, 매월 AWS 및 데이터독 비용 개선 포인트 도출

2. 개선안 검증을 위한 성능 테스트 수행

02. 빠른 장애 대응을 위한 온콜 시스템 개선

[진행 배경]

1. 기존 온콜 메시지에는 ‘어떠한 에러가 발생 하였는지’ 에 대한 타입 정보만 제공함

   1. 자세한 원인 분석을 위한 정보 탐색 시, 로그 및 APM Trace 쿼리 등으로 시간이 소요 됨

2. CronJob, Deploy 등 다양한 리소스 사용으로 장애 발생 가능 지점도 다변화 되었음

   1. 특히 업무 외 시간에 발생하는 경우, 즉시 인지 및 대응이 어려움

[#01. 온콜 메시지 내 정보 추가]

1. 에러가 발생한 서버 및 메소드, 에러 로그 메시지와 같은 상세 정보 추가

2. 모니터링 시스템 링크를 추가하여 에러 발생 지점의 로그 및 API Trace 조회 페이지로의 빠른 접근 도움

   1. API, Grpc, Kafka 등 다양한 요청 컨텍스트에서의 Trace ID 추출 방식 직접 POC 구현 및 가이드 제공

   → 장애 발생부터 원인 분석을 위한 정보 탐색까지의 소요 시간 단축

[#02. 다양한 장애 발생 가능 지점에 온콜 시스템 적용]

1. Kubernetes Operator 패턴 기반 모니터링 컨트롤러 구현, CronJob 실행 실패 시의 즉시 인지 도움

2. 웹훅 서버 구현, Datadog Monitor와 연동하여 Deploy 및 Node 다운 등 장애 발생 시의 즉시 인지 도움

[주요 담당 업무]

1. 즉각적으로 인지 및 대응이 필요한 장애 발생 가능 지점 탐색

2. 개선안 설계 및 적용 (컨트롤러 구현 및 수정, 온콜 메시지 추가 정보 구조 논의)

01. 안정적인 서비스 운영을 위한 보조 도구 개발

[#01. 서비스 데일리 리포트]

1. 서비스 모니터링 지표 파악 도움을 위한 Python 기반 리포터 구현

   1. Kubernetes CronJob 을 활용하여 매일 Slack으로 리포트 전송

   2. Datadog 메트릭 및 로그 데이터를 가공하여 API 요청 수, 지연 시간, 에러 로그 등 핵심 지표 제공

2. 운영 이슈 및 최적화 필요 구간 조기 감지 및 대응 유도

   1. 전일 에러 로그를 통해 AWS SES 이메일 전송 이슈 인지

   2. API 지연시간을 통해 쿼리 최적화 필요 구간 리마인드

[주요 담당 업무]

1. 리포트 항목 구체화, 설계 및 Datadog 쿼리 작성

2. Python 기반 리포트 구현 및 Slack 메시지 템플릿 구성

3. 기능 개선 및 유지보수

02. 지속적 배포를 위한 Jenkins 파이프라인 개선

[#01. API 라우팅 규칙 등록 자동화]

1. Kubernetes Ingress 리소스 등록 자동화를 위한 Go 기반 CLI 도구 개발

   1. 서비스 이름, 포트, Ingress Class 등 CLI 옵션으로 설정 가능

   2. Swagger API 문서(Json) 파싱, Ingress Manifest YAML 파일 생성

2. Jenkins 파이프라인에 적용하여 배포 시 Ingress 리소스 자동 등록

   1. 리소스 등록에 대한 인프라 담당자 의존도 제거

   2. 실수 및 소통 미스 등으로 인한 등록 누락 이슈 방지 등 배포 자동화 완성도 향상

[#02. 빌드/배포 파이프라인 분리 및 최적화]

1. 웹훅 트리거를 통해 릴리즈 브랜치 통합 시 자동 빌드, 컨테이너 이미지 생성

2. 배포 파이프라인 수동 실행, Jenkins 파라미터로 타겟 환경 및 릴리즈 버전 선택 가능
   → 필요에 따라 특정 환경에 특정 버전 배포 가능
   → 이미지 재빌드 없이 운영 환경 배포, 배포 시간 단축 (약 5분 → 1분)

[주요 담당 업무]

1. Kubernets Ingress 등록 자동화 CLI 도구 개발 및 테스트

2. 브랜치 전략 재정립 및 Jenkins 파이프라인 구성

01. 서비스 운영을 위한 인프라 환경 최적화

[#01. 개발 환경 편의 도구 개발 및 배포]

1. 개발 환경 접근 정보(웹, 서버 및 데이터베이스 호스트 및 포트 번호) 를 확인 할 수 있는 API 및 UI 구현

2. 디자인 팀 및 프론트 팀 간 원활한 소통을 위한 스토리북 기반 컴포넌트 문서 배포

3. Jenkins 및 Helm을 활용한 원클릭 환경 생성 시스템 구축
   → 타겟 브랜치 정보만 입력하여 기존 개발 환경과 독립된 테스트 환경 생성 가능 (약 15분 이내)

[#02. 성능 최적화 및 비용 절감]

1. Next.js Standalone 옵션 도입으로 Docker 이미지 크기 약 1.2GB → 395MB 로 축소
   → 이미지 업로드/다운로드 속도 향상 및 레포지토리 저장 비용 절감

2. Nginx 정적 파일 캐시 설정 및 CDN 연동

   1. 웹 이미지 로딩 속도 약 4초 → 1초로 개선

잇츠 스터디 크루 1기 - Terraform Beginners 팀

• 목표: "테라폼으로 시작하는 IaC" 책 완독

• 스터디 진행 방식

  • 테라폼을 사용한 실제 예제를 통해 개념을 익히고, 책에서 제공하는 예제 실습

  • 각 주차 별로 할당된 챕터 내용 학습. 해당 주차 발표자는 맡은 부분 요약 및 발표

[개인적으로 실습한 내용 공유]

• Wireguard VPN 서버 프로비저닝

  • 챕터 3과 관련하여 Terraform null_resource 를 활용한 프로비저닝 방법 소개

• AWS 데일리 비용 리포트

  • 챕터 6과 관련하여 Terraform 모듈을 사용한 AWS Lambda 프로비저닝 방법 소개