미리보기

Elasticsearch 구축 및 운영

Experience

• Kubernetes 환경에서 Elasticsearch 클러스터 구축 및 운영

• Elasticsearch 장애 대응 및 최적화 (메모리 누수 문제 해결)

• Prometheus 기반의 Elasticsearch 모니터링 시스템 구축

• 데이터 정합성을 확보하기 위해 Python 기반의 데이터 수집 프로그램 제안 및 개발 참여

  • 기존 Logstash의 성능 및 순서 보장 문제 개선

• 운영 편의를 위한 SearchScript와 사용자 사전 관리 프로그램 개발 제안 및 참여

  • GitHub Actions 및 ShellScript 기반으로 형상 관리 시스템 POC

• Logstash 대안 기술로 Apache Airflow 조사 및 기술 검토 수행

Description

• Kafka를 통한 주식가격 데이터 스트리밍 파이프라인 프로젝트

Tech Stack

Python Spark Streaming Kafka Kubernetes

Github

• https://github.com/ankiyong/streaming_pipeline

Experience

• Python 기반 Kafka Producer로 약 70만 건의 주식 데이터 실시간 전송

• Spark Streaming을 활용해 안정적인 실시간 데이터 처리 파이프라인 구축

• Kubernetes 환경에서 스트리밍 작업을 운영하며 서비스 안정성 확보

Description

• E-Commerce 데이터 수집 파이프라인 구축 및 분석 프로젝트

Tech Stack

Python Spark Airflow Kubernetes GCP

Github

• https://github.com/ankiyong/airflow_pipeline

Experience

• FastAPI + PostgreSQL로 API 서버 및 데이터 수집 시스템 구축

• Kubernetes + GCP 기반의 인프라 환경 설계 및 배포

• Airflow 를 통해 분당 1만 건씩 GCP Pub/Sub에 데이터 전송

• SparkSQL로 데이터 정제 후 BigQuery,CloudStorage에 적재

• Spark 성능 튜닝

  • 512MB 메모리, 1코어 기준 약 1분 소요 -> 2코어, 2GB로 확장하여 1분 미만으로 단축, 약 40% 성능 개선)

• Looker Studio로 분석 대시보드 제공

• Prometheus 기반 클러스터 모니터링으로 시스템 안정성 확보

Description

• 중고차 가격 예측 서비스를 제공하는 웹 페이지 개발 프로젝트

TechStack

Python Spark MinIO Redis Kubernetes

Github

• https://github.com/ankiyong/day_car

Experience

• 데이터 수집,처리,적재 등 데이터 파이프라인 설계 및 구축

• Kubernetes cron job을 통해 파이프라인 자동화

• Redis를 통한 부하 분산