미리보기
기본 정보

데이터 엔지니어를 지망하며 견고한 데이터 파이프라인 구축을 위한 지식과 경험을 쌓는 데 집중하고 있습니다. 특히 Python과 Airflow, Spark에 관심이 많으며, 끈질긴 문제 해결 능력과 원활한 소통 능력을 강점으로 지속적으로 성장하고자 합니다.
기술 스택
Python, Apache Spark, Airflow, Kubernetes, Docker, MySQL, PostgreSQL, Kafka, Elasticsearch, Kibana, Logstash
경력
오프너드 주식회사
매니저 | 기술지원팀
2022.03. ~ 2024.09. (2년 7개월)
Elasticsearch 구축 및 운영
Experience
Kubernetes 환경에서 Elasticsearch 클러스터 구축 및 운영
Elasticsearch 장애 대응 및 최적화 (메모리 누수 문제 해결)
Prometheus 기반의 Elasticsearch 모니터링 시스템 구축
데이터 정합성을 확보하기 위해 Python 기반의 데이터 수집 프로그램 제안 및 개발 참여
기존 Logstash의 성능 및 순서 보장 문제 개선
운영 편의를 위한 SearchScript와 사용자 사전 관리 프로그램 개발 제안 및 참여
GitHub Actions 및 ShellScript 기반으로 형상 관리 시스템 POC
Logstash 대안 기술로 Apache Airflow 조사 및 기술 검토 수행
프로젝트
Stock Price Streaming
개인
2025.04. ~ 진행 중
Description
Kafka를 통한 주식가격 데이터 스트리밍 파이프라인 프로젝트
Tech Stack
Python
Spark Streaming
Kafka
Kubernetes
Github
Experience
Python 기반 Kafka Producer로 약 70만 건의 주식 데이터 실시간 전송
Spark Streaming을 활용해 안정적인 실시간 데이터 처리 파이프라인 구축
Kubernetes 환경에서 스트리밍 작업을 운영하며 서비스 안정성 확보
E-Commerce Data Engineering
개인
2025.02. ~ 2025.03.
Description
E-Commerce 데이터 수집 파이프라인 구축 및 분석 프로젝트
Tech Stack
Python
Spark
Airflow
Kubernetes
GCP
Github
Experience
FastAPI + PostgreSQL로 API 서버 및 데이터 수집 시스템 구축
Kubernetes + GCP 기반의 인프라 환경 설계 및 배포
Airflow 를 통해 분당 1만 건씩 GCP Pub/Sub에 데이터 전송
SparkSQL로 데이터 정제 후 BigQuery,CloudStorage에 적재
Spark 성능 튜닝
512MB 메모리, 1코어 기준 약 1분 소요 -> 2코어, 2GB로 확장하여 1분 미만으로 단축, 약 40% 성능 개선)
Looker Studio로 분석 대시보드 제공
Prometheus 기반 클러스터 모니터링으로 시스템 안정성 확보
중고차 가격 예측 프로젝트
개인
2025.04. ~ 진행 중
Description
중고차 가격 예측 서비스를 제공하는 웹 페이지 개발 프로젝트
TechStack
Python
Spark
MinIO
Redis
Kubernetes
Github
Experience
데이터 수집,처리,적재 등 데이터 파이프라인 설계 및 구축
Kubernetes cron job을 통해 파이프라인 자동화
Redis를 통한 부하 분산
포트폴리오
교육
F-Lab
사설 교육 | 데이터엔지니어
2024.12. ~ 2025.04. | 수료
멀티캠퍼스
사설 교육 | 데이터엔지니어
2021.06. ~ 2021.12. | 수료
공주대학교
대학교(학사) | 중어중문학과
2012.03. ~ 2018.08. | 졸업
자격증
정보처리기사
한국산업인력공단
2023.06.
ElasticsearchCertifiedEngineer
Elastic
2023.02.
자기소개
2022년부터 Elasticsearch 기반의 검색엔진 운영과 구축을 중심으로 커리어를 시작했습니다. Kubernetes 환경에서 Elasticsearch, Kibana, Logstash 등을 운영하며, 검색 품질 개선과 장애 대응에 집중해 왔습니다. 다양한 장애를 직접 마주하고 해결한 경험을 통해 검색엔진 시스템 운영과 역량을 키웠습니다.
2024년 12월부터는 데이터 엔지니어링 분야로 커리어를 확장하기 위해 학습과 프로젝트를 병행하고 있습니다. 다양한 기술 서적 및 아티클을 통해 CS와 데이터 엔지니어링 전반의 지식을 학습하고 있습니다. 더하여 Spark, Airflow 등을 활용한 데이터 파이프라인 구축 프로젝트를 수행하며, 학습한 내용을 프로젝트로 실현하여 경험치를 쌓고 있습니다. 특히 Kubernetes 환경 위에서 Spark와 Airflow를 활용하며 확장성 있고 견고한 데이터 엔지니어링을 경험하는 데 집중하고 있습니다.