채용공고 올리기

안기용님을 응원해보세요!

지금 만족하고 있어요

미리보기

기본 정보

이름
안기용
직업
데이터 엔지니어
이메일
pop2413@gmail.com
간단 소개

데이터 엔지니어를 지망하며 견고한 데이터 파이프라인 구축을 위한 지식과 경험을 쌓는 데 집중하고 있습니다. 특히 Python과 Airflow, Spark에 관심이 많으며, 끈질긴 문제 해결 능력과 원활한 소통 능력을 강점으로 지속적으로 성장하고자 합니다.

기술 스택

기술 스택

Python, Apache Spark, Airflow, Kubernetes, Docker, MySQL, PostgreSQL, Kafka, Elasticsearch, Kibana, Logstash

경력

회사명

오프너드 주식회사

직급 | 부서 | 근무 유형

매니저 | 기술지원팀

근무 기간

2022.03. ~ 2024.09. (2년 7개월)

담당 업무

Elasticsearch 구축 및 운영

Experience

  • Kubernetes 환경에서 Elasticsearch 클러스터 구축 및 운영

  • Elasticsearch 장애 대응 및 최적화 (메모리 누수 문제 해결)

  • Prometheus 기반의 Elasticsearch 모니터링 시스템 구축

  • 데이터 정합성을 확보하기 위해 Python 기반의 데이터 수집 프로그램 제안 및 개발 참여

    • 기존 Logstash의 성능 및 순서 보장 문제 개선

  • 운영 편의를 위한 SearchScript와 사용자 사전 관리 프로그램 개발 제안 및 참여

    • GitHub Actions 및 ShellScript 기반으로 형상 관리 시스템 POC

  • Logstash 대안 기술로 Apache Airflow 조사 및 기술 검토 수행

프로젝트

프로젝트명

Stock Price Streaming

소속/기관명

개인

프로젝트 기간

2025.04. ~ 진행 중

프로젝트 내용

Description

  • Kafka를 통한 주식가격 데이터 스트리밍 파이프라인 프로젝트

Tech Stack

Python Spark Streaming Kafka Kubernetes

Github

Experience

  • Python 기반 Kafka Producer로 약 70만 건의 주식 데이터 실시간 전송

  • Spark Streaming을 활용해 안정적인 실시간 데이터 처리 파이프라인 구축

  • Kubernetes 환경에서 스트리밍 작업을 운영하며 서비스 안정성 확보

프로젝트명

E-Commerce Data Engineering

소속/기관명

개인

프로젝트 기간

2025.02. ~ 2025.03.

프로젝트 내용

Description

  • E-Commerce 데이터 수집 파이프라인 구축 및 분석 프로젝트

Tech Stack

Python Spark Airflow Kubernetes GCP

Github

Experience

  • FastAPI + PostgreSQL로 API 서버 및 데이터 수집 시스템 구축

  • Kubernetes + GCP 기반의 인프라 환경 설계 및 배포

  • Airflow 를 통해 분당 1만 건씩 GCP Pub/Sub에 데이터 전송

  • SparkSQL로 데이터 정제 후 BigQuery,CloudStorage에 적재

  • Spark 성능 튜닝

    • 512MB 메모리, 1코어 기준 약 1분 소요 -> 2코어, 2GB로 확장하여 1분 미만으로 단축, 약 40% 성능 개선)

  • Looker Studio로 분석 대시보드 제공

  • Prometheus 기반 클러스터 모니터링으로 시스템 안정성 확보

프로젝트명

중고차 가격 예측 프로젝트

소속/기관명

개인

프로젝트 기간

2025.04. ~ 진행 중

프로젝트 내용

Description

  • 중고차 가격 예측 서비스를 제공하는 웹 페이지 개발 프로젝트

TechStack

Python Spark MinIO Redis Kubernetes

Github

Experience

  • 데이터 수집,처리,적재 등 데이터 파이프라인 설계 및 구축

  • Kubernetes cron job을 통해 파이프라인 자동화

  • Redis를 통한 부하 분산

포트폴리오

URL

link

Blog

티스토리
link

Github

깃허브

교육

소속/기관명

F-Lab

종류 | 전공

사설 교육 | 데이터엔지니어

재학 기간 | 재학 상태

2024.12. ~ 2025.04. | 수료

소속/기관명

멀티캠퍼스

종류 | 전공

사설 교육 | 데이터엔지니어

재학 기간 | 재학 상태

2021.06. ~ 2021.12. | 수료

소속/기관명

공주대학교

종류 | 전공

대학교(학사) | 중어중문학과

재학 기간 | 재학 상태

2012.03. ~ 2018.08. | 졸업

자격증

자격증명

정보처리기사

점수 | 발급기관

한국산업인력공단

취득연월

2023.06.

자격증명

ElasticsearchCertifiedEngineer

점수 | 발급기관

Elastic

취득연월

2023.02.

자기소개

자기소개

2022년부터 Elasticsearch 기반의 검색엔진 운영과 구축을 중심으로 커리어를 시작했습니다. Kubernetes 환경에서 Elasticsearch, Kibana, Logstash 등을 운영하며, 검색 품질 개선과 장애 대응에 집중해 왔습니다. 다양한 장애를 직접 마주하고 해결한 경험을 통해 검색엔진 시스템 운영과 역량을 키웠습니다.

2024년 12월부터는 데이터 엔지니어링 분야로 커리어를 확장하기 위해 학습과 프로젝트를 병행하고 있습니다. 다양한 기술 서적 및 아티클을 통해 CS와 데이터 엔지니어링 전반의 지식을 학습하고 있습니다. 더하여 Spark, Airflow 등을 활용한 데이터 파이프라인 구축 프로젝트를 수행하며, 학습한 내용을 프로젝트로 실현하여 경험치를 쌓고 있습니다. 특히 Kubernetes 환경 위에서 Spark와 Airflow를 활용하며 확장성 있고 견고한 데이터 엔지니어링을 경험하는 데 집중하고 있습니다.

댓글