데이터 엔지니어

안기용

데이터 엔지니어를 지망하며 견고한 데이터 파이프라인 구축을 위한 지식과 경험을 쌓는 데 집중하고 있습니다. 
특히 Python과 Airflow, Spark에 관심이 많으며, 끈질긴 문제 해결 능력과 원활한 소통 능력을 강점으로 지속적으로 성장하고자 합니다.

정보처리기사

ElasticsearchCertifiedEngineer

Blog

Github

<h4><strong>Description</strong></h4><ul><li><p>Kafka를 통한 주식가격 데이터 스트리밍 파이프라인 프로젝트</p></li></ul><h4><strong>Tech Stack</strong></h4><p><code>Python</code> <code>Spark Streaming</code> <code>Kafka</code> <code>Kubernetes</code></p><h4><strong>Github</strong></h4><ul><li><p><a target="_blank" rel="noopener noreferrer nofollow" href="https://github.com/ankiyong/streaming_pipeline">https://github.com/ankiyong/streaming_pipeline</a></p></li></ul><h4><strong>Experience</strong></h4><ul><li><p>Python 기반 Kafka Producer로 약 70만 건의 주식 데이터 실시간 전송</p></li><li><p>Spark Streaming을 활용해 안정적인 실시간 데이터 처리 파이프라인 구축</p></li><li><p>Kubernetes 환경에서 스트리밍 작업을 운영하며 서비스 안정성 확보</p><p></p></li></ul>

Stock Price Streaming

<h4><strong>Description</strong></h4><ul><li><p>E-Commerce 데이터 수집 파이프라인 구축 및 분석 프로젝트</p></li></ul><h4><strong>Tech Stack</strong></h4><p><code>Python</code> <code>Spark</code> <code>Airflow</code> <code>Kubernetes</code> <code>GCP</code></p><h4><strong>Github</strong></h4><ul><li><p><a target="_blank" rel="noopener noreferrer nofollow" href="https://github.com/ankiyong/airflow_pipeline">https://github.com/ankiyong/airflow_pipeline</a></p></li></ul><h4><strong>Experience</strong></h4><ul><li><p>FastAPI + PostgreSQL로 API 서버 및 데이터 수집 시스템 구축</p></li><li><p>Kubernetes + GCP 기반의 인프라 환경 설계 및 배포</p></li><li><p>Airflow 를 통해 분당 1만 건씩 GCP Pub/Sub에 데이터 전송</p></li><li><p>SparkSQL로 데이터 정제 후 BigQuery,CloudStorage에 적재</p></li><li><p>Spark 성능 튜닝</p><p></p><ul><li><p>512MB 메모리, 1코어 기준 약 1분 소요 -&gt; 2코어, 2GB로 확장하여 1분 미만으로 단축, 약 40% 성능 개선)</p></li></ul></li><li><p>Looker Studio로 분석 대시보드 제공</p></li><li><p>Prometheus 기반 클러스터 모니터링으로 시스템 안정성 확보</p><p></p></li></ul>

E-Commerce Data Engineering

<h4><strong>Description</strong></h4><ul><li><p>중고차 가격 예측 서비스를 제공하는 웹 페이지 개발 프로젝트</p></li></ul><h4><strong>TechStack</strong></h4><p><code>Python</code> <code>Spark</code> <code>MinIO</code> <code>Redis</code> <code>Kubernetes</code> </p><h4><strong>Github</strong></h4><ul><li><p><a target="_blank" rel="noopener noreferrer nofollow" href="https://github.com/ankiyong/day_car">https://github.com/ankiyong/day_car</a></p></li></ul><h4><strong>Experience</strong></h4><ul><li><p>데이터 수집,처리,적재 등 데이터 파이프라인 설계 및 구축</p></li><li><p>Kubernetes cron job을 통해 파이프라인 자동화</p></li><li><p>Redis를 통한 부하 분산</p><p></p><p></p></li></ul>

중고차 가격 예측 프로젝트

<h3>Elasticsearch 구축 및 운영</h3><h4><strong>Experience</strong></h4><ul><li><p>Kubernetes 환경에서 Elasticsearch 클러스터 구축 및 운영</p></li><li><p>Elasticsearch 장애 대응 및 최적화 (메모리 누수 문제 해결)</p></li><li><p>Prometheus 기반의 Elasticsearch 모니터링 시스템 구축</p></li><li><p>데이터 정합성을 확보하기 위해 Python 기반의 데이터 수집 프로그램 제안 및 개발 참여</p><ul><li><p>기존 Logstash의 성능 및 순서 보장 문제 개선</p></li></ul></li><li><p>운영 편의를 위한 SearchScript와 사용자 사전 관리 프로그램 개발 제안 및 참여</p><ul><li><p>GitHub Actions 및 ShellScript 기반으로 형상 관리 시스템 POC</p></li></ul></li><li><p>Logstash 대안 기술로 Apache Airflow 조사 및 기술 검토 수행</p></li></ul>