미리보기

• [Airflow] DB -> DL 복제시 Aurora Clone Cluster가 비효율적으로 많이 생성되는 문제 해결

• [Airflow] Data Quality Check를 위해 AssertOperator 개발

• [Ariflow] MWAA의 Airflow 버전 업그레이드 (2.7.3 -> 2.8.2)

• [Glue] Dow-jones WLF Feed 데이터 ETL 및 메일링 시스템 개발

• [DL] Hashing이 누락된 7년치 데이터 Migration

• [DW] User의 모든 정보를 조회할 수 있는 Data Mart용 User Master Table Modeling

• [Infra] ID, PW를 사용하는 과정에서 발견된 보안 취약점 개선

• [Airflow] 메타데이터(최초 주문)로딩 자동화 구현을 위해 동적으로 Trigger하는 Operator 개발

• [Clean Code] 독립몰 연동 과정 개선

• [Data Architecture] Gorocket(Data Governance) 프로젝트 참여

• [Data Architecture] 고비용 Daily Report 작업 개선

• [Athena] Athena로 Insert시에 생기는 Small File Issue 개선

• [Airflow] MWAA를 활용하여 데이터 파이프라인 설계 및 구축

• [Airflow] 반복되는 DAG Context Manager를 개선하기 위해 DagFactory 개발

• [DW] Data Lineage Visualization Tool 개발

• [DW] Treasury of Binance에 기술적 지원

• [Clean Code] OOP를 고려하여 Data Team 코드를 개선

• [Seminar] 사내 지식공유 세미나(스시런톡, sushi class, dtalks) 기획 및 진행

신입 데이터 엔지니어분들께 Airflow에 대해 발표함

PPT, 수강생 설문

신입 데이터 엔지니어로 취업하는 경험을 발표함.

Youtube