데이터 엔지니어

박성재

안녕하세요.
지속적 성장을 추구하며, 커뮤니케이션의 중요성을 인지하고 있는 개발자 박성재입니다.
꾸준히 갈고 닦아 실속있는 개발자로서 기능하고자 합니다.

CKA (Certified Kubernetes Administrator)

<h4>데이터 파이프라인 개발 및 유지보수</h4>
<ul>
<li>전사 각 도메인 데이터 입수 &amp; 요구사항에 맞는 피쳐 생성 및 사용자 키 기반 조인</li>
<li>원천 데이터 또는 요구 사항 변경에 따라 기존 파이프라인 쿼리 변경 및 과거 데이터 소급 적용</li>
<li>사용 기술: Apache Airflow, Hadoop, Hive, Spark, Presto, Trino</li>
</ul>
<h4>메타데이터 플랫폼 DataHub 배포 및 테이블 계보(lineage) 표현</h4>
<ul>
<li>주요 목적: 데이터 가시성 강화 및 유지보수 편의성 증대</li>
<li>사내 k8s 클러스터에 시스템 배포</li>
<li>사용 기술: docker, k8s, helm</li>
</ul>
<h4>대량 데이터 서빙을 위한 DB의 클라우드 전환 (진행중)</h4>
<ul>
<li>요구사항: 수천만 row x 수백 colum 규모의 테이블 데이터 OLTP 서빙</li>
<li>파일 기반 DB -&gt; k8s로 전환하기 위한 리서치 및 부하 테스트</li>
<li>사용 기술: docker, k8s, helm, spark</li>
</ul>


대안신용평가 데이터 파이프라인 개발 및 유지보수

<h4>기존 시스템</h4>
<ul>
<li>cdp 클러스터에 데이터를 저장(하둡) 및 처리(spark)</li>
<li>CI/CD: Jenkins</li>
<li>스파크 작업 제출 환경: 클러스터 내의 서버에서 제출</li>
</ul>
<h4>이관 후 시스템</h4>
<ul>
<li><p>사내 공통 플랫폼에 저장(하둡) 및 처리(spark)</p>
</li>
<li><p>CI/CD: GitHub Actions, git-sync</p>
</li>
<li><p>스파크 작업 제출 환경: k8s 클러스터 내부 pod에서 사내 공용 spark 클러스터로 제출</p>
</li>
<li><p>사용 기술: docker, k8s, Github Actions, hadoop, spark</p>
</li>
</ul>


데이터랩 서비스 데이터 생성 배치 시스템 클라우드 이관

<ul>
<li>파일 반출 심사를 위한 내부 인하우스 툴 제작</li>
<li>심사 목록 엑셀 파일로 다운로드, 파일 크기 점검, 사내 SSO 연동, 파일 업로드, 파일 미리보기 기능 등 심사를 용이하게 하기 위한 기능 제공</li>
<li>사용 기술: FastAPI, React.js</li>
</ul>


데이터박스 파일반출심사 도구 제작

<ul>
<li>네이버 쇼핑 데이터 분석을 위한 데이터 입수 지원</li>
<li>LLM 기반 RAG(Retrieval Augmented Generation) 시스템 PoC 진행을 위한 Milvus Vector Store 배포</li>
<li>데이터 가시성 강화를 위한 메타정보 관리<ul>
<li>WIKI 문서화</li>
<li>다수 Hive 테이블에 테이블 코멘트 및 컬럼 코멘트 추가</li>
</ul>
</li>
<li>데이터 보관 관련 기존 Policy 보완<ul>
<li>테이블 별 용량 조사 및 보관 기한 산정. 레거시 데이터 삭제</li>
<li>오래된 데이터 삭제 코드 모듈화 하여 기존 데이터 파이프라인에 일괄 추가</li>
<li>레거시 데이터 삭제를 통한 클러스터 용량 확보 - 1000TiB 이상</li>
</ul>
</li>
<li>팀 내 입수 시스템 개선<ul>
<li>spark3 작업 제출 환경 구성<ul>
<li>Spark-History 서버 연동 설정</li>
<li>spark - hive 연동 설정</li>
<li>최적화 관련 옵션 설정(Dynamic Allocation, Adaptive Query Execution 등)</li>
<li>일부 파이프라인 Hive -&gt; Spark 작업 전환 및 최적화로 작업 시간 3배 이상 단축 -&gt; 마트 생성 지연 개선</li>
</ul>
</li>
</ul>
</li>
<li>입수 중단된 레거시 소스코드 파악 및 제거</li>
</ul>


기타 업무

<p>주요 업무: 대안신용평가 데이터 파이프라인 개발 및 유지보수</p>
