[미리디] Data Engineer Part lead

| 주요 업무

"미리디에서 이런 일들을 함께 하고 싶어요"

• 파트의 기술 방향과 로드맵을 정의하고, 채용·성장 지원·성과 관리를 통해 파트원의 역량과 파트의 실행력을 함께 키웁니다. 기술 의사결정의 기준을 세우고 코드 리뷰와 아키텍처 리뷰를 통해 파트의 기술 수준을 끌어올립니다.

• grain, fact/dimension, conformed dimension, SCD 등 모델링 표준을 수립하고, 이를 기준으로 Silver·Gold 마트를 재설계합니다. Databricks Asset Bundle 기반의 변환·테스트·CI/CD 개발 체계를 구축하여 마트 개발과 배포를 자동화합니다.

• 소스Bronze 정합성, freshness, schema drift 등 파이프라인 전 구간의 품질을 지표로 정의하고 상시 모니터링하여, 데이터 문제를 소비 단계 이전에 탐지합니다. Unity Catalog 기반의 메타데이터 관리와 배포 시점 자동 검증 체계를 만들어 데이터 거버넌스를 운영합니다.

• 미리디의 다양한 포맷의 원천 데이터를 수집하는 확장성 있는 배치·실시간 파이프라인을 구축하고, Server-side GTM 등을 통해 수집 데이터의 완결성을 확보합니다. 마트 데이터를 사내 서비스와 AI Agent가 가볍고 빠르게 조회할 수 있는 OLAP 서빙 환경을 설계하고 구축합니다.

• 온콜·에드혹 요청을 스스로 해석해 파이프라인을 수정하고 PR을 생성하는 데이터 엔지니어링 Agent를 구축·운영합니다. Agent가 참조할 표준·메타데이터·컨벤션을 컨텍스트로 정비하고, PR 리뷰 기반의 Human-in-the-loop 승인 체계로 안전성을 확보하며 적용 범위를 단계적으로 넓혀갑니다.

• 데이터 파이프라인과 인프라의 비용을 워크로드·서비스 단위로 추적할 수 있는 가시성 체계를 구축합니다. 이를 근거로 컴퓨트 리소스와 스토리지, 배치 작업의 비효율을 찾아내고, 쿼리·파이프라인 최적화와 아키텍처 개선을 통해 데이터 플랫폼의 비용 효율을 지속적으로 높여갑니다.

"이런 분이라면 목표 달성에 확신을 얻을 것 같아요"

•6년 이상의 유관 경력과 함께, 파트/팀 리드 또는 테크 리드로서 기술 방향을 정의하고 구성원의 성장을 이끌어 본 경험이 있으신 분

• 자료구조, 알고리즘, OS, 네트워크, 데이터베이스에 대한 충분한 CS 지식과 다양한 데이터 스토리지(Hadoop, RDBMS 등)에 대한 이해를 갖고 계신 분

• 데이터 수집, 변환, 저장을 위한 데이터 파이프라인을 직접 개발하고 운영한 경험을 갖고 계신 분

차원 모델링에 대한 이해를 바탕으로 데이터 웨어하우스/마트를 설계하고, 조직에 적용할 모델링 표준을 정의해 보신 경험이 있으신 분

• Python, SQL 및 Java/Kotlin/Scala 등 JVM 기반 개발 언어 활용이 가능하신 분

• AWS 클라우드 환경 내의 데이터 인프라 구축과 운영을 위한 기본적인 지식과 이해를 갖고 계신 분

• 데이터 사용자 및 유관 조직과 적극적으로 소통하며, 기술적 판단의 근거를 설득력 있게 전달할 수 있는 분

| 우대 사항

"이런 분이라면 장기적으로 서로에게 더 긍정적일 것 같아요!"

• Databricks 기반 데이터 플랫폼을 직접 운영하고, Unity Catalog 등으로 데이터 거버넌스를 구성해 본 경험이 있으신 분

• 표준화되고 검증 가능한 데이터 변환 환경을 구축하고, 테스트 및 CI/CD를 포함한 개발 체계를 만들어 운영해 보신 분

• Delta Lake, Iceberg 와 같은 Open Table Format 기술 또는 카프카 기반 실시간 스트리밍 개발 및 운영 경험이 있으신 분

• 데이터 품질 검증 도구·프레임워크를 도입하여 정합성·freshness·schema drift 등을 지표화하고 모니터링해 보신 경험이 있으신 분

• ClickHouse, StarRocks 등 오픈소스 기반 OLAP 엔진 기반의 서빙 환경이나 Kubernetes 클러스터 기반 데이터 인프라를 운영해 보신 경험이 있으신 분

• LLM/AI Agent를 활용해 개발 및 운영 업무를 자동화하고, 실제 워크플로우에 적용해 보신 경험이 있으신 분

| 미리디 DE팀 활용 기술 스택

• 언어: Python, SQL, Java

• 인프라: AWS, Kubernetes(EKS)

• 데이터 플랫폼: Databricks(Delta Lake, Workflow), Apache Airflow, DuckDB, Delta-rs, AWS MSK(Kafka), * Debezium, AWS Athena, AWS Glue

• 거버넌스: Databricks Unity Catalog, DataHub

• AI: Claude Code, Codex

"미리디는 복지를 통해 나눔의 경영을 실현하고 있습니다."

[자율과 책임의 근무 환경을 제공합니다.]

• 시차출퇴근제 운영

• 자유로운 휴가 사용

• 경조사 휴가지원

• 3년 근속 시 리프레시 휴가 제공

[배움과 성장, 행복을 지원합니다.]

• 업무 관련 비용 100% 지원

• 업무 도서 구입비 무제한 지원

• 외부 교육 및 기술 세미나 적극 참여 독려

[열일하는 미리인 굶길 수 없다! 삼시세끼 지원]

• 아침, 점심, 저녁 식사비 지원

• 제휴 카페 포인트 지원

[미리인의 회사 적응과 단합을 지원합니다.]

• 직급 없이 수평적인 문화 지향

• 신입사원 OJT, 적응 프로그램 지원

• 미리인 동호회 지원

• 분기별 문화이벤트 회식 지원