미리보기

경제 뉴스의 중요도를 판단하고, 핵심 이슈만 리포트로 전환하는 자동화 시스템 설계

• 초기 사용자 피드백 기반으로, 경제 입문자에게 중요한 뉴스만 선별해 요약하는 구조를 설계

• 하루 1,000건 이상 기사 중 광고/중복/비경제 콘텐츠를 제외하고, 자체 파인튜닝 모델을 FastAPI로 서빙해 1차 필터링

• 필터링된 뉴스만 Qdrant에 임베딩 저장, 주요 키워드 기반 유사도 검색 → LLM 요약으로 연결

• 구조화 이후 요약 대상은 평균 30건 이하로 축소되고, 일 5건만 카드형 리포트로 제공

• 전체 파이프라인은 Airflow + FastAPI로 구성하여 운영 자동화 및 수작업 리소스 제거

주소, 좌표, 도로명 간 상호변환을 단일 API처럼 처리할 수 있는 Spark 기반 변환 라이브러리를 개발

• 지번주소 ↔ 도로명주소 ↔ 좌표 간 변환을 UDF 및 Spark SQL로 추상화하여, 대용량 DataFrame 상에서 호출만으로 실시간 처리 가능

• 원천 주소 메타데이터(읍면동 경계, 도로명 코드 등)를 병합하여 좌표 기반 행정구역 매핑 로직도 구현

해당 라이브러리를 활용해 실시간 수집·처리·저장 가능한 RDW(Real-time Data Warehouse) 구조를 설계 및 구현

• Kinesis → Kafka로 전환해 병목 문제 해결, Kafka → Spark → Kafka → Elasticsearch → Kibana 구조로 실시간 데이터 흐름 설계

• EMR 운영, Spark 잡 구현, Logstash 설정 등 전체 흐름을 주도적으로 구성

3인 팀에서 처음엔 실무 이해도가 부족했으나, Spark와 분산 시스템 구조를 빠르게 습득하며 핵심 로직 대부분을 단독 구현

Android + Mediapipe 포팅 가능한 외주 인력 부재 상황에서 직접 개발을 제안하고, 핵심 기능을 단독 구현해 MVP 완성

UI/UX만 외주화해 리스크를 분산했고, 최소 500만 원 이상 외주 비용을 절감

시차 14시간의 해외 거주 파트너와 협업하며 AWS 기반 스트리밍 시스템 설계

• MVP 출시를 앞두고 해외 거주 파트너(14시간 시차)와의 원격 협업과 안정적인 영상 스트리밍 구현이 동시에 요구된 상황

• EC2, S3, MediaConvert, CloudFront를 조합해 영상 전송 파이프라인을 직접 설계 및 구현

• 프론트엔드, 디자이너, 기획자와의 커뮤니케이션을 주도하며 트래픽 구조 및 API 설계 정제

• 시연용 MVP 기능을 안정적으로 완성해 데모 일정에 맞춰 제품 출시 기반 확보

기능 명세가 부족한 상황에서 영상 스트리밍 구조가 미정이었던 문제를 인식하고, 기술 방향을 제안

S3, MediaConvert, CloudFront를 활용한 HLS 기반 스트리밍 구조를 설계하고 도입

트래픽 구조와 비용 효율 분석 결과를 PM에게 공유하며 우선순위 조정에 기여, MVP 개발 속도 회복

실서비스의 작은 기능들을 직접 기획·개발·배포하며 Spring(Java) 기반 백엔드 경험을 쌓고, 검색 API의 N+1 문제를 해결

현업 운영 흐름을 이해하며 기능 단위로 배포 사이클을 반복하는 실전 경험을 축적