미리보기

프로젝트 목표: SNS 사용자의 '좋아요' 데이터를 실시간으로 분석하여 맞춤형 여행지 추천 시스템을 개발하고, 대규모 데이터를 빠르고 효율적으로 처리할 수 있는 시스템을 구축하는 것.

주요 역할 및 기여:

• 분산 데이터 처리: Hadoop과 Spark를 활용해 대규모 데이터를 분석 및 결과 도출

• 실시간 데이터 처리: Kafka를 도입해 사용자 '좋아요' 데이터를 실시간으로 수집하고 전송, MSA(Microservices Architecture) 구조로 데이터를 처리하여 시스템의 확장성과 유연성을 확보.

• 도메인 주도 설계(DDD): DDD 원칙을 적용하여 비즈니스 로직을 구조화하고, 모듈화된 아키텍처를 통해 시스템 유지보수성을 향상시킴.

• 추천 알고리즘: 코사인 유사도를 사용해 사용자의 관심사를 분석, 사용자 맞춤형 추천 시스템을 설계 및 구현.

사용 기술:

• Hadoop, Spark: 분산 데이터 처리 및 성능 최적화

• Kafka: 실시간 데이터 스트리밍

• MSA (Microservices Architecture): 시스템 확장성과 유연성 확보

• DDD (Domain-Driven Design): 비즈니스 로직의 구조화 및 모듈화

• 코사인 유사도: 사용자 맞춤형 추천 알고리즘

성과:

• 대규모 데이터를 효율적으로 처리하여 추천 시스템의 응답 속도를 개선하고, 사용자 맞춤형 추천 정확도를 크게 향상.

• 실시간 데이터 처리를 통해 사용자 경험을 향상시키고, 시스템 확장성을 확보함.

• MSA와 DDD를 적용하여 유지보수성과 확장성을 개선, 장기적으로 지속 가능한 시스템 구축에 기여.

프로젝트 목표: 면접을 효과적으로 준비할 수 있는 온라인 플랫폼을 개발하고, 대규모 데이터를 효율적으로 처리하여 빠르고 정확한 검색 기능을 제공하는 것이 목표였습니다.

주요 역할 및 기여:

• 백엔드 개발: 플랫폼의 검색 기능을 최적화하기 위해 Elasticsearch와 Redis를 활용하여 대용량 데이터를 처리하는 시스템을 구축.

• 성능 개선: 기존에 5초가 걸리던 검색 시간을 1초 이내로 단축하기 위한 Elasticsearch 기반의 분산 검색 시스템을 도입하고, 서버 설정과 데이터 파이프라인을 재설계.

• 문제 해결: NGINX 리버스 프록시 설정 문제로 인해 발생한 배포 실패를 해결하기 위해 Docker를 활용하여 안정적인 서버 환경을 구축하고, 프론트엔드와의 통합 문제를 해결함.

사용 기술:

• Elasticsearch를 통한 검색 성능 최적화

• Redis를 사용한 데이터 캐싱

• NGINX와 Docker를 활용한 서버 배포 및 환경 구성

성과:

• 검색 속도를 기존 5초에서 1초로 단축함으로써 사용자 경험을 크게 향상.

• 서버 안정성을 확보하여 시스템 유지보수성을 크게 개선.

• 팀원들과의 긴밀한 협업을 통해 배포 문제를 해결하고, 프로젝트 일정을 준수하며 성공적으로 완료.

프로젝트 목표: 송파구의 인구 밀집도와 대피소 수용 능력 간의 불균형 문제를 해결하여, 재난 발생 시 주민들이 효율적으로 대피할 수 있도록 최적의 대피소 배치 전략을 수립하는 것이 목표였습니다.

주요 역할 및 기여:

• 데이터 분석: 송파구의 인구 밀도와 대피소 수용 인원 데이터를 수집 및 분석하여, 인구 분포와 대피소 간의 비효율성을 파악.

• 최적화 알고리즘 설계: K-means 군집화 알고리즘을 활용해 인구 밀집 지역을 분류하고, 이를 기반으로 각 대피소에 할당될 인구를 최적으로 배치하는 모델을 개발.

• 문제 해결: 초기 배치에서 발생한 대피소 수용 인원 초과 문제를 해결하기 위해 추가 알고리즘을 설계하여, 수용 인원을 초과한 군집을 인접 대피소로 분산시킴.

• 성과: 최적화 모델 적용 결과, 송파구 내 156개 대피소의 할당 효율성을 50% 이상 개선하고, 대피소 간 수용 불균형 문제를 해결함으로써 재난 시 주민들의 대피 시간을 단축하고 효율성을 극대화함.

활용 기술: Python을 사용한 데이터 전처리, K-means 클러스터링 알고리즘을 통한 최적화, Pandas 및 Numpy를 통한 데이터 분석 및 처리.

프로젝트 성과: 대피소 수용 능력 대비 초과 인원을 해소하고, 인구 밀도 기반으로 효율적으로 배치해 재난 대응 시 대피소 활용률을 50% 이상 향상.