미리보기

• Java, Python을 이용한 백엔드 개발자

[담당업무]

• 시스템 엔지니어[SE]

[담당 사이트]
(정)

• EG주식회사
  : AD 서버 구축 및 Azure AD와 연동 작업
• 서울신용보증재단 콜센터, 한양대학교 학술 정보원
  : 유지보수 및 장애처리

(부)

• 롯데칠성
  : VDI 구축 작업
• 성남시청
  : 차세대 HCI 구축 작업
• 롯데하이마트
  : 보안 취약점 조치

[발주처]
: 한국소비자원

[활용 기술]
: Java, JPA, QueryDSL, Spring Boot, Docker Compose, Oracle 21c

[주요 업무 및 성과]
1. xPath 기반 해외 리콜 데이터 수집기 개발
- 다양한 해외 리콜 사이트를 대상으로, 공통 구조의 범용 수집기 설계 및 개발
- 기존 텍스트 기반 수집기를 개선하여 첨부파일 및 이미지 수집 기능 확장
- 수집 대상 상세 페이지의 화면을 캡처하여 데이터 검증 및 추적 기능 강화
- Docker Compose를 활용하여 3개의 수집기 컨테이너 병렬로 운영, 수집 효율 향상
- 기존 : 단일 수집기, 6시간 소요
- 개선 : 컨테이너 병렬 운영 후, 2시간으로 단축(수집 속도 66% 향상)
- 멀티 모듈 구조(API, CRAWLER, STORAGE, COMMON)로 설계, 책임 분리 및 유지보수성 향상
- API : DB 연동 및 NAS와 연동하여 파일 저장 역할 수행
- CRAWLER : 해외 리콜 사이트 크롤링 로직 구현
- STORAGE : 데이터 구조화(Entity/DTO 관리)
- COMMON : 공통 기능 및 설정(QueryDSL 등)

2. API 서버 개발 및 NAS 연동
- 도커 볼륨 마운트를 통한 NAS와의 연동으로 수집된 파일 및 이미지 저장
- 스케줄링 기능을 활용하여 수집 스케줄 및 IP 관리 자동화 기능 구현
- 해외 사이트에 대한 크롤링 가능 여부, 자동 확인 및 IP 테이블 관리 시스템 구현
- 빅카인즈 및 소비자24 등 국내 데이터 수집 기능 구현 및 일괄 배치 작업을 통한 데이터 적재로 인한 속도 90% 향상
- 기존 : 데이터 단 건 저장, 10분 이상 소요
- 개선 : 배치 처리를 통한 적재, 1분으로 단축(적재 속도 90% 향상)

3. 유지보수 및 기능 확장
- 기능 추가, 장애 대응 등 문제 발생 시 원인 분석 및 개선 작업 주도
- 신규 요구사항 발생 시 기존 구조에 맞춘 기능 설계 및 유연한 확장 작업 수행

[발주처]
: 자체 솔루션

[활용 기술]
: Python, FastAPI, Google Cloud Spanner, Google Cloud Storage, BigQuery, Docker Compose, GitLab CI/CD, Google Cloud Logging, Google Cloud Functions

[주요 업무 및 성과]
1. Python 기반 수집기 개발
- 패션/뷰티 카테고리를 대상으로 한 소셜 및 커머스 채널 전수 수집기 설계 및 개발
- 수집 스케줄 오류 및 과거 데이터 보완을 위한 재수집기 개발
- 다양한 채널에 대한 수집 로직 구현
- 소셜 채널 : 네이버 블로그, 유튜브, 루리웹, 뽐뿌
- 커머스 채널 : 쿠팡, 옥션, G마켓, 네이버쇼핑
- GCS + Cloud Functions 기반 데이터 적재 로직 구현
- 수집 데이터를 Google Cloud Storage(GCS)에 CSV 형태로 업로드 후, Cloud Functions를 통해 BigQuery에 일괄 적재
- 성과: 기존 22분 소요되던 작업을 7분으로 단축, 평균 60% 이상 시간 절감
- Docker Compose를 활용하여 단일 서버 내 6개의 수집기 컨테이너 병렬 운영
- 안정성 향상
- Shell Script + Crontab을 활용 30분 주기로 프로세스 상태 점검 후, 비정상 종료된 경우 자동 재기동 처리
- CI/CD 자동화
- GitLab Runner를 통한 배포 자동화 환경 구축

2. API 서버 개발
- FastAPI 기반 API 서버 구현
- Spanner에 저장된 수집 스케줄, 서버 정보, 계정 정보 등의 데이터 조회 및 관리 기능 제공
- Elasticsearch와 연동, 적재된 데이터를 조회, 가공 후 응답을 반환하는 로직 개발
- SSL 보안 적용
- certbot을 이용, SSL 인증서를 무료로 적용하고 60일마다 자동 갱신 처리 로직 구축

3. 모니터링 시스템 구축
 - 프로젝트별 예외 발생 시, Google Cloud Logging을 통해 상세 로그 기록
 - GCP Monitoring과 연동하여, 로그 내 특정 이벤트 발생 시 자동 이메일 알림 전송 기능 구현 (예: IP 차단, 스케줄 지연, 프로그램 종료 등)

4. 유지보수 및 기능 확장
 - 수집기 및 API 기능 추가/개선 및 장애 대응

[발주처]
: 쌍용자동차, 삼성전자, 주식회사 마인드리퍼블릭

[활용 기술]
: C#, WCF, MySQL

[주요 업무 및 성과]

1. 웹 크롤러 유지보수 및 성능 개선
 - 기존 C# 기반 수집기의 크롤링 로직 수정 및 기능 고도화
 - VM 환경에서 장시간 실행 시 발생하는 성능 저하 및 오류 대응을 위한 자동 재시작 로직 구현
  - 크롬 드라이버 미종료로 인한 CPU 및 메모리 과다 사용 문제 해결
  - DB에 수집 상태 및 재시작 제어용 컬럼을 추가하고, 스크립트를 통해 자동 재시작 처리
 - 해외 수집 채널 이관 및 최적화
  - 기존 Windows 기반 수집기의 라이선스 비용 및 병렬 수집 제한 문제 해결
  - Python 기반 수집기로 전환하고 Linux 서버로 이전
   - 서버 1대당 다중 수집기 운영 가능
   - 수집 속도 75% 개선 (1시간 소요  15분으로 단축)

2. 모니터링 체계 구축
 - 수집기 상태 및 오류 상황을 실시간으로 확인할 수 있는 모니터링 로직 구성

기간: 21.12.22 ~ 22.04.13
시수/일수: 944시간 / 118일

교육 내용

• HTML,CSS, JSP, JavaScript, jQuery
• JAVA, SpringFrameWork
• DataBase : OracleDB

[프로젝트]
제목: 카카오뱅크 ERP
인원: 25 명
개발 내용 :
1.카카오뱅크 ERP 프로젝트중 영업 부분 진행
2.상품 관리 시스템 고객 관리 시스템 리드 관리 시스템 영업관리 시스템 영업 일정 관리 보고서

[담당업무]
영업 일정 관리, 보고서
영업 일정 - 영업 일정 CRUD, FullCalendar.js, Ajax 이용하여 구현
보고서 중 영업 - 영업에 등록된 데이터 및 HighCharts.js, Ajax 이용하여 구현

[개발환경 및 라이브러리]

1. 구현언어 : HTML,CSS3, Java 11, JSP, JavaScript
2. 사용기술 : Ajax, jQuery
3. 라이브러리 : FullCalendar.js, HighChart.js
4. WAS : Tomcat 9.0
5. DB 서버 : OracleDB21.1.0.0
6. 형상 관리 서버 : Github
7. 프레임워크 : Spring Framework 4.3.4, MyBatis 3.2.7
8. 개발 환경 : Eclipse 2021-03