미리보기

시니어 풀스택 개발자/엔지니어 로서 다양한 환경의 사이트에서 데이터 통합(Data Integration/ETL) 관련 작업을 수했하였습니다.
E-commerce 사이트와 엔터프라이즈, 공공 사이트에서 Public / Private 클라우드 환경을 경험 하였고 MSA 아키택처와 에자일 조직에서 작업을 수행하였습니다.

해당 사이트의 데이터 통합 파트의 PM / PL 등을 수행했으며 리딩 뿐아니라 개발 환경 구축, 개발 프로세스 구축, 소프트웨어 디자인/개발/테스트를 수했하였습니다.

또한 다양한 비즈니스 목표를 위해 다양한 환경과 인프라에 대한 구성과 설정을 수행했으며 그 목표에 맞는 아키텍쳐 및 데이터 디자인과 소프트웨어 개발을 풍부하게 경험하였습니다.

Java 어플리케이션 개발자로서 과학화 전투 훈련단 시스템 개발 사업에 참여 다양한 시스템과 스토리지, 네트워크, 모니터링, 대쉬보드에 대한 경험과 소프트웨어 디자인, 개발, 테스트 및 다양한 상황에 대한 트러블 슈팅 등을 경험 하였습니다.

해당 프로젝트는 대규모의 시스템 개발 사업으로서 소프트웨어 개발 파트에 소속되어 다양한 HW/SW 시스템과 서버/클라이언트 서비스, RDBMS 서비스, 무선통신망 서버스, 펌웨어 SW, 네트웨크 서비스 개발과 운영을 경헙하였습니다.
그리고 소프트웨어 개발 프로세스와 UML을 이용한 디자인을 경험하였으며 가상 시뮬레이션 전장에 환경에 대한 모듈을 디자인/개발/테스트를 수행하고 무선통신망과 연계한 미들웨어 서버를 디자인/개발 하고 로그 및 모니터링 프레임워크를 디자인/개발 하였습니다.
또한 각종 소프트웨어 개발관련 환경 및 인프라의 설정과 구성에 대한 경험을 축적 하였습니다.

사내 비즈니스 모델을 찾기 위해 데이터 통합을 위한 Talend 제품을 조사, 분석, 개발, 제시하는 일을 했습니다. 그리고 한국 Talend(Qlik)의 서드파티와 홍보, 관리, 소통하는 일을 해왔습니다.

그리고 다양한 환경(클라우드, 온프레미스)에서 테스트 할 수 있도록 Talend 제품을 다양한 방식으로 설치 및 구성, 테스트 해왔습니다. 관리, 기능, 기능, 성능, 속도, 내구성, HA, 스크립팅, 개발 등.

그리고 Apache Kafka를 사용하여 새로운 비즈니스 모델을 찾기 위해 클러스터를 설치, 구성, 개발하고 Kubernetes / Docker 환경을 구성 / 테스트 했습니다.

기능, 성능, Producer, Consumer, KStreams, Ksql, Scripting, 개발 등. 또한 TFT팀의 모든 결과를 문서와 프레젠테이션으로 제작 하였습니다..

그리고 대한민국 2024년 국회의원 선거를 위한 중앙선거관리위원회에서 방송사와 선거관련 정보를 공유하기 위한 데이터 통합 작업을 담당 했습니다.

세부:

• 클라우드 AWS 인프라를 관리하고 구성. S3, dynamoDB, Aurora, RDS Athena 등

• Talend의 관리 콘솔, 데이터 인벤토리, 데이터 준비, 데이터 관리 및 파이프라인 디자이너를 설치, 구성, 관리 및 테스트하여 기능과 특징을 분석 / 검증.

• Management Console, Pipeline Designer 및 Stitch of Talend를 사용하여 데이터 통합 및 마이그레이션 아키텍처 및 프로세스를 디자인 / 구성.

• Talend Inventory, Talend Data Preparation 및 Talend Data Stewardship을 통해 데이터를 분석, 검사 및 전처리 구성 / 디자인 / 구성.

• Talend 제품의 성능, 내구성, 안정성 및 성능을 확인하기 위한 마이그레이션 프로세스를 수행.

• Talend 제품 분석 결과에 대한 문서, 프레젠테이션을 작성 및 발표.

• Kafka Cluster 구성을 위해 Docker를 사용하여 Kubernetes를 디자인 / 구성.

• Kafka 클러스터 설치 / 구성 / 관리 / 테스트.

• 아키텍처를 디자인하고 Producer, Consumer, Connector 및 KStream를 디자인 / 개발 / 테스트 수행.

• Kafka의 성능 / 기능 / 내구성 / 가용성 등에 대해 테스트하고 평가.

• Kafka의 테스트 및 분석 결과에 대한 지침을 작성하고 프레젠테이션 수행.

저는 Talend Open Studio 배포판인 InnoQuartz(DI 솔루션)에서 근무하며 InnoQuartz와 Talend의 다양한 컴포넌트를 개발했습니다.

클라우드, RDBMS, NoSQL, Event-Driven, Streaming Pipeline 아키텍처 및 프로세스, 데이터 구조, 빅데이터 등과 관련된 솔루션의 많은 컴포넌트를 개발했습니다.

AWS, GCP 등 현대 IT시대의 다양한 환경을 경험하고, 회사 솔루션과 관련 하여 기술지원이나 개선하는 일을 했습니다.

고객 현장 및 프로젝트의 다양한 이슈를 추적 및 해결하고 개발, 테스트, 개선, 분석 및 문제 해결을 진행해 왔으며 그것을 관리하고 처리했습니다.

세부:

• 빅데이터, 클라우드 관련 컴포넌트를 디자인하고 개발했습니다. Kafka, Http/Https, ActiveMQ, RabbitMQ, Redis, Hive, Cloudera, AWS 등

• 구조, 구문 분석, 검색, 필터링 및 서식 지정과 관련된 구성 요소를 디자인하고 개발했습니다. JSON, YAML, CSV, TXT 등

• Talend 및 InnoQuartz의 구성 요소를 개선했습니다.

• 유틸리티 구성 요소를 개발하고 개선했습니다.

롯데ON 전자상거래에서 데이터통합(ETL) 업무를 담당했습니다.

기술 지원팀에 합류하여 MSA 및 Agile 조직을 기반으로 온프레미스 하이브리드 클라우드 환경에서 Talend 및 이노쿼츠(ETL 솔루션)의 다양한 컴포넌트를 개발했습니다.

주로 이벤트 기반 파이프라인 스트리밍과 스케줄링 아키텍처로서 하이브리드 클라우드 인프라에서 데이터를 통합하고 마이그레이션하기 위한 다양한 컴포넌트를 디자인 / 개발 / 테스트 / 트러블슈팅 했습니다.

그리고 내부 외부 데이터를 내부 조직, 외부조직, 데이터 레이크 등 대상 엔드포인트로 마이그레이션하면서 고성능, 지속성, 내구성 및 임계값 등이 보장 되도록 처리하였습니다.

세부:

• AWS의 클라우드 환경에서 다양한 스토리지 인프라에 데이터를 연결하고 전송하는 데 사용되는 다양한 종류의 Talend 컴포넌트를 개발하고 개선했습니다. EC2, Kafka, RabbitMQ, ElasticSearch, Redis, DynamoDB, MongoDB 등

• AWS 인프라 전반에 걸쳐 많은 데이터 통합 ​​컴포넌트를 개발했습니다. DynamoDB, Aurora, Athena, S3, SNS 등

• 배치 / 스트리밍 잡은 대부분 비즈니스 로직 프로세스를 처리하며 초당 최대 900이 넘는 전송 처리량 충족하도록 개발했습니다.

• Talend Open Studio에서 구조적 데이터 형식(Json, XML, Avro Parquet 등)을 관리하는 Talend 컴포넌트를 개발하고 개선했습니다. 또한 대기 시간과 병목 현상을 방지하기 위해 최적화되고 개발 및 개선했습니다.

• 다양한 유형의 문서 및 메시지를 지원하기 위한 많은 컴포넌트를 개발 했으며, 이를 필터, 변형, 포맷 및 키워드 또는 조건 또는 로직로 처리하도록 개발 / 개선했습니다.

New ELLOTTE 유지보수 프로젝트에서 근무했습니다.

내부 및 외부 엔드포인트 간에 다양한 데이터를 전송하고 마이그레이션하는 ETL 팀을 리드 및 관리 했습니다.

이후 DI / BI 팀의 데이터를 분석하고 시각화하기 위해 DataLake에 데이터를 저장하는 DataLake의 ETL 배치 잡을 디자인 하고 개발했습니다.

또한 내부 데이터를 제공해야 하는 외부 호스트를 위한 잡과 시스템 관리를 위해 SMS, Jira, Mail로 마이그레이션할 수 있는 유틸리티 잡도 개발 및 개선 했습니다.

세부:

• DataLake 배치 잡을 디자인 / 개발 / 테스트 / 유지관리 했습니다.

• 데이터 웨어하우스 잡을 디자인 / 개발 / 테스트 / 유지관리 했습니다.

• 외부 연동 잡을 디자인 / 개발 / 테스트 / 유지관리 했습니다.

• SMS, Jira, Mail로 마이그레이션하기 위해 사전 생성된 유틸리티 잡을 개발하고 유지 관리 했습니다.

• S3, Athena, Google BigQuery, Aurora, Java, Talend 등의 인프라를 유지 관리, 테스트했습니다.

온프레미스 인프라를 AWS 클라우드로 마이그레이션하는 하이브리드 클라우드 환경에서 ETL팀으로 데이터 레이크 아키텍처 개발을 위한 롯데 백오피스 프로젝트에서 근무했습니다.

이 프로젝트는 AWS의 MSA 및 Agile 조직을 기반으로 했으며 ETL 팀은 프런트 엔드 RDBMS 테이블을 데이터 레이크 S3 버킷으로 마이그레이션하기 위해 수행되는 많은 초기 및 증분 잡이 있는 데이터 레이크를 디자인했습니다.

그리고 쿼리 결과를 외부 엔드포인트로 마이그레이션할 수 있도록 AWS Athena로 분석 쿼리를 활용한 잡을 개발했습니다.

세부:

• 데이터 통합 ​​서버 설치 / 관리 / 운영 했습니다.

• 데이터 레이크용 배치 잡을 디자인, 개발 및 테스트했습니다.

• 내부조직 데이터 통합을 위한 잡을 디자인, 개발 및 테스트했습니다.

• 외부 엔드포인트에 제공할 잡을 디자인, 개발 및 테스트했습니다.

• 외부 엔드포인트에서 다운로드할 수 있도록 RDBMS 테이블을 S3로 마이그레이션하기 위한 잡을 디자인, 개발 및 테스트했습니다.

• Google Big Query 테이블을 내부 RedShift로 마이그레이션하기 위해 잡을 디자인, 개발 및 테스트했습니다.

• S3, Athena, Google BigQuery, Aurora, Java, Talend의 소프트웨어를 디자인, 개발 및 테스트했습니다.

기상 정보 시스템 엔진(WISE)에서 폭풍 예측 모델을 디자인, 개발 및 테스트했습니다.

폭풍 예측 모델은 Web UI, Back-End WAS 서버, 예정된 하위 작업자가 기상 데이터를 마이그레이션하는 대규모 기상 데이터 배치 프레임워크로 구현된 기상 상황 내 예측, 상태, 검증, 실시간 온도 및 강수량으로 구성되었습니다.

RDBMS 및 기타 엔드포인트 및 날씨 모델 실행 스크립트를 수정 / 개선 하였습니다.

세부:

• 예측, 상태, 검증, 실시간 기온 및 강수량으로 구성된 하위 시스템을 디자인했습니다.

• GIS를 오버레이하고 다운로드할 수 있도록 예측 모델을 디자인했습니다.

• 시계열 차트와 관측 데이터 및 모델 상태 테이블을 디자인했습니다.

• Weather Model Execution Shell Script가 개선(100개 이상).

• NetCDF 형식 관리 모듈을 개발했습니다.

• 방대한 기상정보를 RDBMS(MySQL)에 로딩하여 정제하고 검증할 수 있도록 WISE Batch Framework 및 Batch Business Processor를 디자인 및 개발했습니다.

(주)데이타투테크놀로지의 주력제품인 JOB-PaSS 클라이언트용 SWT/JFace를 이용하여 2차원 간트차트 및 UI컴포넌트를 디자인, 개발, 테스트하였습니다.

JOB-PaSS는 서버 클라이언트와 사용자 클라이언트로 구성된 배치 스케줄링 제품입니다.

세부:

• 잡의 의존성과 시간관계를 나타낼 수 있는 2차원 간트차트를 디자인 / 개발 하였습니다.

• 배치 대상이 2~30만개 이상일 때 다루어야 할 간트차트를 빠르고 정확하게 표현 하도록 개발하였습니다.

• 차트에 스케일 아웃, 스케일 인 기능을 개발했습니다.

• 표시 및 숨기기 그리드와 범례 등을 개발했습니다.

• 날짜, 키워드, 직업 등의 조건을 갖춘 검색 및 필터를 개발했습니다

• 차트 내 잡 항목 간의 내부 종속성 알고리즘을 개발했습니다.

• SWT/JFace 및 RCP로 UI 컴포넌트를 개발했습니다.

전자상거래 기업 위메프에서 고객에게 메시지를 전달하기 위해 외부 통신사 또는 SNS 호스트에 SMS/MMS/알림톡을 처리할 수 있는 미들웨어 메시지 게이트웨이 서버를 개발했습니다.

API 서버가 메시지를 RabbitMQ로 전송하고 RabbitMQ에서 대기열에서 제외된 메시지가 외부 호스트에 대한 각 비율을 분배하는 논리를 가진 메시지 게이트웨이 서버에 도달할 수 있도록 하는 메시지 게이트웨이 서버를 디자인 / 개발 / 테스트했습니다.

또한 각 호스트의 결과가 ElasticSearch 분석 및 상태 문서를 업데이트할 수 있도록 개발되었습니다.

세부:

• 100,000개 이상의 실시간 메시지와 예약 메시지를 처리할 수 있는 미들웨어 서버를 디자인했습니다.

• 예약된 경우 1회당 1000,000개 이상의 메시지를 처리하도록 디자인(HW 사양연동)

• 예약된 경우 초당 800개 이상의 메시지를 처리하도록 디자인(HW 사양 연동)

• RabbitMQ 대기열/교환을 디자인하고 관리했습니다.

• RabbitMQ 게시자 및 구독자 클라이언트를 디자인하고 개발했습니다.

• 수신된 결과 보고서에서 ElasticSearch 분석/상태 문서를 업데이트하도록 디자인되었습니다.

• 각 외부 호스트의 분배 비율 정책을 적용하기 위한 로직을 디자인하고 로직을 구현했습니다.

• DB에서 배분율 정책을 로드하고 적용할 수 있도록 DB 모듈을 디자인했습니다.

전투 상황을 제어, 기술, 영향을 미칠 수 있는 전투 효과 기술 소프트웨어(CEDS)를 개발했습니다.

KCTC 서버에 대한 서버 모니터링 프레임워크를 개발했습니다. CEDS 소프트웨어를 사용하여 Player Unit(무선 네트워크 단말기)과 통신하여 다양한 필드 데이터를 DataCenter로 전송할 수 있었습니다.

입력 컴포넌트와 2D 지도 등 각 기능에 적합해야 하는 GUI 컴포넌트로 구성되어 있습니다.

또한 KCTC 서버 상태를 모니터링하기 위한 JMX API 및 에이전트 리소스를 기반으로 표시할 수 있는 2D 차트 대시보드가 ​​있는 KCTC 모니터를 디자인, 개발 및 테스트했습니다.

세부:

• 디자인했었다 전투효과장치(CEDD)와 통신하기 위한 직렬통신(RS485) 모듈을 개발했습니다.

• 사용자 인터페이스를 개발했습니다.

• 위도경도 좌표 관리 모듈 개발했습니다.

• KCTC 현장 미니맵용 2D 라이브러리 개발했습니다.

• 시리얼 통신(RS485) 모듈 개발했습니다.

• 서버 상태 수집 에이전트 개발했습니다.

• Log 모듈을 개발했습니다.

• 에이전트와 GUI 클라이언트 간 통신을 위한 TCP 소켓 모듈 개발했습니다

• Java Swing을 사용하여 UI 클라이언트를 개발했습니다.

• 대시보드에서 2D 동적 차트를 개발했습니다.

여단급 KCTC 사업에 참여하여 전투훈련장과 데이터센터 간 데이터 전송이 가능한 통신서버를 디자인, 개발, 테스트하였습니다. 전투 현장 원시 데이터를 데이터센터로 전송하고 비즈니스 로직을 적용해 상위 객체에 생성, 처리, 조작할 수 있도록 데이터 서버와 실시간으로 통신했다.

1500TPS 이상의 메시지 처리량을 처리할 수 있습니다. HA(High Availability)를 위해 디자인되었습니다.

비즈니스 프로세스의 전체 트랜잭션, DB 액세스 및 클라이언트 전송을 포함하여 1200 TPS 이상의 메시지 처리 처리량을 보장하도록 데이터 센터의 애플리케이션 서버(WAS)를 개선 했습니다. 또한 안정성과 지속 가능성을 위해 위 두 서버의 JVM 프로필을 조정했습니다.

세부:

• 통신 서버 아티팩트를 디자인, 개발 및 테스트했습니다.

• 대규모 데이터 네트워크 전송을 위한 메시지 프로토콜을 디자인했습니다.

• 무선기기와의 통신을 위한 TCP 소켓 모듈 개발했습니다.

• 비트팩/언팩 모듈 개발했습니다.

• 멀티 스레드 비즈니스 프로세서 모듈을 개발했습니다.

• Object Pool Manager 개발했습니다.

• 메시지 저장/복원을 위한 메모리/파일 동기화 모듈 개발했습니다.

• Netty를 이용하여 Data Server로 데이터를 전송하는 네트워크 모듈을 개발하였습니다.

• 장애가 발생했을 때 HA 모듈을 개발했습니다.

• Log 모듈을 개발했습니다.

• Communication Server의 JVM 힙 메모리를 프로파일링을 수행했습니다.

• Data Server에서 비즈니스 컨트롤러 및 DAO 모듈을 개발하였습니다.

• 대용량 데이터 성능 테스트를 위해 데이터 서버 모듈을 개선하고 조정했습니다.

• Data Server의 JVM 힙 메모리를 프로파일링을 수행했습니다.

여단급 KCTC 선행 프로젝트에 참여했습니다.

여단급 KCTC의 아키텍처를 분석 및 구축하고 프로토타입을 개발했습니다.

여단급 확장 분석 및 디자인 여단급 기능 시제품 개발 MND-AF 방법론을 활용한 여단급 KCTC 논리 디자인을 수행했습니다.

세부:

• 자바, 스윙, 톰캣, JSP, 자바스크립트, JDBC, SQL, 오라클, 톰캣 등 각종 기술 스택 검토 및 분석

• 데이터 모델링 및 해당 모델에 따른 프로토타입 디자인 / 개발

• 논리 모델링 및 시나리오 검토 / 개발

KCTC의 유지보수 프로젝트에 참여했습니다.

비전투원을 위한 서바이벌게임인 Combat Survival Championship을 개발하였습니다.

KCTC 서버 및 클라이언트 성능이 향상되었습니다.

기능을 개선하고 Combat Survival Championship용 대시보드를 개발했습니다.

세부:

• KCTC 데이터 서버 및 클라이언트 개선

• Combat Survival Championship 대시보드 개발

• Combat Survival Championship 점수 계산 모듈 개발

• Combat Survival Championship을 위한 플레이어 위치 및 전투 경로 추적 로직을 개발했습니다.

• Javascript로 웹 폰트 엔드를 개발했습니다.

• JSP 컨테이너 및 DB 핸들링을 개발했습니다.

KCTC(과학화전투훈련단)는 육군 전투훈련 시스템입니다.

훈련 시뮬레이션 데이터를 제작 및 처리할 수 있는 훈련 시뮬레이션 부분과 전투 현장 데이터를 데이터 센터로 보낼 수 있는 관측 제어 부분을 디자인 및 개발했습니다.

시뮬레이션 모듈은 전투 시뮬레이션 상황의 비즈니스 로직을 처리하도록 디자인되었으며 관측 제어에는 가상 상황 시뮬레이션을 위해 데이터 센터로 전송되는 전투 현장 입력 데이터에 대한 GUI 구성 요소가 있었습니다.

세부:

• 훈련 시뮬레이션 제어 SW 프레임워크 개발 : 실시간 처리 시뮬레이션 모듈 프레임워크 디자인 및 개발했습니다.

• 지뢰밭, 장애물밭 시뮬레이션 모듈 개발했습니다.

• 지뢰밭의 플레이어를 탐색하고 지뢰밭의 사상자 피해정도를 계산하는 로직을 디자인했습니다.

• 장애물을 극복하기 위해 처리하는 로직을 디자인했습니다.

• 각 시뮬레이션 사례에 맞게 멀티스레딩 시뮬레이터를 디자인했습니다.

• DB 접근을 위한 JDBC / ODBC 모듈 디자인했습니다.

• 전투 현장을 설명하고 가상 데이터 입력을 입력하기 위한 GUI 프레임워크를 디자인했습니다.

• 현장 상황 데이터를 기술하는 가상 탄도, 지뢰밭, 장애물 필드에 대한 클라이언트 UI 및 네트워크 모듈을 디자인 및 개발했습니다.

• 네트워크 장치로 데이터를 전송하기 위해 Java로 직렬 통신 모듈을 디자인했습니다.