미리보기

국가기준데이터 연계에이전트 및 수집에이전트 개발
항공교통게이터 연계에이전트 개발
항공교통데이터 빅데이터 적재
항공교통데이터 연계 모니터링 플랫폼 및 분석 플랫폼 개발
빅데이터와 큐브리드 연계 에이전트 개발

참여인원/기여도: 6명 참여 (40% 기여)

 주요 업무

대용량 항공교통데이터 ATM 센터 연계

• 항공교통데이터를 안정적으로 ATM 센터로 전송하는 연계 시스템을 구축 및 운영. 하루 평균 2TB 이상의 데이터를 실시간으로 처리하고 연계하며, 데이터 처리 지연을 최소화하기 위한 최적화 작업 수행

빅데이터 큐브리드 연계 및 적재

• 고객 요청에 따라 항공 데이터 센터에서 필요한 데이터를 큐브리드로 적재. 데이터 적재 과정에서 발생할 수 있는 성능 문제를 해결하기 위해 Spring Batch를 이용한 대용량 데이터 처리 파이프라인을 설계 및 구현

Hadoop Ecosystem 안정화

• 항공교통데이터의 대규모 저장을 위해 Hadoop 기반의 데이터 저장소를 안정화. 이를 위해 데이터 압축 및 아카이빙 전략을 최적화하여 디스크 사용량을 30% 절감하고, 데이터 처리 속도를 15% 향상

연계 플랫폼 및 분석 플랫폼 고도화 및 유지보수

• 기존 플랫폼을 고도화하여 시스템 안정성 및 확장성을 개선

 기술 스택

Back-End: Spring Boot, JPA, Spring Batch, Apache Kafka, Kubernetes

Database: 큐브리드 (Cubrid), MySQL

Big Data: Hadoop Ecosystem (HDFS, Hive)

  성과

큐브리드 데이터 적재 및 제공

• 항공 데이터 센터의 요청에 따라 필요한 데이터를 효율적으로 큐브리드에 적재하여 처리 시간을 평균 20% 단축. 안정적인 데이터 제공을 통해 실시간 항공 데이터 활용이 가능해짐

ATM 센터 연계 안정화

• 매일 처리되는 대용량 항공교통데이터를 ATM 센터로 안정적으로 연계. 데이터 손실률을 0.5% 이하로 유지하면서 시스템 장애 시간을 15% 줄여 연계 시스템의 신뢰성을 크게 향상

Hadoop Ecosystem 안정화

• Hadoop 기반 데이터 저장 시스템에서 소규모 데이터를 아카이브하고 하나의 파일로 묶는 방식으로 데이터 처리 효율을 극대화. 이를 통해 시스템 가동률을 98% 이상으로 유지하고, 데이터 처리 속도를 평균 25% 개선

연계 플랫폼 대시보드 개선

• 연계 플랫폼의 UI를 개선하여 더 시각적이고 직관적인 대시보드를 제공. 사용자 경험이 향상되었으며, 플랫폼 관리자가 데이터 흐름과 시스템 상태를 실시간으로 모니터링하고 이슈를 빠르게 파악할 수 있게 됨

분석 플랫폼 대시보드 개선

• 분석 플랫폼의 대시보드에서 Pod별 리소스 사용량을 제공하는 기능을 추가하여 Kubernetes 기반 환경에서의 효율적인 리소스 관리가 가능해짐. 이외에도 시스템 오류 발생 시 즉각적인 알람 기능을 도입해 문제 발생 시 30% 더 빠르게 대응할 수 있게 됨

 참여인원/기여도: 6명 참여 (40% 기여)

주요 업무

대용량 항공교통데이터 ATM 센터 연계

• 항공교통데이터를 안정적으로 ATM 센터로 전송하는 연계 시스템을 구축 및 운영. 하루 평균 2TB 이상의 데이터를 실시간으로 처리하고 연계하며, 데이터 처리 지연을 최소화하기 위한 최적화 작업 수행

연계 플랫폼 설계 및 개발

• Spring Boot와 React를 이용하여 실시간으로 항공교통 데이터의 연계를 모니터링하고, 적재된 데이터 값을 확인하며, 정합성 검증 및 데이터량 통계 확인이 가능한 플랫폼을 설계 및 개발

분석 플랫폼 설계 및 개발

• Hadoop에 적재된 데이터를 분석하는 플랫폼을 Kubernetes 기반으로 구축. 분석 환경 생성, 스케줄 기반의 분석 작업 자동화, Kubernetes 자원 모니터링 실시간 시각화 등의 기능을 Spring Boot와 React를 기반으로 개발.기능을 SpringBoot, React 기반 으로 개발

기술 스택

Back-End: Spring Boot, JPA, Apache Kafka, Kubernetes

Front-End: React

Database: MySQL

Big Data: Hadoop Ecosystem (HDFS, Hive)

성과

ATM 센터 연계 안정화

• 매일 처리되는 대용량 항공교통데이터를 ATM 센터로 안정적으로 연계. 데이터 손실률을 0.5% 이하로 유지하면서 시스템 장애 시간을 15% 줄여 연계 시스템의 신뢰성을 크게 향상

Hadoop 데이터 적재 모니터링 제공    

• 대용량 항공교통 데이터가 Hadoop에 정상적으로 적재되는지 실시간으로 모니터링하는 시스템을 구축하여 데이터 관리의 효율성을 증대

분석 플랫폼 구축

• Kubernetes 기반의 분석 플랫폼을 통해 Hadoop에 적재된 데이터를 활용한 분석 작업을 할 수 있는 환경 제공

  참여인원/기여도: 6명 참여 (40% 기여)

주요 업무

대용량 항공교통데이터 ATM 센터 연계

• Spring Boot와 Apache Kafka를 활용하여 대용량의 항공교통 데이터를 ATM 센터에 안정적으로 연계. Kafka의 linger.ms 및 batch.size 등의 속성값을 조정해 최적의 성능을 확보하기 위한 실험을 다수 진행하였으며, 이를 통해 적절한 Kafka 파티션 개수를 결정하여 데이터 처리 성능을 최적화 

빅데이터 적재 및 관리

• Hadoop 기반의 Hive ORC 테이블에 대용량 데이터를 효율적으로 적재. 데이터의 성능 최적화를 위해 ORC 포맷을 활용하고, 주기적으로 Hive 테이블의 파티션을 생성해 데이터 조회 속도를 향상   

oozie workflow 구성

• Oozie를 사용해 대규모 데이터 적재 작업을 자동화하고, 주기적으로 데이터를 압축하여 저장함으로써 디스크 사용량을 최소화. 이를 통해 데이터 관리의 효율성을 크게 향상

기술 스택

Back-End: Spring Boot, Apache Kafka

Database: MySQL

Big Data: Hadoop Ecosystem (HDFS, Hive), Oozie

성과

ATM 센터 연계 안정화

• 항공교통 데이터를 ATM 센터에 안정적으로 연계하여 데이터 손실률을 0.5% 이하로 유지. Kafka 파티션 최적화로 인해 데이터 처리 성능이 20% 향상되었고, 시스템의 안정성도 강화됨

효율적인 데이터 관리

• Oozie Workflow를 통해 대용량 데이터를 ORC 포맷으로 압축하여 디스크 사용량을 25% 절감. 주기적인 Hive 파티션 생성으로 조회 성능을 30% 개선함

 참여인원/기여도: 6명 참여 (70% 기여)

주요 업무

원천기관 데이터 연계 에이전트 개발

• Spring Boot와 Kafka를 활용하여 원천기관의 데이터를 기준 데이터로 연계하는 에이전트를 개발. 데이터 전송 시 대량의 데이터를 효율적으로 처리하기 위해 Kafka의 비동기 처리와 Spring Boot의 비동기 호출을 최적화

외부망 데이터 제공 에이전트 개발

• 외부 기관과의 대량 데이터 통신을 위해 MyBatis의 fetchSize 및 resultHandler를 활용하여 효율적으로 데이터를 제공하는 에이전트를 개발. 대용량 데이터를 안정적으로 처리할 수 있는 최적화된 구조 설계

기준데이터 4차 설계 및 안정화

• 기준데이터 4차 설계 및 안정화를 통해 시스템의 신뢰성과 성능을 크게 개선. 데이터 전송 및 적재 과정의 안정성 강화를 위해 연계 시스템의 구조를 최적화

기술 스택

Back-End: Spring Boot, Apache Kafka, MyBatis

Database: Tibero

성과

데이터 연계 안정화

• 처리속도 개선을 통한 원천기관 데이터를 기준데이터로 안정적으로 연계

대규모 데이터 제공 성공       

• 외부망을 통해 대규모 데이터를 안정적으로 제공하며, MyBatis의 fetchSize 및 resultHandler를 최적화하여 데이터 처리 속도가 20% 향상

 참여인원/기여도: 7명 참여 (40% 기여)

주요 업무

국가기준데이터 홈페이지 추가 페이지 개발 및 성능 개선

• 고객 요청에 따른 추가 페이지 개발을 개발하고 기존 개발되있던 페이지의 쿼리 최적화를 통한 조회 속도 개선

기준데이터 통계 페이지 개발

• 기존에 없던 기준데이터 통계 정보를 시각화하는 페이지를 개발. 고객 요청에 맞춰 데이터 통계를 쉽게 확인할 수 있는 인터페이스를 설계하고, 통계 데이터를 그래프 형태로 시각화

주민기준데이터 연계 에이전트 개발

• Spring Boot와 Kafka를 사용하여 주민기준데이터를 기준데이터로 연계하는 에이전트를 개발. 데이터를 안정적으로 처리하고, 이를 ElasticSearch에 적재한 후 Grafana를 통해 시각화하여 실시간 모니터링 가능

에이전트 상태 모니터링 시스템 구축

• 각 기관에 설치된 에이전트의 상태를 수집하여 국가기준데이터 서버로 전달하는 시스템을 구축. Spring Boot와 Kafka를 활용해 에이전트 메트릭 정보를 수집하고 ElasticSearch에 적재하여 Grafana로 시각화

기술 스택

Back-End: Spring Boot, Apache Kafka, MyBatis

Front-End: JSP, jQuery

Database: Tibero, ElasticSearch

Tools: Grafana

성과

기능 개선 및 유지보수

• 국가기준데이터 추가 페이지 개발 및 기존 페이지의 버그를 수정하여 고객의 오류 문의에 신속히 대응

통계 시각화 및 관리 효율성 증대       

• 기준데이터 통계 정보를 표와 그래프로 시각화하여 고객이 데이터를 쉽게 분석할 수 있도록 함. 뿐만아니라 표와 그래프를 엑셀로 다운받을수 있게 만들어서 관리 효율성을 높임

실시간모니터링 시스템 구현

• Grafana를 통해 에이전트 상태와 Kafka를 통한 데이터 연계 상태를 실시간으로 확인할 수 있는 시스템을 구축하여 운영 효율성과 문제 대응 시간을 크게 단축함

• 참여인원/기여도 : 15명 참여 (15% 기여)
• 주요 업무
  • 국가기준데이터 홈페이지 개발 및 개선
  • 행정정보공동이용시스템 홈페이지 개발 및 구축
• 기술 스택 :
  • front-end : jsp, jquery
  • back-end : springBoot , Mybatis
• 성과 :
  • 국가기준데이터 페이지 개발 및 모든 페이지 css 변경
  • 행정정보공동이용시스템 개발 및 버그 수정