미리보기

패스트캠퍼스 주관 UpStage AI Lab 2기 수료

• 과정 수료, 우수 수료자 및 발표상 수상
  2024.07 – 2024.07

• 경진대회 베이스라인 사전 작성, 배포 및 전체 공유회 진행
  2024.03 – 2024.06

• 과정 내 소그룹 자세 스터디 멘토, 리딩
  2024.03 – 2024.06

• 과학 지식 질의 응답 경진대회 2위
  2024.06 – 2024.07

• 일상 대화 요약 경진대회 1위
  2024.05 – 2024.05

• 문서 타입 이미지 분류 경진대회 8위
  2024.04 – 2024.04

• 서울시 주택가격 예측 경진대회 2위
  2024.03 – 2024.04

• 당뇨병 구분 머신러닝 모델 개발
  2024.01 – 2024.01

• 이미지 생성 음성 챗봇 개발
  2023.12 – 2023.12

상명대학교 석사 과정 졸업

• 원격 심박 추론(rPPG) 결과 정밀도 향상을 위한 해상도 보간 기법 연구, 개발 및 논문 게재
  2023.09 – 2024.01

• 심박 변이도(HRV)를 이용한 내제적 감성 인식 연구, 개발 및 논문 게재
  2022.12 – 2024.01

• 원격 심박 추론(rPPG) 모델 연구, 개발 및 논문 게재
  2022.07 – 2024.01

• 심박 변이도(HRV)를 이용한 내제적 감성 인식을 위한 유효 지표 분석 및 학술대회 발표
  2023.02 – 2023.06

• 멀티모달 감정 분류 모델 연구 및 개발
  2022.04 – 2022.05

• 홍채 인식 및 크기 변화 측정 모델 개발
  2022.03 – 2022.04

사내 시험 툴 개발

공사장 헬멧 착용 분류 모델 개발
2020.12 – 2021.02
TensorFlow, Keras 기반 Object detection 모델을 구성, 튜닝하여 공사장에서 안전모 착용 여부 실시간 tracking 모델 개발

한국표준협회 주관 인공지능 청년 혁신가 양성 과정 부트캠프 수료

• 혼잡 시설에서 미아 인식 모델 개발
  2020.08 – 2020.11
• 2020 서울 아파트 실거래가 예측 개발
  2020.07 – 2020.08

Purpose

• 1~30B 크기의 최신 LLM을 한국어 데이터셋 기반 full fine-tuning 및 배포

Details

• 최신 sLLM(7~13B) 모델 fully fine tuning 및 HuggingFace hub 업로드

• Lllama 3.1, Gemma 2, Mistral Nemo 등

• 수집한 약 300만개의 한국어 오픈 데이터셋을 instruction 형식으로 전처리

• DeepSpeed를 이용한 model parallel, mixed precision을 이용한 fully fine tuning

• Sharded model weights를 합쳐서 safetensors 변환 및 분할 저장하여 HuggingFace hub 업로드

Roles

• 데이터 수집 및 전처리, 모델 학습 및 업로드, 성능 검증

Links

• https://github.com/DimensionSTP/llm-korean-fine-tune

• https://huggingface.co/DimensionSTP

Tags

• LLM Fine-tuning

• PyTorch, Lightning, Transformers, Hydra-core, WandB, HuggingFace Hub

Challenge

• Upstage AI Lab 2기 Natural Language Processing 경진대회

• 한국어 번역 데이터셋을 이용, 대화 내용을 통해 요약 내용을 추론하는 대회

• 영어인 원본 데이터셋을 번역한 데이터이며 적은 데이터 양, 영어 원어민의 요약문에서 나오는 번역 어투로 인한 성능 향상의 한계 존재

Details

• Model inference 및 ensemble 에 적용하기 위한 Encoder-Decoder type(BART, T5) 모델 full-finetuning

• Model inference 및 ensemble 에 적용하기 위한 SLM(7~13B) 모델 full-finetuning, LoRA, QLoRA 진행

• Multi-GPU machine에서 SLM fine-tuning 속도 및 용량 최적화를 위한 기법(DeepSpeed config, gradient checkpointing, BitsAndBytes, Mixed-precision 등) 학습 및 적용

• SLM LoRA를 이용한 fine-tuning 시 결과 최적화를 위한 hyper-parameters 조합 조사 및 적용

Results

• Reverse Engineering 이용, 원본 데이터셋에 가깝게 복구 및 영어 데이터 및 모델을 학습하여 압도적 차이로 1등

Roles

• 데이터 전처리, 모델 학습 및 앙상블, 결과 검증, 팀 리딩

• 대회 참여 전체 인원(타 팀 포함) 대상으로 사용성이 향상된 베이스라인 공유 및 설명회 진행

• 최종 결과 발표 수행 및 대회 데이터 구성 공식 비판을 통한 관계자와 피드백 시간 마련

Links

• https://github.com/DimensionSTP/upstage-nlp

• https://dimensionstp.github.io/competition/upstage_NLP_competition/

• https://github.com/DimensionSTP/upstage-nlp-baseline

Tags

• Dialogue Summarization

• PyTorch, Lightning, Transformers, Hydra-core, WandB

Purpose

• 얼굴 영상만으로 BPM 및 심박 변이도를 측정하는 기술 연구 및 개발

Details

• CoAtNet의 구조를 3D로 확장하여 사용

• 얼굴의 좁은 영역에서의 미세 혈류 변화를 안정적으로 학습, 추론할 수 있는 Time difference convolution 적용

• 단순 regression task가 아닌, label distribution learning 적용

• Temporal domain과 Frequency domain의 loss function을 학습의 진행 정도에 따라 가중치를 다르게 적용하여 혼합하는 mixed dynamic loss function 적용

Roles

• 데이터 수집 및 전처리, 연구 및 개발, 모델 훈련 및 관리, 결과 검증, 논문 작성

Results

• 실시간 추론 가능한 End-to-End rPPG 모델 중 정확도 2위

• VIPL-HR-V1 데이터셋 기준 RMSE(BPM) 7.56, MAE(BPM) 4.84

Links

• https://github.com/DimensionSTP/rppg-project

Tags

• Remote Photoplethysmography(rPPG)

• PyTorch, Lightning, Hydra-core, WandB, Einops, OpenCV