미리보기
기본 정보
안녕하세요. 한건우 입니다. GAN, Diffusion 등 컴퓨터 비전 생성 모델 개발을 하고 있습니다. 딥러닝 모델을 활용하여 컨텐츠 제작 파이프라인을 개선하는 시도들을 하고 있습니다.
기술 스택
PyTorch, FastAPI, Tensorflow, 딥러닝, 머신러닝, Stable Diffusion, Python, gan, OpenCV
경력
주식회사비브스튜디오스
팀장 | 서비스개발팀 | 재직 중
2022.01. ~ 재직 중 (2년 11개월)
연구소에서 개발된 ML 모델들을 활용한 서비스 개발 총괄 (팀 내 자체개발도 진행)
사용자 사진을 딥러닝 모델로 바꿔주는 AI 무인 포토부스 개발
포토부스용 B2B 딥러닝 API 서비스 개발 (4개월간 매출 1억)
사내 아티스트 팀(VFX)에서 사용하는 AI 인하우스툴 개발 및 API 속도 최적화 (98.7s -> 18.3s)
서비스에서 자동으로 데이터를 수집, 정제, 학습, 평가하는 데이터 라이프 사이클 설계 및 구축
펄스나인주식회사
연구원 | 연구소
2021.04. ~ 2021.06. (3개월)
소속 버추얼 아이돌 영상 합성용 FaceSwap 모델 학습 및 성능 개선
데이터 부족을 생성 모델을 활용하여 추가 데이터 생성하는 연구 진행
영상 합성 전/후처리를 위한 Segmentation 모델 학습 및 성능 개선
프로젝트
PLAYON (AI 무인 포토부스)
비브스튜디오스
2023.05. ~ 진행 중
개발 총괄
Cartoonization, FaceSwap 모델 학습 및 성능 개선
PLAYON B2B API 서비스 아키텍처 설계 및 개발 (4개월간 매출 1억 달성)
유저 데이터를 연구/성능 개선에 사용할 수 있도록 데이터 라이프사이클 (전/후처리, 학습 자동화) 설계 및 개발
UI 리소스를 동적으로 변경 가능하도록 관리하는 관리자 기능 설계 및 개발
사업기획에서 매출, 컨텐츠 사용량 등을 분석할 수 있도록 BI 대시보드 운영
생성모델 기반 VFX 인하우스툴
비브스튜디오스
2022.08. ~ 2023.04.
인하우스툴 개발 총괄
Nuke FaceSwap, ReAging 플러그인 개발
VFX 툴인 Nuke에서 내부에서 개발된 AI 기능을 사용할 수 있는 플러그인 개발
Unity 클라이언트 인하우스툴 개발
FaceSwap, SuperResolution API 개발 (FastAPI)
FaceSwap API 720p 30 fps 15초 영상 기준 81.5% 변환시간 개선 (98.732s -> 18.316s)
ML 활용 체험형, 미디어 아트 컨텐츠 개발 및 테크 슈퍼바이징
비브스튜디오스
2022.01. ~ 2023.06.
삼성 강남 플래그쉽 스토어 체험형 컨텐츠 개발 (FaceSwap)
FastAPI를 사용한 ML 서버 FaceSwap 영상 합성 API 개발
15초 720p 영상을 전체 체험 시간 중 할당된 시간(9초) 이내로 영상 합성 작업이 완료되도록 속도 최적화
삼성 강남 플래그쉽 스토어 LED Wall 미디어 컨텐츠 테크 슈퍼바이징 (Diffusion)
고해상도 이미지 생성 파이프라인 개발
엔지니어 2명과 아티스트 2명으로 3일만에 제작하여 제작 비용 획기적으로 감소 (맨먼스 88% 감소)
JTBC 제 20대 대통령 선거 개표방송 합성 테크 디렉팅
아티스트 그룹과 FaceSwap 합성을 위한 촬영 방식, 영상 제작 파이프라인 확립
60대 이상 동양인 얼굴을 수집하기 위해, 웹 크롤러를 개발
딥러닝 모델을 활용한 데이터 증강
얼굴 (FaceSwap, ReAging, 3D) 생성모델 연구개발
비브스튜디오스
2022.03. ~ 2022.08.
디지털 휴먼 컨텐츠 제작 파이프라인 리서치 (2D, 3D)
고숙련 모델러 없이 딥러닝 모델을 활용하여 리얼리스틱한 디지털 휴먼의 텍스처 개선
FaceSwap 최신 논문 리서치 및 구현
FACS(Facial Action Coding System) 기반 얼굴 학습 데이터 수집 파이프라인 구축
FaceSwap, identification 등 분야별로 쓰이는 alignment 전처리 코드 구현
처리속도 향상을 위해 기존 CPU 연산 alignement를 GPU 연산으로 수정
이터니티 인터뷰 영상 퀄리티 개선 (FaceSwap, Segmentation)
펄스나인
2021.04. ~ 2021.06.
치아 부분을 Segmentation 할 수 있도록 라벨링 작업 수행
Segmentation 모델을 class 추가한 데이터셋으로 학습
FaceSwap시 치아 부분을 합성하지 않도록 Alpha mask 조정
포트폴리오
교육
네이버 부스트캠프 Tech AI 2기
사설 교육 | Computer Vision
2021.07. ~ 2021.12. | 졸업
선문대학교
대학교(학사) | 전자공학
2014.03. ~ 2020.02. | 졸업
대외활동
개인 프로젝트
개인
Diffusion2GAN의 핵심 모듈인 E-LatentLPIPS 구현
Pixel Space에서 계산하는 LPIPS 대비 연산시간 89.7% 감소, 메모리 사용량 99.6% 감소 효과
checkpoint 포함 오픈소스로 공개
사진 1장으로 게임 캐릭터 커스터마이징하기
face2parameter 논문 구현
Webcam과 사진 1장으로 버추얼 유튜버 데뷔하기
웹캠 이미지에서 landmark estimation 후 포즈 vector 추출 구현
virtual cam 연동하여 Zoom, Teams 등 화상 프로그램에서 사용할 수 있게 구현
수상내역
기타
OCR 인공지능 학습데이터 해커톤 / 최우수상 / 21.12 / 한국지능정보사회원(NIA) 주최
금융데이터 OCR 대회 2등 / 27팀 참가
Alchera 눈바디 AI 챌린지 / 최우수상 / 21.11 / 알체라 주최
Body Part Segmentation 대회 2등 / 33팀 참가
자격증
정보처리기사
기사 | 한국산업인력공단
2019.11.
외국어
영어
일상 회화 가능