미리보기

담당 역할

• B2B 법률 서비스 Agent 개발

  • PyTorch를 사용한 sLLM Pre-training

  • PyTorch를 사용한 Transformer Model 개발

  • 법률 데이터 수집 및 전처리

  • Data Architecture 설계

• 사내 챗봇 개발

  • OpenAI의 Fine-tuning API를 이용한 GPT 모델 Fine-tuning

  • LangChain을 이용한 Chain 개발 및 대화 메모리 관리

  • Prompt Engineering

문제 파악

• 도메인에 특화되지 않은 기존 GPT 모델이 사용자 질의에 대해 적합하지 않은 응답을 생성

• 기존 챗봇의 응답 정확도와 자연스러움이 부족해 사용자가 불편함을 겪음

• Lambda 모듈의 실행 시간이 길어 실시간 응답 서비스에 병목이 발생

문제 해결

• 법률 데이터를 수집 및 정제하여 모델 학습 데이터로 사용

• 성능 지표(F1 Score, ROUGE, 사용자 평가 등)를 설정하고 반복적으로 평가 및 개선

• 코드 최적화, 병렬 처리, 캐싱 전략 적용으로 Lambda 모듈 실행 시간 최적화

주요 성과

• sLLM Pre-training으로 기존 Base-model 대비 정확도를 약 20% 향상

• GPT모델 Fine-Tuning으로 기존 Base-model 대비 사용자 만족 평가 25%P 향상

• Chat History 메모리 관리를 통해 평균 소모 토큰 갯수 80% 감소, 속도 최대 2배 향상

• Transformer Model의 분류 정확도 0.917 달성

• Lambda 모듈의 실행시간을 700ms에서 10ms로 단축

담당 역할

• DB 리팩토링

• WS 및 WAS 구축

• 데이터 시각화

문제 파악

• 과도한 테이블 분리 -> 다중 조인 증가 -> 쿼리 성능 저하

• 데이터 확인이 어려움

문제 해결

• 구조 리팩토링, 인덱싱

• 코드 테이블 설계 및 구축

• Enum을 이용한 상태 관리

• 망 구축 데이터 차트 시각화

주요 성과

• 쿼리 실행 시간 평균 30~50ms, 기존 대비 약 70~85% 감소

• 기존 서비스 대비 사용자 만족도(CSAT) 50.2%P 향상

담당 역할

• B2B 법률 서비스 웹 사이트 개발

  • UX/UI 설계

  • System Architecture 설계 및 구축

주요 성과

• DOM 크기 축소, 이미지 압축, 코드 최적화 등을 통한 Lighthouse 지표 성능 30%P 개선

• 클라우드 리소스 활용 최적화로 운영 비용 20~40% 절감

• 로그 모니터링 시스템 구축

개요 : 사용자 관심사 기반 문화 예술 컨텐츠 추천 시스템/서비스
참여도 : PMO/PL 62% 개발인원 : 5인 -> 4인

담당 역할

• LangChain, LangGraph를 사용한 Modular RAG Pipeline 설계 및 구축

• LangSmith, RAGAs를 활용한 RAG Pipeline 실시간 비용 및 성능 모니터링

• 비용 및 성능 이상 지표에 대한 Slack Logging Alert 기능 구현

• RAGAs를 활용한 RAG Pipeline 평가 및 개선

• PyTorch를 사용한 OCR Model Fine-tuning

• CoT, GoT 기법을 응용한 Prompt Engineering

• Streamlit을 사용한 Web Application 개발

• MongoDB Database 구축 및 Clustering

• AWS Cloud Architecture 설계 및 구축

• Git/Github, Zira를 이용한 프로젝트 및 팀 관리

• Docker, AWS를 이용한 Application 배포

주요 성과

• LangGraph를 이용하여 각 에이전트의 파이프라인 전체 동작 속도를 1m 35s↑에서 30s↓로 대폭 개선

• 사용자 쿼리에 따라 유동적으로 HyDE 역할을 수행하는 모델을 변경하여 비용을 2배 절감

• RAGAs 0.2버전에서 100개의 LangChain Documents와 3개의 페르소나를 사용한 평가 데이터셋으로 각 평가지표 부문에서 평균 점수 0.94~1.0 달성

• Easy-OCR 모델을 Fine-tuning하여 Confidence Score를 기존 평균 0.61에서 0.976으로 성능 개선

상세 프로젝트 설명 링크 : https://www.hon2yt2ch.life/projects/museify

개요 : 스택오버플로우 개발언어 맞춤형 질문 탐색기
개발 인원 : 1인

담당 역할

• pandas을 사용한 데이터 분석 및 전처리

• LangChain, LangGraph를 사용한 Agentic RAG 파이프라인 설계 및 구축

• RAGAs를 사용한 RAG 파이프라인 평가 및 개선

• Streamlit을 사용한 웹 애플리케이션 개발

• LangSmith를 이용한 프로젝트 추적 모니터링 및 비용 관리

주요 성과

• RAG 평가지표를 바탕으로 프롬프트를 증강시키는 방식(Re-Training (Hidden Multi-Turn))을 사용 시 일부 결과에서 성능 개선이 이루어지는 것을 확인

  • Context Recall 부문에서 1.0 스코어를 유지

  • Faithfulness에서 약 15~20%정도의 성능 향상

• 각 Embedding 모델과 Reranker 모델을 이용한 비교 수치를 통한 모델 평가 결과 수집

상세 프로젝트 설명 링크 : https://www.hon2yt2ch.life/projects/stackoverflow-qanda-finder

개요 : 기업 내부 서비스 가이드 문서 검색 챗봇
참여도 : 60% 개발인원 : 2인

담당 역할

• Parameter-Efficient Fine-Tuning(PEFT) 기법을 사용한 LLM Supervised Fine-Tuning(SFT) 진행

• LangChain, LangGraph를 사용한 Modular RAG Pipeline 설계 및 구축

• LangSmith를 이용한 프로젝트 추적 모니터링 및 비용 관리

• RAGAs를 활용한 RAG Pipeline 평가 및 개선

• Prompt Engineering

• Docker를 이용한 Application 배포

주요 성과

• 회사 내부 코퍼스로 SFT를 진행하여 답변 품질 향상

• Cache Vector DB를 구축하여 기대 비용 80% 감소

• 기존 프로젝트들에서 사용되던 일부 모듈들을 재사용하여 RAG Pipeline 구축 기간 단축

개요 : 구직자의 관점으로 바라보는 취업 플랫폼
참여도 : PM 64% 개발인원 : 4인 -> 7인 -> 8인

담당 역할

• AWS SDK를 이용한 데이터 수집 Lambda 모듈, Batch 워크로드 구현

• PyGWalker를 사용한 시각적 데이터 분석

• PySpark를 사용한 ETL Process Glue Pipeline 구현

• Hugging Face Transformer 모델 평가 및 비교

• 뉴스 데이터 감성 분석

• PyTorch, Scikit-learn을 사용한 기업 전망 예측 Model 개발

• Vue.js를 사용한 Frontend 개발

• Git/Github Issue, Project를 이용한 프로젝트 및 팀 관리

• AWS MSA Cloud Architecture 설계 및 구축

• Docker, AWS를 이용한 Application 배포

주요 성과

• 누적 사용자 1053명 집계(오픈채팅방, 각 학교 커뮤니티, 교육지점 등에 마케팅)

• 각 기업에 대한 조회수 데이터 714건을 수집하여 사용자의 관심 기업에 대해 집계

• 2707개의 상장기업 및 10074개의 스타트업 데이터 수집(재무제표, 비재무제표, 뉴스, 거시경제지표 등)

• 회고(Retrospective) 과정을 통해 업무 프로세스를 개선하여, 이전 Agile 대비 WBS 진행도 20% 향상

상세 프로젝트 설명 링크 : https://www.hon2yt2ch.life/projects/job-a-dream

개요 : Telco 가입 고객 이탈 예측 및 맞춤형 전략 제안
참여도 : PM 35% 개발인원 : 5인

담당 역할

• 데이터 아키텍처 설계 및 구축

• MySQL 데이터베이스 설계 및 구축

• Plotly를 사용한 시각적 데이터 분석

• Scikit-learn을 사용한 가입고객 이탈 예측 모델 개발

• Github Issues, Projects를 이용한 프로젝트 관리

• Docker를 이용한 Application 배포

주요 성과

• PolynomialFeatures를 도입한 후 독자적인 Feature Selection 과정을 추가하여 F1 Score 기준 기존 Score 대비 0.07 향상.

• 주요 실험 검증 결과

  • Fiber optic 사용자에게 할인 혜택 제공 시 각 할인율(5%~20%)에 따라 이탈율(약 1%~3%)감소

  • 월 단위 계약 고객 중 일부(5%~15%)를 선택하여 1년 계약으로 전환 시 이탈율(약 1% 내외)감소

  • 신규 고객(6개월 이하)에 대한 할인 혜택 제공 시 각 할인율(5%~20%)에 따라 이탈율(약 2%~5%)감소

상세 프로젝트 설명 링크 : https://www.hon2yt2ch.life/projects/teleping

개요 : AI기반 멀웨어 탐지 기능 통합 S3 클라우드 스토리지 서비스
참여도 : PE 40% 개발인원 : 3인

담당 역할

• Capstone을 이용한 N-gram 방식의 어셈블리 코드 분석 및 특징 분류

• Keras를 사용한 멀웨어 탐지 CNN/DNN Model 개발 및 비교

• Vue.js를 사용한 멀웨어 탐지 결과 시각화

• Docker, AWS를 이용한 Application 배포

주요 성과

• 1000여 개의 프로그램 수집

• 10004개의 4-gram 어셈블리 코드 데이터 추출

• 9555개의 PE 데이터 추출

• PE Header 정보 중 68개의 특징 추출

• Code Section의 빈출있는 100개의 특징 추출

• 모델 멀웨어 탐지 정확도 95.78%

• 2022 하반기 프로젝트 경진대회 최우수상

상세 프로젝트 설명 링크 : https://www.hon2yt2ch.life/projects/vaiscan-box

• Selenium, Bs4를 사용한 Web Crawling

• Django, Streamlit, AWS를 사용한 AI 활용 애플리케이션 개발

• 데이터 분석 라이브러리(pandas, numpy) & 시각화 라이브러리(matplotlib, seaborn) 사용법 학습

• Scikit-learn을 사용한 머신러닝 모델 개발 & PyTorch를 사용한 딥러닝 모델 개발 및 활용

• Hugging Face의 사전 학습 모델 활용 및 파인튜닝

• LLM 파인튜닝, 프롬프트 엔지니어링 학습

• 기본 RAG 구조 이해 및 실습