미리보기

• Python, YOLO v8, DeepSORT, NVIDIA AGX XAVIER, Github

• 4명이 함께한 팀 프로젝트로 팀원으로 활동.

• 데이터수집, 데이터전처리 후 YOLO모델을 학습시킴.

• 최종 코드에 DeepSORT 코드 추가해서 물건이 움직이는 경로가 보이도록 함.

  화면에 기준선을 그려 물건이 기준선을 넘어가면 count변수가 업데이트 되도록 코드 작성.

• OpenCV의 ImageDraw를 사용해서 영상 위에 count, 물건명, Person ID가 표시되도록 코드를 작성하여 실제 사용자의 편의를 높임.

• NVIDIA AGX XAVIER에 모델을 올린 후 웹캠을 연결해서 실시간 영상이 송출되도록 세팅 후 모델이 계획한 대로 잘 동작하는지 확인. 물건 count가 잘 되도록 파라미터 값을 지속적으로 조정해서 실시간으로 물건 및 추적 및 count를 효과적으로 할 수 있었음.

• 문제해결 과정

  • 여러 개의 피사체(사람, 상품)가 겹칠 때 상품이 제대로 인식되지 않는 문제가 발생했으나 피사체들이 같이 있는 데이터셋을 별도로 촬영 후 모델에 추가로 학습시킴으로써 인식 문제 해결.

• Python, Streamlit, HTML/CSS/Javascript, LangChain, Github, Adobe XD. Adobe Illustrator

• 사용자가 원하는 여행계획을 자동으로 짜주는 챗봇.

• Streamlit으로 웹사이트를 구현하고 6개의 서브페이지로 챗봇 페이지를 구성

• Streamlit으로 웹페이지 구현 후 design 진행.

  • Streamlit 코드에 html, css, javascript 코드를 추가해 웹페이지의 디자인 개선.

  • Streamlit을 사용해서 웹페이지 구현보다는 챗봇 제작에 더 많은 시간을 투자.

  • 세부페이지 별로 분리된 python파일을 하나의 파일에서 모두 연결되도록 코드 정리.

• 4명이 역할 분담으로 파편화된 코드를 Github를 이용해 형상 관리하여 업무 효율성 향상.

• RAG 적용으로 할루시네이션 방지

  • 지역의 공식 관광안내도 pdf 파일을 local에 저장 후 벡터 데이터베이스에 저장.

  • 질문 프롬프트가 들어온다면 저장된 벡터 데이터베이스에서 관련 문서를 검색.

  • GPT-4-turbo 가 그 문서의 정보를 기반으로 답변을 생성. 프롬프트 형식을 미리 지정해서 지정된 형식에 맞게 답변이 생성됨.

• 문제해결과정

  • 초반에 CrewAI를 사용해 답변을 생성하려 했으나 답변 생성시간이 너무 긴 문제가 발생. Langchain에 ChatGPT API와 기타 API들을 연결하는 방식으로 변경해 답변 생성시간이 11분->2분으로 약 80%의 시간이 감소되는 결과를 얻음.

• Python, Selenium, Google Translate, Pandas, NLTK

• ‘과정 중심형 통상 DB 구축을 통한 다자통상체제 종합연구’ 과제에서 연구보조원으로 역할을 수행함.

• 서브프로젝트1) 국제문서 크롤링

  • 국제무역 사이트들 내의 주제별, 나라별,연도별 공식 문서를 Selenium을 사용해 크롤링. 약 20년치 문서 크롤링.

  • 정리된 발언내용은 google translate api를 활용해 한국어로 번역.

  • 문제해결과정

    • 공식 문서임에도 나라별, 연도별로 문서양식이 각기 다른 문제로 초기에는 try-except 구문으로 코드를 구성해 문서 양식 종류를 분류했으나 크롤링 시간이 너무 많이 걸리는 문제발생.

    • 개발자 도구의 Elements에서 HTML 코드를 분석하여 스타일 태그의 공통 속성을 파악 후 이를 활용해 코드 수정

    • 한 나라의 약 20년 문서 크롤링 작업 시간을 2시간에서 30분으로 단축하여 75%의 속도 개선.

• 서브 프로젝트2) 조직도 만들기

  • 국가법령정보센터 사이트의 직제 관련 법령 문서들을 모두 Selenium으로 크롤링.

  • 법령문서들 속 조항들을 조, 항, 호, 목에 따라 정리해서 데이터프레임 제작.

  • 조직의 개편 내용을 알기 위해 특정 문장패턴을 설정하여 문장을 분석.

  • 법령문서 전체를 가져오는 코드와 문서를 분석하는 코드를 모듈화하여 코드의 가독성, 유지보수성을 높이려고 노력.

• 서브프로젝트3) 정제되지 않은 문서 분석

  • 여러 내용이 혼합된 정제되지 않은 데이터가 주어졌을 때 특정 문장에 따라 문단이 분리되도록 코드구성.

  • 여러 pdf문서들이 주어졌을 때 pdf문서들의 내용을 분석해 csv 형식으로 변형.

• Python, Tensorflow, Pytorch, Github, Object detection, Object segmentation

• 생활 속의 식물들의 잎을 찍으면 질병 여부를 판별해주는 시스템.

• SAM(Segment Anything Model)과 Grounding DINO 모델을 적용해서 식물 잎을 탐지하도록 함으로써 기존 연구들과는 차별점을 두고자 함.

  • 기존 연구들에서는 식물에서 잎 분리한 후 실험실에서 정밀하게 촬영한 이미지를 데이터셋으로 사용했지만, 본 프로젝트에서는 식물에 붙어 있는 잎의 자연스러운 모습을 데이터셋으로 활용.

  • 식물의 잎 부분 segmentation에 SAM을 활용하고, 이미지 내 모든 잎 detection에 Grounding DINO 모델을 활용.

• 모델의 코드를 이해 및 분석하며 프로젝트에 필요한 코드만 사용.

• F1 score 0.75로 높은 정확도를 보이는 모델을 결과물로 얻음.

• 해당 프로젝트를 졸업작품 경진대회에 출품에 학장상을 받음.

2024.09.27 - 2024.11.01

• AI 프로젝트를 진행하면서 기본 전공지식의 중요성을 실감하게 되어

  CS 전공지식(운영체제, 자료구조, 알고리즘) 스터디에 참여함.

• 팀원들과 발표 스터디를 구성 후 매주 참여해 복습 및 질문답변 시간을 가짐.

2024.07.01 - 2024.08.30

• 머신러닝, 딥러닝 강의를 들은 후 실무 데이터를 활용한 Hackaton에 참여하면서 다양한 데이터 중에서 목표에 맞는 데이터를 선별하고 이를 바탕으로 모델을 학습하고 예측하는 과정을 경험.

• 기존 실습 환경에서는 정제하기 쉬운 데이터들로만 실습을 했는데 실무 데이터는 정제하는데 어려움이 많다는 것을 느낌. 이 과정에서 데이터 처리와 모델링에 대한 이해를 쌓을 수 있었음.

2023.12.11 - 2024.06.11

• LLM과 컴퓨터비전 기본부터 심화개념을 배우고 배운내용을 활용한 팀프로젝트를 진행.

• 약 한 달의 데드라인 안에 최종 프로젝트 발표를 맡아 프로젝트를 리딩함.

• 완성도를 위해 프로젝트 초기 목표를 높게 설정했음. 팀원들이 데드라인에 맞추기 위해 시간이 부족함을 이유로 반대했지만, 높은 목표 설정 및 달성이 프로젝트 완성도에 중요함을 강조하며 팀원을 설득하여 목표 달성.

2022.03 - 2023.12

• 팀프로젝트로 방탈출 게임, 리듬 게임을 제작함.

• C#과 유니티를 사용한 개발과 3D 모델링을 하는 역할을 수행.