미리보기

프로젝트 개요

• 딥러닝 및 NLP 모델을 API 형태로 추천 결과를 대시보드에 제공하는 시스템.

• 주요 기술 스택: FastAPI 웹 프레임워크, SBERT 및 Doc2Vec과 같은 NLP 모델, RESTful API 설계 및 배포 기술.

1. API 설계 및 배포

• FastAPI를 기반으로 RESTful API를 설계하고, 모델 서빙을 위한 플랫폼을 구축.

• DeepFM, SBERT, Doc2Vec 모델을 API로 구현하여 다양한 예측 서비스 및 텍스트 임베딩 제공.

• 실시간 데이터 수신, 처리, 제공을 위한 파이프라인 설계

2. LangChain을 이용하여 각 컨텐츠별 메타데이터 추출.

# Lang Chain에 추출할 Prompt를 제시하기 

templates = {

    # 줄거리를 통해 "분위기" 를 추출하는 템플릿 
    'template_A': """
    You are now an AI that helps film critics express themselves richly.
    Please provide the plot of the movie or drama.
    List 5 mood words in English that capture the essence of the story.
    For example, mood words include “interesting,” “mysterious,” “charming,” and “sense of urgency.”

    Separate each mood word with a comma (,) and refrain from adding any additional information.
""",

    # 줄거리를 통해 "세부 장르"를 추출하는 템플릿
'template_B':"""
    You are now an AI that helps film critics express themselves richly.
    Please provide the plot of the movie or drama.
    List 5 genre words in English that capture the essence of the story.
    For example, genre words include “joker,” “mysterious,” "chasing",“car chasing,”,"history"and “war.”

    Separate each word with a comma (,) and refrain from adding any additional information.
""",

    # 줄거리를 통해 "주제어"를 추출하는 템플릿
'template_C':"""
    You are now an AI that helps film critics express themselves richly.
    Please provide the plot of the movie or drama.
    List 5 subject words in English that capture the essence of the story.
    For example, subject words include “joker,” “cat,” "couple",“car”,"history"and “war.”

    Separate each word with a comma (,) and refrain from adding any additional information.

"""
}

• 미비한 메타데이터 보완을 위해 ChatGPT 및 LangChain을 활용한 메타데이터 확보.

• 컨텐츠의 메타데이터(재미있는, 스릴감 넘치는, 불타는 등) 추출.

3. 모델 내장 및 오프라인 추론.

SBERT 모델:

1. 사용자의 선호 컨텐츠의 줄거리를 임베딩하여 벡터로 만든 후, Faiss 라이브러리를 활용하여 N개의 컨텐츠를 검색.

2. 유사도가 가장 높은 줄거리를 가진 컨텐츠를 사용자에게 추천.

Doc2Vec 모델:

1. 사전에 모든 컨텐츠의 메타데이터를 Prompt Engineering 을 이용하여 추출.

2. 사용자의 선호 컨텐츠의 메타데이터를 벡터로 변환 후 모델에 입력하여 N 개의 컨텐츠를 검색.

3. 유사도가 가장 높은 컨텐츠를 사용자에게 추천.

DeepFM 모델:

1. 메타데이터를 추출한 뒤, 약 9,000개의 희소 데이터를 text-embedding-ada-002 모델로 임베딩하여 상위 장르 그룹으로 매핑.

   def get_similar_words(ada_embedding: list[str], top_k: int) -> dict:
     
     query_vector = np.array(ada_embedding).reshape(1,-1)
     # index = faiss.IndexIDMap(faiss.IndexFlatIP(emb_np.shape[1]))
   
     D,I = index.search(query_vector,top_k)
     sim_words_dict = {}
     for idx,distance  in zip(I[0],D[0]):
   
       # 상위 카테고리에 해당하는 카테고리 값을 유사도 점수(distance)와 함께 반환
       word = template.at[idx,'template_words']
       sim_words_dict[word] = distance
     
     return sim_words_dict

2. 각 사용자 별 모든 아이템의 평가가 주어진 Data Set 을 구성.

data = {
    "subsr": [65941000],
    "content_id": [11],
    "liked": [0],
    "ct_cl": ["TV 시사/교양"],
    "genre_of_ct_cl": ["기타"],
    "Adventure": [0],
    "Disaster": [0],
    "Martial Arts": [0],
    "Military Action": [0],
    "Spy and Espionage": [0],
    "Fantasy romance": [0],
    "Space Opera or epic sci-fi": [1],
    "Utopia": [0],
    "Dystopia": [1],
    "Contemporary Sci-Fi": [1],
    "Cyberpunk": [1],
    "Steampunk": [1],
    "Psychological thriller": [0],
    "Mystery": [0],
    "Film noir": [0]
}

3. Data Set 을 TrainSet 으로 DeepFM 모델에 훈련한 후 개인화 추천을 실행.

• 실시간 추천 및 오프라인 추천, 두 가지 모두 구현.

• 통신과 추론 속도로 인해 타임아웃이 자주 발생하여 오프라인 추론으로 변경.

• 이후 데이터 전처리 및 메타데이터 확보 자동화 시스템을 도입.

본 프로젝트는 데이터 엔지니어링 분야에서 API 설계 및 배포, 모델 서빙, 데이터 파이프라인 최적화와 같은 핵심 기술을 구현하고 발전시키는 데 중점을 두었습니다.

실시간 데이터 처리의 효율성을 높이는 동시에 유지보수 가능한 모듈화된 시스템을 설계하였습니다.

프로젝트 개요

• 경진대회를 통해 새로운 알고리즘, 기술, 접근 방식에 대한 학습 및 경험

• 실제 문제에 대한 해결 능력을 증명하기 위해 참여

주요 내용 및 상세 역할

• 대회 데이터셋의 성격에 맞춘 모델 fine tuning.

• Kospeech모델의 성능 개선을 위한 기술 관련 논문 연구 및 모델 구조 변형에 참여.

• 팀원들의 성취 욕구와 학습 열정을 중요하게 생각하며, 기술적인 부분에 대한 교육과 지도를 제공.

• 외부 사전 학습 모델인 Whisper 도입 시도 (기술적인 문제 – 버전 호환 문제로 인해 실패)

• 사전 테스트와 예선을 거쳐 최종 본선 진출 (9/98)

AI기술 전반에 대한 이해와 함께 최신 트렌드를 반영한 다양한 AI기술을 접함.

해커톤 문제를 풀기 위해 필요한 도메인 지식 습득.

해커톤 주제: 공정 데이터를 활용하여 제품 생산 과정의 이상 여부를 판별 모델 개발.

MachineLearning 및 DeepLearning 주제의 강의(Coursera) 학습 및 최신 논문 리뷰.

Kaggle Competition 참여하여 일정 스코어 달성.

Kaggle Competition: Medical Image Segmentation and Object Detection

프로젝트 부문 대상 수상

프로젝트 주제 : 프롬프트 엔지니어링 활용 개인화 맞춤 VOD 추천 서비스