미리보기

●데이터 직무에 지원하는 이유

저는 대학에서 기계 학습, 머신러닝, 딥러닝과 같은 최신 기술을 접하며 신기술의 중요성을 깊이 깨닫게 되었습니다. 프로젝트에서도 이러한 기술을 적극적으로 활용하고자 노력했으며, 특히 생성형 AI를 활용한 프로젝트를 진행하면서 AI의 잠재력에 놀라움과 동시에 경외감을 느꼈습니다. 이 경험을 통해 신기술을 효과적으로 활용하는 것이 미래의 경쟁력을 좌우한다는 점을 명확히 이해하게 되었습니다. 데이터는 이러한 신기술의 성능과 정확도를 결정짓는 핵심 요소라고 생각합니다.

[AI의 핵심 : 데이터의 중요성]

AI를 활용함에 있어 데이터는 모델의 성능과 정확도를 좌우하는 중요한 요소라고 생각합니다. 이를 위해 데이터를 정제하는 프로세스 구축에 힘을 주어 품질을 개선하고 크롤링같은 도구를 활용해 데이터 수집, 전처리, 저장까지의 워크플로우를 자동화하고, 데이터 파이프라인의 성능을 지속적으로 모니터링 및 개선을 통해 AI 모델의 성능을 극대화하는 데 기여하고 싶습니다.

저는 최신 트렌드를 받아들일 준비가 되어 있으며, 끊임없이 탐구하고 도전하는 자세를 가지고 있습니다. 나날이 발전하는 기술과 함께 멈추지 않고 성장해 나가고 싶습니다.

●본인이 데이터 직무에 적합한 이유

Data Engineer직무는 단순히 데이터 기반의 시스템을 구축하고 관리하는것을 넘어서, AI 모델이 필요로 하는 데이터를 처리 및 자동화 기술을 요구하기 때문에, 데이터와 모델 간의 긴밀한 협업이 핵심이라고 생각합니다.

[생성형 AI를 이용한 패션 시착 프로젝트]

저는 이전에 생성형 AI 프로젝트를 진행한 경험이 있습니다. GMM 모듈과 U-Net 모델을 활용하여 사람 이미지에 패션 아이템을 시착하는 작업을 했고, 총 3명으로 구성된 팀의 일원으로 참여했습니다. 프로젝트에서 저는 웹 개발과 데이터 전처리를 담당했습니다. OpenPose를 이용해 모델의 자세를 추출하고, 세그멘테이션 기법을 통해 입력 이미지에서 필요한 영역만을 추출해 데이터를 학습시키는 파이프라인을 구축한 경험은 Data Engineer에서의 데이터 처리 과정과 많은 부분이 맞닿아 있다고 생각합니다.

특히, 프로젝트 중 발생한 데이터셋 문제로 AI 모델 학습을 위한 적절한 데이터셋을 구하는 것이었는데, 모델 이미지와 옷 이미지, 그리고 옷을 입은 모델 이미지를 포함하는 데이터셋을 확보하기 어려웠습니다. 이를 해결하기 위해 AI 모델이 무엇을 학습해야 하는지 고민한 후, 한 명은 데이터셋을 계속해서 찾는 역할을 맡았고, 나머지 팀원들은 차선책으로 옷을 입은 모델 이미지에서 모델과 옷을 분리해 데이터셋을 구축하고 학습시키는 작업을 분담했습니다. 결과적으로 차선책을 통해 만족스러운 결과를 얻어 데이터 중심의 문제 해결 능력을 키우는 데 큰 도움이 되었습니다.

또한, 프로젝트 기간과 시험 일정이 겹쳐 학업을 병행해야 했고, 오류가 발생할 때마다 팀원들이 프로젝트를 미루려는 경향이 있었습니다. 저는 문제를 즉시 해결해야 한다는 주의였지만, 팀원들의 상황을 이해하고 무리한 재촉 대신 스스로 먼저 오류를 조사하고 의견을 제시하며 팀의 작업에 대한 관심을 유지하려 노력했습니다. 이러한 노력을 통해 팀원들도 점차 적극적으로 참여해 마감 기한 이틀 전에 완성도 높은 결과물을 제출할 수 있었습니다.

[주도적인 개발]

최근 크롤링 기술에 관심을 가지게 되어, 크몽 사이트에서 진행되는 외주 프로젝트의 주제를 크롤링하며 실전 경험을 쌓고 있습니다. 이 과정에서 RISS 사이트에 주목하게 되었는데, AI에 질문했을 때 정확하지 않은 답변이 많고, 무료 논문을 찾는 데 번거로움이 있다는 점이 문제로 다가왔습니다. 이를 해결하기 위해 논문 내용을 요약하고, 무료 논문을 필터링하여 보다 신뢰도 높은 답변을 생성할 수 있지 않을까 생각하게 되어 프로젝트를 시작했습니다.

프로젝트를 통해 특정 주제의 논문 PDF 파일을 효율적으로 수집하는 크롤링 시스템을 구현했으며, 이를 통해 원하는 주제에 대한 100개 이상의 논문 데이터를 확보하는 데 성공했습니다. 그러나, 개인용 GPT 모델에 해당 데이터를 학습시키는 데 한계가 있어 실제 적용에는 이르지 못했습니다. 향후 더 강력한 AI 모델을 활용할 수 있는 환경이 갖춰진다면, 이를 기반으로 논문 정보를 학습하여 전문적인 지식을 제공하는 시스템을 개발해 보고 싶습니다.

이러한 경험을 통해 다양한 데이터를 다루는 역량과, 팀원들과 협력해 문제를 해결하는 능력을 배웠습니다. 이 역량들이 기업과 같이 성장하는 데 큰 도움이 될 것이라 확신합니다.

●한걸음 더 나아가기 위해 본인이 준비하거나 노력하고 있는 것들

저는 Data Engineer로서 기술적인 역량뿐만 아니라 팀원들과의 원활한 소통과 협업을 매우 중요하게 생각합니다. 이를 위해 다양한 팀 프로젝트에서 리더로 활동하며 리더십과 의사결정 능력을 꾸준히 발전시켜 왔습니다.

예를 들어, 오디오 잡음 제거를 위한 위너 필터 구현 프로젝트에서 4명의 팀원들과 함께 작업했으며, 제가 팀장을 맡았습니다. 초기에는 팀원들의 의욕이 다소 부족했으나, 각자에게 위너 필터와 관련된 논문 조사, STFT(단시간 푸리에 변환), PSD(전력 스펙트럼 밀도) 조사 등 부담스럽지 않은 세부 과제를 할당하여 점진적으로 문제를 해결하도록 이끌었습니다. 그 결과, 팀원들도 잘 따라와 주었고, 위너 필터 구현에서 SNR(신호 대 잡음비)을 평균 1.5배 향상시키는 성과를 달성할 수 있었습니다.

또한, 프로젝트 진행 시 Scrum 방법론을 도입해 스프린트 계획과 일일 스탠드업 회의를 통해 팀원들과 부담 없이 소통하며 프로젝트를 효과적으로 이끌었습니다. 이러한 경험은 팀워크와 소통 능력을 꾸준히 향상시키는 데 큰 도움이 되었습니다.

더불어, 학부 학생회 활동을 통해 다양한 사람들과의 교류 능력을 길렀습니다. 학기 말에는 학생들의 성적이 기재된 파일을 검토하는 과정에서 후배들의 성적이 이상하게 기록된 것을 발견했습니다. 후배들에게 성적을 직접 확인한 후 성적이 잘못 기입된 것을 알게 되었고, 이를 교수님께 보고하여 성적 오류를 방지할 수 있었습니다. 방학 중에는 전산실 컴퓨터에 필요한 프로그램을 설치하고 학과 학생들의 수강 학점 관리 등의 간단한 전산 업무를 도우며, 학과장님과 조교님의 추천으로 학과 장학금을 받을 수 있었습니다.

이러한 경험들은 제가 협업과 소통, 문제 해결 능력을 향상시키는 데 중요한 밑거름이 되었습니다.