미리보기

Agentic AI 실행 상태 관리 및 컨텍스트 엔지니어링

기간: 2024.06 - 2026.07

Strategy Map

• 업무 절차를 milestone과 prerequisite edge로 표현

• 완료·실행 가능·차단 상태를 Working Map으로 관리

• 7개 S&OP 업무, 140개 질의, 59개 도구, 5개 MCP 서버로 평가 환경 구성

• ReAct 정확도 42.6% → 65.5%, TRA 정확도 28.3% → 66.9%

Trace2Map

• 성공·실패 reasoning trace에서 반복되는 절차 지식을 추출

• zoom-out·zoom-in context로 제공

• EnterpriseOps-Gym 해결 과업 137개 → 156개, verifier score 0.557 → 0.604

평가 및 분석

• 정확도 외에도 Milestone Alignment, Path Conformity, Tool Recall, 잘못된 도구 호출, 절차 누락을 함께 분석

시스템 설계

• 각 milestone의 입출력 조건을 만족해야 상태가 바뀌도록 설계

• 낮은 신뢰도에서는 HITL 요청

• 모든 도구 호출과 결과를 trace로 기록

AI·ML·DL 연구 및 모델 개발

기간: 2020.03-2026.07

NL2SQL

• Query Capsule: 검증된 SQL 로그에서 Query Context와 SQL Template을 추출해 재사용 가능한 지식으로 구성

  • SQL 구조와 의미를 함께 평가하는 Merit 지표 설계

  • BIRD·Spider 실행 정확도 각각 5.79%·4.58% 향상

  • TPC-H에서 GPT-4o-mini·GPT-4o·Gemini 1.5 Pro의 실행 정확도 평균 2.63배 향상

• NL2SQL+: 예측형 질의를 분류하고 구조화된 의도를 추출한 뒤 학습·추론 SQL을 생성하는 pipeline 설계

  • Llama-3.1-8B를 7,231개 데이터로 LoRA 기반 SFT

  • 단일 RTX 3090 24GB 환경에서 약 15시간 학습

  • 평가 데이터 1,500개에서 Exact Match 48.18%

  • ML 질의와 일반 조회 질의를 구분하는 Router F1 94%

• SQLSense: SQL 생성 중 오류를 인식하고 DB 도구와 Critic을 선택적으로 호출해 잘못된 구간부터 수정하는 SLM 기반 프레임워크 설계

  • Qwen3-1.7B를 대상으로 full-parameter SFT를 수행하고, 오류 진단과 수정 과정을 포함한 40,072개 학습 trajectory 구축

  • SQL 유효성, 실행 결과 일치, 도구 사용, 수정 정확성을 반영한 GRPO reward 설계

  • Verified BIRD에서 기본 모델 대비 실행 정확도 14.57%p 향상

  • GRPO 적용 후 Gold SFT 대비 BIRD 4.63%p, Spider 5.50%p 향상

• ECPT: SQL 오류 진단, 수정 사례 검색, embedding fine-tuning, RAG를 결합한 SQL 교정 프레임워크 구현

  • Spider 실행 정확도 76.07% → 88.18%

  • 247개 오류 사례의 수정 정확도 최대 50.61%

• 금융 NLU·NL2SQL: 금융 온톨로지와 Embedded ML을 결합한 질의응답 구조 설계

  • BERT 계열 모델용 데이터를 직접 구축·증강

  • 제한된 금융 시나리오에서 태그 정확도 30.58% → 76.42%, 의도 분류 정확도 65.67% → 99.75%

RAG

• AU-RAG: 문서·테이블·API 중 필요한 출처를 Agent가 고르고 근거를 추출하는 multi-source RAG workflow 구현

  • RAG+Reranker 대비 Retrieval Precision 6.04~10.45%p 향상

• 금융보고서 Q&A 챗봇: 질문 범위, 검색 대상, Agent 역할을 정의하고 검색·계획·답변 생성으로 이어지는 구조 설계

  • 단순 text chunk 검색을 넘어 source selection, evidence retrieval, context 구성, tool orchestration을 하나의 pipeline으로 구현

역할: AI 교육 콘텐츠 기획 및 운영

업무 내용:

• AI 강의 콘텐츠 퍼블리싱 및 운영: edwith/boostcourse 플랫폼에서 조경현 교수의 NLP 강의와 Andrew Ng 딥러닝 시리즈 1~4 등 총 5개 AI 강의 콘텐츠 운영에 참여했으며, 누적 수강생 약 3만명 규모의 학습 콘텐츠를 관리하며 복잡한 AI 개념을 학습자가 따라올 수 있는 구조로 재구성

• 프로젝트형 딥러닝 학습 콘텐츠 기획: Deep Learning for Everyone Season 2 과정의 기획 및 운영을 지원하고, '파이토치로 시작하는 딥러닝 기초'와 '텐서플로우로 시작하는 딥러닝 기초' 강좌 운영에 참여했으며, 총 2만 5천명 규모의 실습 중심 딥러닝 교육 경험

• 실습 코드 리뷰 자동화 설계: Introduction to Deep Learning with TensorFlow and PyTorch 과정에서 학습 환경 기획, 코드 리뷰 자동화를 담당했으며, 관련 공개 GitHub 저장소는 PyTorch, TensorFlow 합쳐서 총 1,639 stars를 기록했습니다(2026.03 기준).

AI Agent가 장기 업무를 수행할 때 현재 실행 상태와 선행 조건을 관리할 수 있도록, 절차적 지식을 그래프 형태로 제공하는 Agent workflow 및 context engineering 연구

• Accepted in ICDE 2026 Demo Track

• Strategy Map Demo: https://youtu.be/wQ003_-T9ZY

• Trace2Map Demo: https://youtu.be/gsXhcqkmb3U

문제 정의

• AI Agent가 관련 정보를 찾더라도 선행 조건을 확인하지 않고 상태 변경 도구를 호출하는 문제를 발견

• 이를 단순한 모델 성능 문제가 아니라, “현재 업무가 어디까지 진행되었는지”를 관리하지 못하는 실행 상태 관리 문제로 정의

• 장기 업무에서 완료된 단계, 현재 가능한 단계, 아직 차단된 단계를 구분하는 Working Map 구조 설계

Strategy Map 및 Agent Workflow 설계

• 업무 절차를 milestone과 prerequisite edge로 표현하는 Strategy Map 설계

• 각 milestone이 요구된 입력, 출력, 실행 조건을 만족할 때만 갱신되도록 상태 업데이트 구조 설계

• 전체 Map을 한 번에 제공하지 않고, zoom-out / zoom-in view를 통해 필요한 수준의 절차 정보만 Agent에게 제공

Trace2Map 및 Context Engineering

• 성공적인 reasoning trace에서 절차적 지식을 추출해 Strategy Map으로 변환하는 Trace2Map 연구

• Agent 실행 중 현재 상태와 admissible milestone을 context로 제공하여 다음 행동 선택을 보조

• Python, LangChain, OpenAI SDK, HuggingFace, MCP Server 기반으로 실험 파이프라인 구현

실험 설계 및 결과

• S&OP 시나리오에서 7개 Task, 59개 tool, 5개 MCP Server 기반 벤치마크 구성

• Strategy Map 적용 후 ReAct 정확도 42.6% → 65.5%, TRA 정확도 28.3% → 66.9%로 개선

• EnterpriseOps-Gym에서 GPT-5.4-mini 기준 실행 성공률 14.1% → 27.8%, partial score 0.39 → 0.604로 개선

기술 스택

• Agent / LLM: Python, LangChain, OpenAI SDK, Hugging Face, Qwen

• Tool-use / Runtime: MCP Server, FastAPI, uvicorn

• Database: PostgreSQL

• Frontend / Demo: React, Vite, TypeScript (AI 이용하여 구현)

• Research Engineering: Prompt Engineering, Context Engineering, Agent Workflow Design, Benchmark Evaluation

사용자의 SQL 실행 로그에서 재사용 가능한 비즈니스 로직과 SQL 구조를 추출해 NL2SQL 성능을 개선하는 데이터 중심 RAG 연구

• Published in SIGIR-AP 2025

• https://dl.acm.org/doi/abs/10.1145/3767695.3769489

Query Capsule 설계

• 자연어를 SQL로 변환할 때 LLM이 비즈니스 로직과 스키마 사용 방식을 충분히 이해하지 못하는 문제를 발견

• 검증된 SQL workload에서 Query Context와 SQL Template을 추출해, LLM이 재사용할 수 있는 Query Capsule 단위로 구조화

• Query Context는 SQL이 담고 있는 비즈니스 의미를, SQL Template은 값이 제거된 재사용 가능한 SQL 구조를 표현하도록 설계

유용성 평가 Metric 설계

• 단순히 Query Capsule을 많이 넣는 것이 아니라, 실제로 SQL 생성에 도움이 되는 지식을 선별하기 위해 Merit metric 설계

• SQL의 구조적 유사도와 의미적 유사도를 함께 평가해 "유용한" Query Capsule을 QC Pool에 적재

• 실행 정확도뿐 아니라 SQL 구조와 의미가 어떻게 개선되는지 정량적으로 분석

SQL 추론 과정

• 사용자의 자연어 질문과 유사한 Query Capsule을 embedding 기반으로 검색

• 검색된 Query Capsule을 schema 정보와 함께 LLM context로 제공하여 SQL 생성을 보조

• Direct 방식과 Pipeline 방식의 SQL 생성 프로세스를 나누어 실험

  • Pipeline: 먼저 사용자 질문에서 키워드 추출 후, DB 에서 value 검색

실험 및 성과

• Spider, BIRD benchmark 기반으로 Intra-domain 기준 학습 60%, 개발 20%, 테스트 20% 분할 후 실험 수행

• Query Capsule 적용 시 BIRD 및 Spider benchmark에서 실행 정확도 평균 5.68%, 3.34% 개선, Merit 기준으로도 각각 6.54%, 5.24% 상대적 개선

기술 스택

• Python, LangChain, OpenAI SDK, FAISS, HuggingFace,

  SQLite, DuckDB

• NL2SQL, Embedding Retrieval, RAG Pipeline Design, Context Engineering, Query Evaluation

문서, 테이블, API 등 다양한 데이터 source에서 필요한 근거를 찾고 답변을 생성하기 위한 Agentic RAG workflow 연구

• Published in SIGIR-AP 2024

• https://dl.acm.org/doi/abs/10.1145/3673791.3698416

데이터 접근 Workflow 설계

• 기업 데이터가 문서, 테이블, API 등 여러 source에 분산되어 있어, 단순 text chunk 검색만으로는 의사결정에 필요한 근거를 충분히 제공하기 어렵다고 판단

• 사용자 질문에 대해 어떤 source를 탐색할지, 어떤 방식으로 근거를 추출할지, 추출한 정보를 어떻게 답변 생성에 연결할지 Agent workflow로 설계

• 검색, 계획, 도구 호출, 답변 생성을 하나의 RAG pipeline으로 연결

Agentic RAG 구조 구현

• LangChain 기반으로 source selection, evidence retrieval, answer generation 흐름을 구성

• 단순 문서 검색 중심 RAG를 넘어, 다양한 데이터 source를 Agent가 선택하고 활용하는 구조로 확장

• LLM이 답변 생성 전에 필요한 근거를 수집하고, 이를 context로 활용하도록 설계

실험 및 성과

• TAT-QA 기반 multi-source QA 실험을 설계하고, 30/90/270개 Source Object 및 Extraction Guide 환경에서 AU-RAG와 RAG+Reranker를 비교 평가

• Source Object 수가 30개일 때 AU-RAG는 Retrieval Precision 53.41%로 RAG+Reranker 대비 +9.52%p, 90개 환경에서는 41.54%로 +10.45%p, 270개 환경에서는 30.28%로 +6.04%p 높은 precision을 기록

• Source Object가 증가할수록 RAG+Reranker는 recall이 높았지만, AU-RAG는 false positive를 줄이며 더 정밀하게 source를 선택하는 특성을 보임

• Extraction Guide 수를 30 → 90 → 270개로 늘리자 AU-RAG Retrieval F1이 31.51% → 31.83% → 33.06%로 개선됨

기술 스택

• Python, LangChain, OpenAI SDK, HuggingFace

• RAG, Agent Workflow Design, Prompt Engineering, Context Engineering

• 2024. 7. 18. - @ 24년 호남권 KOLAS 시험기관(SW분야) 기술 워크숍, “LLM 기반 어플리케이션 구축을 위한 가이드” 발표

• 2024. 8. 9. - @ 전주정보문화산업진흥원 “LLM 기반 어플리케이션 구축을 위한 가이드” 강의,
  교육내용:

  • 자연어 처리 및 거대 언어 모델(LLM)의 발전 역사

  • 프롬프트 엔지니어링

  • 프롬프트 엔지니어링 실습

  • Retrieval-Augmented Generation

  • RAG 구축하기 실습

• 2022.07. - @ 서울시립대, "파이토치로 시작하는 딥러닝" 강의

• 2021.07. - @ 한경대학교, "파이썬과 파이토치로 시작하는 딥러닝" 강의

모두를 위한 자연어 기반 공공데이터 분석 솔루션, EIS

• 인원: 2명

• 역살: LLM을 이용하여 NL2SQL 파이프라인 개발

• 성과: 제품 및 서비스개발 우수상

• 개요: Large language model(LLM)의 코드 생성 기능을 활용하여, 자연어만으로도 데이터 베이스에 접근, 코드를 다룰 수 있도록 하는 것이 핵심적인 서비스

• 활용데이터: 산업통상자원부 세계 섬유 수출 현황(WTO 기준), 산업통상자원부 외국인직접투자동향 국가별 산업별 대한 외국인직접투자 통계 등