이야기로 돌아가기

케이스 스터디 · 업무 자산(추상화)

공공조달 입찰공고 데이터 자동 추출 · AI 검증 플랫폼

입찰공고 문서에서 LLM으로 핵심 데이터를 추출·검증하는 프로덕션 AI 플랫폼 — 프롬프트 세대 관리, 모델 실측 평가, 환각 방어, 비용 최적화까지 LLMOps 전 주기

기간2025.04 – 현재
역할비드코칭연구소 재직 · AI 엔지니어 — LLM 파이프라인 설계 · 구축 · 운영 담당
스택Python · FastAPI · RabbitMQ · Airflow · MySQL · React · TypeScript · LLM (Gemini + 이종 벤더) · Docker · MCP

숫자로

−82.9%

검증 건당 비용

−80.2%

평균 응답

0% → 80%

공고문 자동검수 (시설 분야 · 내부 지표)

99.6%

상위 모델 미발동 (일반 트래픽)

성과 수치를 읽는 기준

운영 전후 비교 · 동일 입력 A/B는 서로 다른 측정

비용 절감률은 각 변경 전후의 운영 로그 기준입니다. 서로 다른 기준선의 절감률을 더하거나, 동일 조건의 누적 절감률로 환산하지 않습니다.

지표별 비교 대상과 해석 범위
지표비교 대상·단위해석 범위
비용 −14.2%명시적 캐시 도입 전후 · 검증 호출 비용캐시 적용 효과
비용 −33.5%
응답 −40.4%
캐시 적용 상태에서 책임 분리 재설계 전후LLM 추출과 워커 판정 분리 효과
건당 비용 −82.9%
평균 응답 −80.2%
가벼운 모델(3.1 Flash-Lite)로 바꾼 전후 · 운영 로그운영 관측값. 동일 입력 A/B 비용비 8.7배와 별개
91.4% / 90.8%3.5 Flash 대 3.1 Flash-Lite · 같은 표본·프롬프트(해시 일치) · 항목 단위 대조상위 모델 참조 정답지 기준 일치율. 절대 정확도와 구분
기본 모델 처리 99.6%일반 트래픽에서 상위 모델을 호출하지 않은 비율처리 경로 지표이며 정답률이 아님
자동검수 0 → 80%
(시설 분야)
수동 검수에서 조건 기반 자동 통과로 전환한 뒤 · 사내 내부 지표, 시설 분야시설 분야의 자동 통과 비율이며 전체 분야 대표값 · 업무시간 절감률이 아님
측정 조건과 공개 범위

공개된 자료에는 정확한 측정 기간, 문서·항목별 표본 수, 참조 정답지의 사람 검수 범위가 포함되어 있지 않습니다. 따라서 통계적 유의성이나 전체 문서에 대한 정확도를 주장하지 않습니다. 비용 비교에는 입력량·캐시·모델별 단가가 영향을 주므로 운영 전후 변화와 고정 입력 실험을 구분합니다.

원문 근거를 확인하는 흐름

원리를 설명하기 위한 가상 예시 · 실제 업무 문서·고객 데이터 아님

  1. 입력 문서

    “기초금액은 100,000원입니다.”

  2. 구조화 추출

    기초금액: 100000
    근거: “100,000원”

  3. 프로그램 검증

    정규화한 값·근거를 원문과 대조하고, 근거가 맞지 않는 항목만 재추출합니다.

책임 분리 전후

  1. 변경 전

    LLM이 추출과 판정을 함께 수행

  2. 변경 후

    LLM 추출 → 워커의 원문 근거 대조 → 필요 항목만 재추출

  3. 확인한 결과

    캐시 적용 기준선 대비 검증 비용 −33.5% · 응답 −40.4%

개요

비드코칭연구소(2025.04 ~ 재직 중)에서 개발·운영하는 데이터 플랫폼입니다. 공공조달 입찰공고 문서(HTML·HWP·PDF·이미지)에서 자격조건·기초금액·법정제비용 등 핵심 항목을 자동으로 추출하고, 그 결과를 AI로 보완검증해 신뢰도를 끌어올립니다.

크롤러 수집부터 비동기 추출 워커, 데이터베이스, 분석 대시보드, 운영 자동화까지 7개 서비스로 구성된 시스템을 기획 단계부터 설계·개발·운영하고 있습니다.

규칙 파싱과 LLM의 하이브리드 추출, 모델 실측 비교 선정, 프롬프트 세대 관리, 환각 방어 게이트, 캐시 기반 비용 최적화 등 — 프로덕션 LLM 시스템이 마주하는 정확도·비용·가용성 문제를 데이터로 검증하며 해결해 온 사례입니다.

흐름

  1. 수집 — 외부 크롤러가 공고 문서를 수집해 API(FastAPI)로 전달
  2. 분배 — 메시지 큐(RabbitMQ)로 작업을 비동기 분배 (비AI 빠른 건 / AI 느린 건 큐 분리)
  3. 변환 — 문서 포맷별로 HTML 정규화 (전용 변환기 + 디지털 PDF 파서, 실패 시 AI/OCR 폴백)
  4. 추출 — 규칙(정규식·파서)으로 1차 추출, 텍스트 없는 PDF·이미지는 LLM으로 추출
  5. 검증 — 추출 결과를 별도 LLM으로 재검증하고 의심 케이스 플래깅
  6. 적재 — 레거시 운영 DB와 신규 BI DB에 dual-write로 동시 저장
  7. 활용 — 비교·통계 API → React 대시보드 시각화, 운영은 MCP·Airflow로 자동화

구성

데이터 수집 · API 서버 (FastAPI)

크롤러가 보낸 공고를 큐로 분배하고, 정확도 비교·AI 호출 현황·자동검수·배포 API와 JWT 기반 인증/권한을 제공.

추출 워커 (RabbitMQ)

문서 다운로드 → HTML 변환 → 핵심 항목 추출을 비동기로 처리. 운영/개발/테스트 환경별, 단계별로 워커를 분리.

AI 추출 · 보완검증 워커

텍스트가 없는 PDF·이미지는 LLM으로 직접 추출하고, 규칙으로 뽑은 결과를 별도 LLM으로 재검증하는 전용 큐/워커.

공고 수집 서비스 (전면 리팩토링)

노후화된 기존 수집 시스템을 전면 재구축. 사람이 직접 하던 공고문 검수를 조건 성립 시 자동 통과시키는 자동검수를 도입.

운영 MCP 서버

AI 코딩 에이전트가 로그·DB·큐·컨테이너 상태를 권한 제어 하에(조회는 읽기 전용·실행은 화이트리스트) 다루도록 만든 커스텀 도구 세트. 장애 알람과 터미널 접근 제어 포함.

데이터 인프라 (MySQL)

레거시(구버전·EUC-KR)와 신규(최신·utf8mb4)를 dual-write로 병행하며 점진적으로 이관하는 데이터 계층.

분석 대시보드 (React 19 · TS)

필드별 추출 정확도 비교, AI 호출·비용 현황, 자동검수 조건/통계, 재수집 승인 워크플로우, 권한 관리.

AI 활용

하이브리드 추출 (규칙 + LLM)

구조화된 문서는 규칙 기반 파서로, 텍스트가 없는 PDF·이미지만 LLM으로 추출. 디지털 PDF는 오픈소스 파서(Open Data Loader)로 텍스트를 직접 뽑아 해당 경로의 변환 API 비용을 0으로(평균 1.24초/건), 스캔 문서에만 OCR을 남김.

멀티 프로바이더 폴백 · 병렬 race

장애 로그 실측(타임아웃·쿼터 초과가 실패의 다수)에 근거해 "기본 모델 우선 + 지연 시에만 보조 모델 병렬 투입" 지연-트리거 race를 설계. 진 쪽 응답은 백그라운드로 수확·로깅.

최상위 대신 A/B로 고른 모델 · 2단 운용

당시 Gemini 최상위였던 3.5 Flash와 가벼운 3.1 Flash-Lite를 같은 프롬프트(해시 일치)·같은 표본으로 1:1 비교 — 상위 모델 정답지와의 일치율 91.4% vs 90.8%로 차이는 0.6%p, 비용은 8.7배라 Flash-Lite로 운영 모델을 정함. 바꾼 전후 운영 로그 기준 검증 건당 비용 −82.9% · 평균 응답 −80.2%. 원문 근거 확인에 실패한 항목만 다른 회사의 상위 모델로 올리는 2단 구성이라, 일반 트래픽의 99.6%는 기본 모델만으로 처리.

AI 보완검증 파이프라인

규칙 추출 결과를 별도 LLM으로 재검증하는 전용 워커를 설계→비용분석→구현→운영배포까지. "AI는 추출만, 판정은 워커" 책임분리 재설계로 검증 비용 −33.5% · 응답 −40.4%(캐시 적용 상태 기준선), 검증 이슈코드 41종 체계로 불일치를 등급 관리.

환각 방어 — 원문 근거 확인 (grounding)

LLM이 낸 값이 원문에 실제로 있는지 먼저 대조하고, 없으면 지어낸 값(환각)으로 보고 한 번 다시 추출. 원문에서 계산해야 나오는 값은 따로 예외 처리하고, 거꾸로 원문에 있는데 빠진 값도 잡는다. 따로 모아 돌리는 점검에서 다른 LLM을 정답지로 삼아 정확도를 계속 다시 잰다.

프롬프트 버전 관리 · 평가 체계

프롬프트를 DB에서 버전·모델 단위로 관리하고 해시로 바뀌지 않았는지 확인. 모델이나 프롬프트를 바꿀 때는 같은 프롬프트·같은 표본 A/B 결과로 정한다(일치율 91.4% vs 90.8%, 새 세대 모델 비교에서는 판정 일치율 88.0%). 모델·프롬프트 변경 회귀를 막는 골든셋 게이트까지 구축해 운영 중 — 프롬프트 반영은 미리보기 승인 · 한 트랜잭션 안 재검산(어긋나면 롤백) · 되돌리기 · 감사 로그를 거치는 API로 절차화.

비용 최적화 · 관측성

명시적 컨텍스트 캐시(검증 비용 −14.2%)와 입력 전처리(검증 입력 −92.2% · 문자 수 기준). 호출별 토큰·비용·응답시간·폴백 경로를 전량 로깅하고 기간별 비용 대시보드로 추적.

AI 개발 하네스 (MCP · 에이전트)

로그·DB·큐·컨테이너를 안전하게 조회하는 커스텀 MCP 도구 세트와 에이전트 표준·스킬 체계를 구축. 작업이력 DB화, 일일보고 자동 작성 등 개발 프로세스 자체를 자동화하고 팀원들이 실업무에서 사용.

사내 AI 챗봇 — 2단 분류 · 읽기 전용 조회

점검 웹 모든 화면에 붙는 챗봇. 질문을 먼저 분류해 바로가기 · 사용법은 고정 안내와 단계별 문서로 답하고, 공고 분석 같은 질문만 LLM에 넘긴다. 조회는 읽기 전용 전용 계정으로 서버에 내장, 인증은 DB의 현재 권한을 다시 확인하고, 하루 질문 한도 · 사용자별 비용 화면 · 골든셋 회귀 시험을 둔다.

자동화 · 운영

비동기 큐 파이프라인

비AI 빠른 건과 AI 느린 건을 큐로 분리해 처리량·지연을 최적화하고, 환경별 워커를 격리.

정제 규칙 자동학습 루프

수동 관리하던 정제·판별 규칙 1,898개(종목 판별 1,166 + 본문 제거 732)를 "사람 정리본과의 차집합 → 자동 제안 → 영향도(과대제거) 검증 → 사람 승인" 루프로 전환. 유사 패턴 병합(67개→1개)도 과대제거 영향도를 사전 계측한 뒤 승인.

스케줄 배치 오케스트레이션 (Airflow)

레거시→신규 DB 증분 이관을 일 단위로 자동화. catchup으로 과거 누락분을 자동 보정하고, 청크 단위 멱등 처리로 부분 실패를 격리.

무중단 운영 · 배포 절차화

레거시를 정본으로 유지한 채 신규 DB에 동시 기록하는 dual-write 병행 구조로 무중단 이관을 진행 중. graceful shutdown·durable 큐·배포 매니페스트(해시 검증)·롤백 런북으로 배포를 절차화.

중복 제거 · 처리 효율

동일 공고문을 공유하는 복수 공고를 원자 판정으로 묶어 그룹당 AI 1회만 호출 — 중복 3.2% 제거. 초대형 문서는 분할 변환.

품질게이트 · 장애 다층 방어

AI 변환 출력을 결정적 지표(전사율 실측 분포 기반 임계)로 검사하는 품질게이트 + 상위 모델 escalation. 장애는 timeout·사전 가드·근본수정의 다층 방어와 배포 후 D+1 능동 점검으로 재발을 차단.

공고문 자동검수

사람이 한 건씩 확인하던 공고문 검수를, 조건이 성립하는 건은 자동 통과시키도록 전환. 시설 분야 자동검수 비율 0% → 80%(사내 내부 지표).

자동검수 적재 DAG · 판정 시뮬레이터

자동검수 입력을 공고 단위로 모으는 적재를 큐 소비자에서 Airflow DAG로 옮겼다(공고 1건 = DagRun, 표마다 태스크 · 트랜잭션, 변경 이력, 새벽 누락 점검). 판정 엔진을 브라우저로 옮긴 시뮬레이터로 조건을 바꿨을 때의 단계별 유입 · 통과 · 제외를 미리 본다.

연혁

  1. 2025 — 노후 공고 수집 서비스 재구축, 신·구 서비스 결과를 공고 단위로 대조하는 전환 점검 도구와 불일치 코드 체계 구축
  2. 2025.12 — 코딩 에이전트용 사내 MCP 서버 초판(인증·IP 허용 목록·조회 제약), 2026.01 서비스 4개를 통합 저장소로 모으고 에이전트 개발 체계 도입
  3. 2026.02 — PDF·이미지 공고 LLM 추출 경로 신설, AI 처리 큐 분리, 공고문 자동검수 V2(이후 시설 분야 내부 지표 80%까지), 승인형 재수집·롤백 워크플로우
  4. 2026.03 — 디지털 PDF를 오픈소스 파서로 직접 추출해 해당 경로의 변환 API 비용을 0으로(평균 1.24초/건), AI 보완검증 시스템 아키텍처 설계
  5. 2026.04 — 장애 로그 실측 분석 → 지연-트리거 병렬 race 폴백 구축, AI 전용 미러 DB·Airflow 이관 파이프라인 신축
  6. 2026.05 — dual-write 병행 이관 구조 전환, AI 보완검증 워커 구현 — 모델 실측 비교로 운영 모델 선정, 명시적 캐시 도입(비용 −14.2%)
  7. 2026.06 — 검증 워커 운영 배포·검증 이슈코드 41종 체계화, 원문 근거 확인 게이트(없으면 재추출) 구축, 정제 규칙 1,898개 수동 관리를 자동학습 루프로 전환
  8. 2026.07 — 변환 품질게이트 + 상위 모델 escalation, 복수 공고 그룹당 AI 1회 호출(중복 3.2% 제거), A/B로 고른 가벼운 모델(3.1 Flash-Lite)로 운영 모델을 바꿔 건당 비용 −82.9% · 평균 응답 −80.2%
  9. 2026.08 — 추출 큐 적체 장애를 로그로 재구성해 처리 상한·격리 원장·알람으로 처방, 드러난 구조 결함을 9단계 워커 파이프라인 재설계(Airflow 3)로 연결
  10. 2026.09 — 면허 판정 규칙을 버전으로 고정해 전 모수로 채점하는 플랫폼, 섀도 트랙으로 개선 라운드 운영 반영, 정규식 매칭 보관소·필수 리터럴 프리필터, 오케스트레이터 Airflow 3 채택(Hatchet PoC 비교), 프롬프트 반영 API
  11. 2026.10 — 자동검수 입력 전용 저장소와 Airflow 적재 DAG(큐 소비자 이관 1호) · 판정 시뮬레이터, 운영자 코멘트 소통 창구, 사내 AI 챗봇(2단 분류 · 읽기 전용 조회 · 골든셋 회귀 시험)

기술 스택

백엔드

  • Python
  • FastAPI
  • SQLAlchemy
  • pika
  • JWT

비동기 · 배치

  • RabbitMQ
  • Apache Airflow
  • Celery
  • Redis

데이터

  • MySQL 5.5→8.4
  • dual-write 마이그레이션
  • pandas

AI / LLM

  • Google Gemini
  • 이종 벤더 상위 모델
  • OCR
  • 프롬프트 버전관리
  • 구조화 출력
  • 멀티 프로바이더 폴백

프론트엔드

  • React 19
  • TypeScript
  • React Router
  • Chart.js
  • Tailwind

인프라 · 운영

  • Docker Compose
  • Nginx
  • MCP 서버
  • 멀티 워크트리

핵심 역할 · 성과

  • AI 보완검증 시스템을 설계 → 비용 분석 → 구현 → 모델 실측 선정 → 운영 배포 → 고도화까지 완주 (프로덕션 LLMOps 전 주기)
  • 최상위 모델을 당연하게 쓰지 않고 같은 표본 A/B로 모델·프롬프트를 고르는 평가 체계 구축 — 당시 최상위 3.5 Flash 대 3.1 Flash-Lite 일치율 91.4% vs 90.8%(비용 8.7배 차이)로 가벼운 모델 선택
  • 원문 근거 확인(없으면 재추출 · 상위 모델 2단)과 API 장애 대비 레이싱 등, LLM 서비스가 틀리거나 멈추지 않게 하는 장치를 실측 데이터로 설계
  • 컨텍스트 캐시(−14.2%) · 역할 나누기(−33.5%) · 가벼운 모델로 전환(−82.9%)을 하나씩 실측하며 검증 비용을 단계적으로 절감
  • 벤치마크 점수가 더 높은 새 세대 모델도 실행마다 답이 달라지는 문제로 오탐 5건을 확인하고 도입하지 않음 — 최신 모델을 먼저 쓰기보다 바꿔도 되는지 판정하는 기준을 먼저 만듦

프로젝트 기술서 — 문제 · 해결 방식 · 결과

01 수집 · 전환 · 2025.04 — 2025.12

공고 수집 서비스 재구축 — 신 · 구 전환 검증

설계 · 백엔드 · 전환 검증

문제

노후화된 기존 수집 시스템은 안정성과 처리 속도에 한계가 있었습니다. 새 시스템으로 바꾸는 동안에는 두 시스템의 결과가 같다는 것을 공고 단위로 보여 줄 근거가 필요했습니다.

해결 방식

  • 수집 서비스를 새로 구축 — 수집 요청을 받는 API 서버와 다운로드 · 변환 · 추출을 나눠 맡는 큐 워커로 분리
  • 신 · 구 시스템의 추출 결과를 공고 단위로 대조하는 전환 검증 도구 — 개발 · 운영 환경 데이터를 나란히 놓고 처리 상태 · 필드별 정확도로 비교
  • 불일치를 유형별 오류 코드로 분류해 전환 판단 기준으로 삼고, 이후 명칭형 이슈코드로 바꿔 검증 단계 전체의 공통 분류 체계로 확장

결과

  • 구 시스템 대비 안정성 · 처리 속도 개선
  • 전환 검증 화면은 이후 통합 점검 콘솔의 바탕이 됨
  • Python
  • FastAPI
  • RabbitMQ
  • React
  • TypeScript
  • MySQL

02 개발 체계 · 2025.12 — 2026.09

사내 MCP 서버 · 코딩 에이전트 개발 체계

설계 · 구축 · 팀 보급

문제

코딩 에이전트가 실제 서버의 로그 · DB · 큐를 보지 못하면 한 번의 요청으로 끝낼 일이 사람의 복사 · 붙여넣기에 막히고, 권한을 그대로 주면 운영 시스템이 위험해집니다. 여러 세션이 동시에 작업하며 변경이 충돌하는 문제도 있었습니다.

해결 방식

  • 에이전트가 로그 · DB · 큐 · 컨테이너를 다루는 사내 MCP 서버 — API 키 인증 · IP 허용 목록 · 접근 로그, 조회는 읽기 전용 강제, 배포 같은 실행은 화이트리스트로 제한
  • 운영 DB 조회에는 무거운 JOIN · LIKE 차단과 실행 시간 상한, 도구 레지스트리를 재구성해 세션을 다시 열지 않고 도구 목록이 갱신되게 함
  • 서비스 4개를 통합 저장소로 모으고 도구 중립 에이전트 표준(AGENTS.md) · 작업 단위 임시 워크트리 → PR → 병합 · 요청 / 배포 식별 코드로 변경 이력을 추적
  • 요청 · 종료 훅이 작업 이력을 DB에 남겨 보고서를 자동 작성, 개발 · 운영 DB 쓰기는 사람이 실행하는 SQL로만 허용
  • 감시 대상 코드를 건드리지 않고 외부 호출만으로 장애를 판정하는 헬스체크 서비스
  • 환경별 DB 4곳의 스키마 차이를 매일 대조해 알리는 드리프트 감시기 · 화면, 코딩 에이전트 토큰 사용량을 계정 · PC · 세션별로 모으는 수집 훅과 대시보드

결과

  • 팀원들이 실업무에서 쓰는 개발 환경 — 에이전트 작업과 배포가 요청 단위로 추적된다
  • MCP
  • Python
  • FastAPI
  • Claude Code 훅 · 스킬
  • git worktree
  • Docker

03 데이터 추출 · 2026.01 — 2026.07

하이브리드 데이터 추출 파이프라인 — 규칙 + LLM

AI 파이프라인 설계 · 구현

문제

입찰공고는 금액 · 자격조건 표기가 서술형 · 표 · 혼합형으로 제각각이고 합본 공고도 많아 정규식 추출이 자주 실패했습니다. 텍스트가 없는 PDF · 이미지 공고는 규칙으로 읽을 방법이 없었고, AI를 붙이자 느린 건이 큐 전체를 막았습니다.

해결 방식

  • 규칙 추출을 모듈로 분리하고 표 · 인라인 패턴(병합 셀 · 합계 행 · 자간 공백)을 확장, 실패와 불일치를 구분하는 이슈코드 · 등급과 공고 유형별 패턴으로 재구성
  • PDF · 이미지 공고용 LLM 추출 경로 — 프롬프트를 DB에서 버전으로 관리하고 호출마다 토큰 · 비용 · 응답 시간을 기록, 필드별 AI 적용을 설정으로 제어하며 기존 값은 덮어쓰지 않게 보호
  • 느린 AI 작업을 2단 큐(접수 · 변환 / AI 추출 · 저장)로 분리해 빠른 건이 기다리지 않게 함 — 첫 운영 반영에서 분기 결함을 찾아 롤백 후 수정 재배포
  • 장애 로그를 실측해 실패 대부분이 타임아웃 · 쿼터 초과임을 확인하고, 기본 모델이 늦을 때만 이종 벤더 보조 모델을 병렬로 띄우는 지연-트리거 race를 설계해 운영 중
  • 같은 공고문을 공유하는 복수공고는 DB 기본키 충돌의 원자성으로 대표 1건을 정해 결과를 재사용 — 타이밍에 기대던 첫 설계를 폐기하고 동시성 결함(스냅샷 고정 · 같은 밀리초 중복 삽입)까지 수정

결과

  • 텍스트 없는 PDF · 이미지 공고까지 추출 대상으로 확장
  • 복수공고 중복 AI 호출 3.2% 제거
  • Python
  • 정규식
  • Gemini
  • RabbitMQ
  • MySQL
  • Docker Compose

04 점검 · 자동검수 · 2026.01 — 2026.04

공고 점검 · 자동검수 시스템

검수 엔진 · 웹 콘솔

문제

추출된 공고는 사람이 한 건씩 눈으로 검수했고, 검수 조건은 코드에 묻혀 비개발 직군이 볼 수 없었습니다. 잘못 수집된 공고를 되돌려 다시 처리하는 공식 절차도 없었습니다.

해결 방식

  • 자동검수 엔진을 대상 → 필수 → 제외 → 면허 4단계로 구조화 — 조건은 DB로 관리해 화면에서 조회, 대표 사유는 우선순위가 가장 높은 단계로 결정, 통과 · 대상외 사유 코드를 필드별로 세분화
  • 새 분야로 넓힐 때는 운영에서 상태 변경을 건너뛰는 관찰 모드로 먼저 검증하고, 통계 API · 차트로 성공 · 실패 사유를 추적
  • 점검 콘솔 — JWT 슬라이딩 세션 · 레벨 기반 RBAC(권한은 DB에서 동적 관리), 환경별 AI 호출 현황(토큰 · 비용 · 응답 시간), SVG로 그린 파이프라인 시각화
  • 승인형 재수집 · 롤백 — 외부 점검 시스템이 요청하고 책임자가 승인하면 실행, 테이블별 롤백 동작은 설정 테이블로 관리, 동시 실행 방지 · 데드락 재시도 · 트랜잭션 원자성
  • 화면 설계를 웹 페이지로 먼저 만들어 비개발 직군과 합의한 뒤 DB → API → 웹 → 워커 → 통합 순으로 구현

결과

  • 사람이 하던 공고문 검수를 조건 기반 자동 통과로 전환 — 시설 분야 자동검수 비율 0% → 80%(사내 내부 지표)
  • Python
  • FastAPI
  • React
  • TypeScript
  • JWT
  • MySQL

05 문서 변환 · 2026.03 — 2026.09

문서 변환 파이프라인 — 무과금 추출 · AI 변환 품질 게이트

변환 설계 · 장애 분석

문제

HWP · PDF · 이미지로 오는 공고문을 모두 HTML로 정규화해야 했는데 변환 API 비용이 문서마다 들었습니다. AI로 HTML을 만들게 하자 모델이 본문을 요약하거나 붙임을 빠뜨리는 일이 확률적으로 생겼고, 에러 없이 글자만 깨지는 PDF도 걸러지지 않았습니다.

해결 방식

  • 텍스트 레이어가 있는 디지털 PDF는 오픈소스 파서(Open Data Loader)로 직접 추출하고 스캔 문서에만 OCR을 남기는 하이브리드 분기, 파일을 한 번만 읽어 HTML 변환과 데이터 추출을 병렬 호출
  • AI HTML 변환을 운영에 켠 당일 누락을 확인해 즉시 되돌리고, 원인이 입력이 아니라 모델의 확률적 조기 종료임을 분석
  • 파서가 뽑은 원문 텍스트를 정답지로 삼는 결정적 게이트 5종(종료 사유 · 축약 문구 · 분량 비율 · 붙임 전수 · 꼬리 누락) — 탈락하면 이종 벤더 2차 모델, 초대형 문서는 페이지 조각별 변환 후 이어붙임
  • 모든 경로가 실패하면 기존 이미지 HTML로 돌아가 불완전한 본문은 저장될 수 없게 설계, 2차 모델 · 프롬프트는 DB 행으로 관리해 코드 배포 없이 교체
  • 글자만 깨지는 PDF는 폰트 경고 신호로 탐지해 바이트 단계에서 교정 · 재렌더(실패하면 원래 결과 유지), 화면이 겹치던 일부 발주처 엑셀 공고는 AI 없이 표를 보존해 직접 변환, 한글 문서 변환 엔진 4종 비교 도구 구축

결과

  • 디지털 PDF 경로의 변환 API 비용 0 · 평균 1.24초/건
  • AI 변환 품질 게이트는 테스트 환경에서 라이브 검증 · PDF 폰트 교정과 엑셀 직접 변환은 운영 반영
  • Open Data Loader
  • Cloud Vision OCR
  • Gemini
  • 이종 벤더 LLM
  • PyMuPDF
  • Docker

06 AI 보완검증 · 2026.03 — 2026.09

AI 보완검증 시스템 — 설계부터 비용 · 정확도 최적화까지

설계 → 비용 분석 → 구현 → 운영 → 고도화

문제

규칙으로 뽑은 값이 틀려도 알아챌 방법이 없었습니다. LLM으로 다시 확인하려면 LLM이 원문에 없는 값을 지어내는 문제(환각)부터 막아야 했고, 검증 호출이 AI 비용의 대부분을 차지하게 되자 정확도를 지키면서 비용을 줄일 근거가 필요했습니다. AI API에 장애가 나도 검증이 멈추면 안 됐습니다.

해결 방식

  • 규칙이 뽑은 값을 별도 LLM이 한 번 더 확인하는 검증 워커 — 대안 9가지를 비교해 큐에서 한 건씩 꺼내 처리하고 실패하면 다시 시도하는 구조로 정하고, 여러 모델을 같은 정답지로 비교(정확도 · 환각 · 틀린 값끼리의 일치)해 운영 모델 선정
  • 값이 원문에 진짜 있는지부터 확인(원문 근거 게이트) — 없으면 지어낸 값으로 보고 한 번 다시 추출하고, 근거로 든 문구가 원문과 어긋난 항목만 다른 회사의 상위 모델에 다시 맡기는 2단 구성
  • 역할 나누기 — LLM이 값을 바로 고치던 구조를 "LLM은 값만 뽑고, 원문 대조 · 판정은 워커 프로그램이"로 바꾸고, 불일치는 검증 이슈코드 41종으로 등급 관리 · 결과 화면과 환경별 켜기/끄기(웹 토글 + 워커 이중 가드) 제공
  • 최상위 모델을 당연하게 쓰지 않음 — 당시 Gemini 최상위였던 3.5 Flash와 가벼운 3.1 Flash-Lite에 같은 표본 · 같은 프롬프트를 넣어 비교(A/B)하고, 정확도가 거의 같아 Flash-Lite로 운영 모델을 정함
  • 벤치마크 점수가 더 높은 새 세대 모델은 같은 입력을 세 번씩 다시 돌려 모델 문제인지 우연한 흔들림인지 가렸고, 실행마다 답이 달라지는 문제를 확인해 도입하지 않음 · 프롬프트 구조(한 번에 묻기 대 나눠 묻기)도 입력을 고정한 실험 전용 서비스에서 같은 채점기로 비교하고, 모델 · 프롬프트 변경 회귀를 막는 골든셋 게이트까지 구축해 운영
  • 반복되는 지시문을 모델 쪽에 저장해 다시 쓰는 컨텍스트 캐시와, 모델에 넣기 전에 HTML을 걷어 내는 전처리로 호출 비용 · 입력량 절감
  • AI API 장애에 대비한 레이싱 체계 도입 — API에 장애가 나도 검증이 멈추지 않고 처리되도록 설계

결과

  • 컨텍스트 캐시로 검증 비용 −14.2% · HTML 전처리로 검증 입력 −92.2%(문자 수 기준)
  • 역할 나누기로 검증 비용 −33.5% · 응답 −40.4%(캐시를 켠 상태와 비교)
  • A/B(상위 모델이 만든 정답지와 항목별 대조) 일치율 3.5 Flash 91.4% vs 3.1 Flash-Lite 90.8% — 차이는 0.6%p, 비용은 8.7배라 가벼운 모델을 택함 · 운영 모델을 바꾼 전후 운영 로그 기준 검증 건당 비용 −82.9% · 평균 응답 −80.2%
  • 일반 트래픽의 99.6%는 상위 모델을 부르지 않고 기본 모델만으로 끝남 · 새 세대 모델은 오탐 5건을 확인하고 도입하지 않음(판정 일치율 88.0%)
  • Gemini 3.1 Flash-Lite
  • 다른 회사 상위 모델
  • RabbitMQ
  • 컨텍스트 캐시
  • FastAPI
  • React

07 DB 이관 · 2026.04 — 2026.05

레거시 DB 무중단 이관 — dual-write · 4계층 샌드박스

단독 설계 · 구축

문제

구버전 · EUC-KR 레거시 운영 DB를 멈추지 않고 최신 버전 · utf8mb4로 옮겨야 했고, 코딩 에이전트가 운영 DB에 직접 닿지 않는 개발 · 검증 환경이 필요했습니다.

해결 방식

  • 운영 미러와 개발 · 테스트 DB를 새 서버(MySQL 8.4)로 분리하고 역할별 계정을 나눔
  • Python 인코딩 변환 이관 — 덤프 방식의 한글 깨짐을 피하고 실패 행을 격리, 공고 단위 멱등 적재
  • Airflow로 일 단위 증분 이관(catchup · backfill)
  • 운영 워커의 모든 SQL을 단일 진입점으로 모아 신규 DB에 이중 기록 — 미러 실패는 경고만 남기고 조회 시점에 다시 미러링
  • DB 샌드박스 4계층 — 운영 조회 전용(JOIN · LIKE 제약) · 신규 운영(dual-write) · 개발(운영 데이터로 검증) · 테스트(자유)

결과

  • 레거시를 정본으로 둔 dual-write 병행 운영으로 무중단 이관 진행 중(cutover 미실시)
  • MySQL 5.5 → 8.4
  • Apache Airflow
  • Python
  • Docker Compose

08 규칙 자동학습 · 2026.06 — 2026.07

정제 규칙 자동학습 루프 — 제안 → 영향도 → 사람 승인

설계 · 구현

문제

자격조건 원문에서 불필요한 문구를 지우는 제거 규칙과 종목 판별 규칙을 사람이 하나씩 쌓아 관리했습니다. 규칙이 늘수록 무엇이 필요하고 무엇이 과하게 지우는지 판단할 근거가 없었습니다.

해결 방식

  • AI 추출 원문과 사람이 정리한 결과의 차이가 곧 제거 대상이라는 점을 실데이터로 확인 — 줄 단위 차집합을 공고 빈도로 통계화해 새 규칙 제안
  • 규칙마다 영향도와 과대 제거 여부를 계산해 운영 담당자에게 후보 제시
  • 매시간 증분 학습 · 규칙 병합(대체 관계 기록), 자동 승인은 금지 — 커버리지 유지와 과대 제거 비증가를 통과할 때만 병합
  • 엔진은 MCP 도구로 옮겨 에이전트가 다루게 하고, 쓰기는 테스트 DB에서만

결과

  • 수동 관리하던 정제 · 판별 규칙 1,898개(종목 판별 1,166 + 본문 제거 732)를 제안 → 영향도 계측 → 사람 승인 루프로 전환
  • 유사 패턴 67개 → 1개 병합 실증
  • Python
  • 정규식
  • MCP 도구
  • FastAPI
  • React

09 면허 판정 · 2026.07 — 2026.10

면허 판정 규칙 검증 플랫폼 — 채점 · 버전관리 · 판정 성능

설계 · 풀스택 · 검증 방법론

문제

업종 재정의로 면허를 다시 판정해야 했지만 규칙은 운영 표 하나뿐이라 고쳐도 효과를 잴 수 없었고, 운영 전환을 판단할 근거가 없었습니다. 규칙이 늘면서 공고마다 반복되는 정규식 컴파일이 처리 시간 대부분을 차지했습니다.

해결 방식

  • 운영 판정은 그대로 두고 병행(섀도) 트랙으로 새 판정을 적재하는 독립 검증 플랫폼 — 전용 API · 웹 · MCP
  • 스키마를 원천 · 사실 · 미러 · 규칙 · 파생 층으로 나누고 규칙은 버전으로 고정 — 화면 수치는 언제든 다시 만들 수 있는 파생 층에서만 읽고, 외부 기준 데이터와의 종목 매핑은 확실한 1:1만 쓰며 버전관리
  • 코딩 에이전트가 자격조건 원문을 읽어 전수 판정하고 채점은 집합 비교로 결정적으로 — 비개발 직군용 사례 채점 화면, 반려 사유를 받아 다시 제안하는 루프
  • 개선 라운드마다 도달 가능한 상한을 먼저 재고 전 모수로 채점 — 통합 업종명 하나에 계열 전체가 발화하던 오탐을 주력 분야 판별 · 앞뒤 조건 가드로 교정
  • 정규식 컴파일 병목은 컴파일 결과를 들고 있는 상주 매칭 보관소(응답이 없으면 로컬 매칭으로 폴백)와, 구문 트리에서 필수 리터럴을 뽑아 n-gram 색인과 대조하는 프리필터로 해소 — 놓치는 발화가 없도록 한 방향으로만 틀리게 설계
  • 운영자 코멘트 창구(대화 스레드 · 알림 · 진행 상태)로 받은 오탐 · 미탐을 새 초안 판에 모아 전 모수로 채점 · 재판정한 뒤 켜는 개선 루프 — 전용 콘솔은 사내 점검 웹으로 통합

결과

  • 개선 라운드를 섀도 트랙에서 검증한 뒤 운영에 단계적으로 반영
  • 매칭 보관소로 운영 공고당 면허 매칭 5.7초 → 0.4~0.5초 · 프리필터로 판정 시간 9.2배 단축(전 기간 재판정 놓침 0)
  • FastAPI
  • React
  • MySQL 8.4
  • Airflow 3
  • 정규식 AST · n-gram
  • Playwright

10 파이프라인 · 2026.08 — 2026.09

워커 파이프라인 재설계 — 장애 분석에서 구조 개편으로

원인 분석 · 재설계

문제

본문 전체가 인코딩된 이미지인 공고가 정제 정규식의 이차 시간 복잡도에 걸려, 워커가 메시지 재배달 주기마다 하나씩 잠기며 추출이 멈춘 장애가 있었습니다. 컨테이너는 실행 중이라 감시에 걸리지 않았고, 한 함수에 묶인 처리 흐름은 단계별 재처리가 불가능했습니다.

해결 방식

  • 로그로 장애 타임라인을 재구성해 원인을 확정하고 처방 — 정제 앞 이미지 제거 가드, 자식 프로세스 처리 상한 + 강제 종료, 재시도 없이 확인 응답하는 격리 원장(재배달 확산 차단 · 사람 승인), 재시작 없이 바꾸는 알람 설정
  • 테스트 환경에서 타임아웃 → 격리 → 알람 도착까지 전 구간을 훈련으로 확인한 뒤 운영 배포
  • 드러난 구조 결함을 재설계로 연결 — 단계 9개가 같은 계약(run(ctx) → StageResult)을 따르고, 순서는 코드가 아니라 단계 마스터 표가 가지며 기동할 때 상호 검증
  • 추출(raw)과 정제를 워커 경계로 분리하고 표본 비교 게이트로 회귀 없음을 확인, 오케스트레이터는 Hatchet PoC와 비교한 뒤 Airflow 3(공고 1건 = DagRun) 채택

결과

  • 장애 재발 경로 차단(처리 상한 · 격리 · 알람)
  • 단계별 재처리가 가능한 구조로 개편 게이트 통과
  • RabbitMQ
  • multiprocessing
  • Airflow 3
  • Python
  • Docker Compose

11 자동검수 데이터 · 2026.10 — 2026.10

자동검수 데이터 기반 · 판정 시뮬레이터 — Airflow 적재 DAG

설계 · 구현 · 이관

문제

자동검수 조건을 바꾸면 결과가 어떻게 달라질지 미리 계산하려면, 판정에 쓰인 입력을 공고 단위로 모아 둔 저장소가 필요했습니다. 그 적재를 메시지 큐 소비자에서 오케스트레이터로 옮기면서 실패한 지점부터 다시 돌릴 수 있어야 했습니다.

해결 방식

  • 자동검수 입력 전용 스키마 — 운영 원천 하나에서 읽어 전부 갱신(upsert)하고, 값이 바뀔 때마다 변경 이력을 남겨 처음 판정 때의 입력을 재현
  • 메시지 큐 소비자를 Airflow DAG로 옮긴 첫 사례 — 공고 1건 = DagRun, 표마다 태스크 · 트랜잭션을 나눠 실패한 표부터 재시작, 같은 공고의 요청은 순서 행 잠금으로 직렬화
  • 어느 API 서버로 요청해도 같은 동작을 하는 공용 접수 창구, 새벽 점검 DAG가 누락 · 실패 공고를 다시 보냄 — Airflow가 응답하지 않을 때 대기 표에 쌓았다 재전송하는 경로는 테스트 환경까지
  • 원천 DB 사이의 표현 차이(빈 값 · 구분자 · 날짜 오차)가 가짜 변경 이력으로 찍히지 않게 정규화 규칙을 두고, 신규 공고 동시 적재의 교착은 첫 버전에 잠금을 걸지 않는 방식으로 해소
  • 과거 3개월 백필은 실시간 소비자 코드를 그대로 쓰는 배치로 — 일 · 항목 단위 관리표로 진행과 오류를 추적
  • 판정 엔진을 브라우저로 옮긴 시뮬레이터 — 조건을 끼우고 빼며 단계별 유입 · 통과 · 제외를 퍼널로 보고, 시나리오는 서버에 저장해 팀이 함께 검토 · 대시보드에는 기존 산식과 객관 지표를 나란히

결과

  • 시뮬레이터가 운영 판정을 99.96% 재현(배포 시점 대조) — 조건 변경 효과를 반영 전에 검증
  • 적재 DAG는 테스트 → 개발 → 운영 순으로 반영
  • Airflow 3
  • FastAPI
  • MySQL 8.4
  • React
  • TypeScript
  • Playwright

12 사내 AI · 2026.10 — 2026.10

사내 AI 챗봇 — 업무 화면 안내 · 공고 분석

설계 · 구현 · 보안

문제

점검 웹의 화면과 기능이 계속 늘어, 사용법 · 화면 위치 · 공고 처리 결과를 바로 물어볼 창구가 요구됐습니다. 사내 데이터를 읽는 도구인 만큼 권한 · 비용 · 오남용 방어가 먼저 설계돼야 했습니다.

해결 방식

  • 질문을 먼저 가볍게 분류해 바로가기 · 사용법은 고정 안내와 문서로 답하고, 공고 분석처럼 판단이 필요한 질문만 LLM에 넘기는 2단 구조 — 사용법 문서는 단계별 트리로 필요한 만큼만 펼쳐 입력 토큰을 줄임
  • 조회 도구는 읽기 전용 권한만 가진 전용 계정으로 API 서버 안에 내장(외부 도구 서버 경유 폐기) — 공고 요약 · 처리 상태 · 규칙 판 · 정규식 진단을 정해진 양식으로만 조회
  • 공용 인증이 토큰만 믿지 않고 DB의 현재 활성 · 등급을 다시 확인하도록 보강, 하루 질문 한도(파트장급 이상 면제)와 사용자별 일 · 주 · 월 실제 비용 화면
  • 보고 있는 화면의 맥락을 함께 넘기고, 시스템 규칙을 고칠 때마다 고정 질문 묶음(골든셋)으로 회귀를 확인 — 분류기 시간 상한도 시간 초과 실측으로 조정
  • 별도 서비스로 시작한 챗봇을 API 서버 안으로 통합해 중계 · 서명 단계와 컨테이너를 줄임

결과

  • 사내 점검 웹 전 화면에 상시 위젯으로 배포
  • 설계 → 보안 검토 → 단계별 개방 순서로 진행
  • FastAPI
  • React
  • TypeScript
  • LLM
  • MySQL
  • pytest

업무 자산이라 서버·접속정보·고객 데이터 등 내부 구현 세부는 비공개입니다. 본 페이지는 아키텍처·기법·역량 수준으로만 정리했으며, 더 깊은 내용은 문의 시 별도 공유드립니다.

이야기로 돌아가기

자세히