공공조달 입찰공고 데이터 자동 추출 · AI 검증 플랫폼

개요

비드코칭연구소(2025.04 ~ 재직 중)에서 개발·운영하는 데이터 플랫폼입니다. 공공조달 입찰공고 문서(HTML·HWP·PDF·이미지)에서 자격조건·기초금액·법정제비용 등 핵심 항목을 자동으로 추출하고, 그 결과를 AI로 보완검증해 신뢰도를 끌어올립니다.

크롤러 수집부터 비동기 추출 워커, 데이터베이스, 분석 대시보드, 운영 자동화까지 6개 이상의 서비스로 구성된 시스템을 기획 단계부터 단독으로 설계·개발·운영하고 있습니다.

규칙 파싱과 LLM의 하이브리드 추출, 모델 실측 비교 선정, 프롬프트 세대 관리(v1→v5), 환각 방어 게이트, 캐시 기반 비용 최적화 등 — 프로덕션 LLM 시스템이 마주하는 정확도·비용·가용성 문제를 데이터로 검증하며 해결해 온 AI 엔지니어링 사례입니다.

아키텍처 · 데이터 흐름

1. 수집 — 외부 크롤러가 공고 문서를 수집해 API(FastAPI)로 전달
2. 분배 — 메시지 큐(RabbitMQ)로 작업을 비동기 분배 (비AI 빠른 건 / AI 느린 건 큐 분리)
3. 변환 — 문서 포맷별로 HTML 정규화 (전용 변환기 + 디지털 PDF 파서, 실패 시 AI/OCR 폴백)
4. 추출 — 규칙(정규식·파서)으로 1차 추출, 텍스트 없는 PDF·이미지는 LLM으로 추출
5. 검증 — 추출 결과를 별도 LLM으로 재검증하고 의심 케이스 플래깅
6. 적재 — 레거시 운영 DB와 신규 BI DB에 dual-write로 동시 저장
7. 활용 — 비교·통계 API → React 대시보드 시각화, 운영은 MCP·Airflow로 자동화

AI 활용

서비스 자동화 · 운영

개선 연혁

1. 2025 — 공고 수집 파이프라인 이관·컨테이너 서버 재구축으로 시작, LLM 기반 공고문 데이터 추출·검증 개발 착수
2. 2026.03 — 오픈소스 PDF 파서 도입으로 OCR 의존 제거(변환 1.6배 고속화·OCR 비용 100% 절감), AI 보완검증 시스템 아키텍처 설계
3. 2026.04 — 장애 로그 실측 분석 → 지연-트리거 병렬 race 폴백 구축(기본 모델 fast path 99.2%), AI 전용 미러 DB·Airflow 이관 파이프라인 신축
4. 2026.05 — dual-write 무중단 전환(다운타임 ≤1분), AI 보완검증 워커 구현 — 4종+ 모델 실측 비교로 운영 모델 선정, 명시적 캐시 도입(비용 −14.2%)
5. 2026.06 — 검증 워커 운영 배포·이슈코드 34종 체계화, 환각 방어 게이트(grounding·재추출 중재) 구축, 정규식 2,000여 개 수동 관리를 자동학습 루프로 전환
6. 2026.07 — 변환 품질게이트 + 상위 모델 escalation, 복수 공고 그룹당 AI 1회 호출(중복 ~3% 제거), 신규 항목 AI 추출 트랙 신설 — 프롬프트 v5 세대 운영

기술 스택

핵심 역할 · 성과

• AI 보완검증 시스템을 설계 → 비용 분석 → 구현 → 모델 실측 선정 → 운영 배포 → 고도화까지 단독 완주 (프로덕션 LLMOps 전 주기)
• 실패 케이스 기반 프롬프트 세대 관리(v1→v5)와 정량 회귀 검증 문화 — 검증 정합도(유사도) 0.67 → 1.00 달성
• 지연-트리거 병렬 race 폴백 · 2-tier escalation · grounding 환각 게이트 등 프로덕션 LLM 신뢰성 패턴을 실측 데이터로 설계
• 명시적 캐시 · 입력 전처리 · 책임분리로 AI 운영 비용을 구조적으로 절감(캐시 −14.2% · 토큰 −74.2% · 검증 비용 −33.5%)
• 레거시 RDB 무중단 dual-write 이관(다운타임 ≤1분), 정규식 자동학습 · MCP 하네스 등 운영 자동화를 직접 구축