01 수집 · 전환 · 2025.04 — 2025.12
공고 수집 서비스 재구축 — 신 · 구 전환 검증
설계 · 백엔드 · 전환 검증
문제
노후화된 기존 수집 시스템은 안정성과 처리 속도에 한계가 있었습니다. 새 시스템으로 바꾸는 동안에는 두 시스템의 결과가 같다는 것을 공고 단위로 보여 줄 근거가 필요했습니다.
해결 방식
- 수집 서비스를 새로 구축 — 수집 요청을 받는 API 서버와 다운로드 · 변환 · 추출을 나눠 맡는 큐 워커로 분리
- 신 · 구 시스템의 추출 결과를 공고 단위로 대조하는 전환 검증 도구 — 개발 · 운영 환경 데이터를 나란히 놓고 처리 상태 · 필드별 정확도로 비교
- 불일치를 유형별 오류 코드로 분류해 전환 판단 기준으로 삼고, 이후 명칭형 이슈코드로 바꿔 검증 단계 전체의 공통 분류 체계로 확장
결과
- 구 시스템 대비 안정성 · 처리 속도 개선
- 전환 검증 화면은 이후 통합 점검 콘솔의 바탕이 됨
- Python
- FastAPI
- RabbitMQ
- React
- TypeScript
- MySQL
02 개발 체계 · 2025.12 — 2026.09
사내 MCP 서버 · 코딩 에이전트 개발 체계
설계 · 구축 · 팀 보급
문제
코딩 에이전트가 실제 서버의 로그 · DB · 큐를 보지 못하면 한 번의 요청으로 끝낼 일이 사람의 복사 · 붙여넣기에 막히고, 권한을 그대로 주면 운영 시스템이 위험해집니다. 여러 세션이 동시에 작업하며 변경이 충돌하는 문제도 있었습니다.
해결 방식
- 에이전트가 로그 · DB · 큐 · 컨테이너를 다루는 사내 MCP 서버 — API 키 인증 · IP 허용 목록 · 접근 로그, 조회는 읽기 전용 강제, 배포 같은 실행은 화이트리스트로 제한
- 운영 DB 조회에는 무거운 JOIN · LIKE 차단과 실행 시간 상한, 도구 레지스트리를 재구성해 세션을 다시 열지 않고 도구 목록이 갱신되게 함
- 서비스 4개를 통합 저장소로 모으고 도구 중립 에이전트 표준(AGENTS.md) · 작업 단위 임시 워크트리 → PR → 병합 · 요청 / 배포 식별 코드로 변경 이력을 추적
- 요청 · 종료 훅이 작업 이력을 DB에 남겨 보고서를 자동 작성, 개발 · 운영 DB 쓰기는 사람이 실행하는 SQL로만 허용
- 감시 대상 코드를 건드리지 않고 외부 호출만으로 장애를 판정하는 헬스체크 서비스
- 환경별 DB 4곳의 스키마 차이를 매일 대조해 알리는 드리프트 감시기 · 화면, 코딩 에이전트 토큰 사용량을 계정 · PC · 세션별로 모으는 수집 훅과 대시보드
결과
- 팀원들이 실업무에서 쓰는 개발 환경 — 에이전트 작업과 배포가 요청 단위로 추적된다
- MCP
- Python
- FastAPI
- Claude Code 훅 · 스킬
- git worktree
- Docker
03 데이터 추출 · 2026.01 — 2026.07
하이브리드 데이터 추출 파이프라인 — 규칙 + LLM
AI 파이프라인 설계 · 구현
문제
입찰공고는 금액 · 자격조건 표기가 서술형 · 표 · 혼합형으로 제각각이고 합본 공고도 많아 정규식 추출이 자주 실패했습니다. 텍스트가 없는 PDF · 이미지 공고는 규칙으로 읽을 방법이 없었고, AI를 붙이자 느린 건이 큐 전체를 막았습니다.
해결 방식
- 규칙 추출을 모듈로 분리하고 표 · 인라인 패턴(병합 셀 · 합계 행 · 자간 공백)을 확장, 실패와 불일치를 구분하는 이슈코드 · 등급과 공고 유형별 패턴으로 재구성
- PDF · 이미지 공고용 LLM 추출 경로 — 프롬프트를 DB에서 버전으로 관리하고 호출마다 토큰 · 비용 · 응답 시간을 기록, 필드별 AI 적용을 설정으로 제어하며 기존 값은 덮어쓰지 않게 보호
- 느린 AI 작업을 2단 큐(접수 · 변환 / AI 추출 · 저장)로 분리해 빠른 건이 기다리지 않게 함 — 첫 운영 반영에서 분기 결함을 찾아 롤백 후 수정 재배포
- 장애 로그를 실측해 실패 대부분이 타임아웃 · 쿼터 초과임을 확인하고, 기본 모델이 늦을 때만 이종 벤더 보조 모델을 병렬로 띄우는 지연-트리거 race를 설계해 운영 중
- 같은 공고문을 공유하는 복수공고는 DB 기본키 충돌의 원자성으로 대표 1건을 정해 결과를 재사용 — 타이밍에 기대던 첫 설계를 폐기하고 동시성 결함(스냅샷 고정 · 같은 밀리초 중복 삽입)까지 수정
결과
- 텍스트 없는 PDF · 이미지 공고까지 추출 대상으로 확장
- 복수공고 중복 AI 호출 3.2% 제거
- Python
- 정규식
- Gemini
- RabbitMQ
- MySQL
- Docker Compose
04 점검 · 자동검수 · 2026.01 — 2026.04
공고 점검 · 자동검수 시스템
검수 엔진 · 웹 콘솔
문제
추출된 공고는 사람이 한 건씩 눈으로 검수했고, 검수 조건은 코드에 묻혀 비개발 직군이 볼 수 없었습니다. 잘못 수집된 공고를 되돌려 다시 처리하는 공식 절차도 없었습니다.
해결 방식
- 자동검수 엔진을 대상 → 필수 → 제외 → 면허 4단계로 구조화 — 조건은 DB로 관리해 화면에서 조회, 대표 사유는 우선순위가 가장 높은 단계로 결정, 통과 · 대상외 사유 코드를 필드별로 세분화
- 새 분야로 넓힐 때는 운영에서 상태 변경을 건너뛰는 관찰 모드로 먼저 검증하고, 통계 API · 차트로 성공 · 실패 사유를 추적
- 점검 콘솔 — JWT 슬라이딩 세션 · 레벨 기반 RBAC(권한은 DB에서 동적 관리), 환경별 AI 호출 현황(토큰 · 비용 · 응답 시간), SVG로 그린 파이프라인 시각화
- 승인형 재수집 · 롤백 — 외부 점검 시스템이 요청하고 책임자가 승인하면 실행, 테이블별 롤백 동작은 설정 테이블로 관리, 동시 실행 방지 · 데드락 재시도 · 트랜잭션 원자성
- 화면 설계를 웹 페이지로 먼저 만들어 비개발 직군과 합의한 뒤 DB → API → 웹 → 워커 → 통합 순으로 구현
결과
- 사람이 하던 공고문 검수를 조건 기반 자동 통과로 전환 — 시설 분야 자동검수 비율 0% → 80%(사내 내부 지표)
- Python
- FastAPI
- React
- TypeScript
- JWT
- MySQL
05 문서 변환 · 2026.03 — 2026.09
문서 변환 파이프라인 — 무과금 추출 · AI 변환 품질 게이트
변환 설계 · 장애 분석
문제
HWP · PDF · 이미지로 오는 공고문을 모두 HTML로 정규화해야 했는데 변환 API 비용이 문서마다 들었습니다. AI로 HTML을 만들게 하자 모델이 본문을 요약하거나 붙임을 빠뜨리는 일이 확률적으로 생겼고, 에러 없이 글자만 깨지는 PDF도 걸러지지 않았습니다.
해결 방식
- 텍스트 레이어가 있는 디지털 PDF는 오픈소스 파서(Open Data Loader)로 직접 추출하고 스캔 문서에만 OCR을 남기는 하이브리드 분기, 파일을 한 번만 읽어 HTML 변환과 데이터 추출을 병렬 호출
- AI HTML 변환을 운영에 켠 당일 누락을 확인해 즉시 되돌리고, 원인이 입력이 아니라 모델의 확률적 조기 종료임을 분석
- 파서가 뽑은 원문 텍스트를 정답지로 삼는 결정적 게이트 5종(종료 사유 · 축약 문구 · 분량 비율 · 붙임 전수 · 꼬리 누락) — 탈락하면 이종 벤더 2차 모델, 초대형 문서는 페이지 조각별 변환 후 이어붙임
- 모든 경로가 실패하면 기존 이미지 HTML로 돌아가 불완전한 본문은 저장될 수 없게 설계, 2차 모델 · 프롬프트는 DB 행으로 관리해 코드 배포 없이 교체
- 글자만 깨지는 PDF는 폰트 경고 신호로 탐지해 바이트 단계에서 교정 · 재렌더(실패하면 원래 결과 유지), 화면이 겹치던 일부 발주처 엑셀 공고는 AI 없이 표를 보존해 직접 변환, 한글 문서 변환 엔진 4종 비교 도구 구축
결과
- 디지털 PDF 경로의 변환 API 비용 0 · 평균 1.24초/건
- AI 변환 품질 게이트는 테스트 환경에서 라이브 검증 · PDF 폰트 교정과 엑셀 직접 변환은 운영 반영
- Open Data Loader
- Cloud Vision OCR
- Gemini
- 이종 벤더 LLM
- PyMuPDF
- Docker
06 AI 보완검증 · 2026.03 — 2026.09
AI 보완검증 시스템 — 설계부터 비용 · 정확도 최적화까지
설계 → 비용 분석 → 구현 → 운영 → 고도화
문제
규칙으로 뽑은 값이 틀려도 알아챌 방법이 없었습니다. LLM으로 다시 확인하려면 LLM이 원문에 없는 값을 지어내는 문제(환각)부터 막아야 했고, 검증 호출이 AI 비용의 대부분을 차지하게 되자 정확도를 지키면서 비용을 줄일 근거가 필요했습니다. AI API에 장애가 나도 검증이 멈추면 안 됐습니다.
해결 방식
- 규칙이 뽑은 값을 별도 LLM이 한 번 더 확인하는 검증 워커 — 대안 9가지를 비교해 큐에서 한 건씩 꺼내 처리하고 실패하면 다시 시도하는 구조로 정하고, 여러 모델을 같은 정답지로 비교(정확도 · 환각 · 틀린 값끼리의 일치)해 운영 모델 선정
- 값이 원문에 진짜 있는지부터 확인(원문 근거 게이트) — 없으면 지어낸 값으로 보고 한 번 다시 추출하고, 근거로 든 문구가 원문과 어긋난 항목만 다른 회사의 상위 모델에 다시 맡기는 2단 구성
- 역할 나누기 — LLM이 값을 바로 고치던 구조를 "LLM은 값만 뽑고, 원문 대조 · 판정은 워커 프로그램이"로 바꾸고, 불일치는 검증 이슈코드 41종으로 등급 관리 · 결과 화면과 환경별 켜기/끄기(웹 토글 + 워커 이중 가드) 제공
- 최상위 모델을 당연하게 쓰지 않음 — 당시 Gemini 최상위였던 3.5 Flash와 가벼운 3.1 Flash-Lite에 같은 표본 · 같은 프롬프트를 넣어 비교(A/B)하고, 정확도가 거의 같아 Flash-Lite로 운영 모델을 정함
- 벤치마크 점수가 더 높은 새 세대 모델은 같은 입력을 세 번씩 다시 돌려 모델 문제인지 우연한 흔들림인지 가렸고, 실행마다 답이 달라지는 문제를 확인해 도입하지 않음 · 프롬프트 구조(한 번에 묻기 대 나눠 묻기)도 입력을 고정한 실험 전용 서비스에서 같은 채점기로 비교하고, 모델 · 프롬프트 변경 회귀를 막는 골든셋 게이트까지 구축해 운영
- 반복되는 지시문을 모델 쪽에 저장해 다시 쓰는 컨텍스트 캐시와, 모델에 넣기 전에 HTML을 걷어 내는 전처리로 호출 비용 · 입력량 절감
- AI API 장애에 대비한 레이싱 체계 도입 — API에 장애가 나도 검증이 멈추지 않고 처리되도록 설계
결과
- 컨텍스트 캐시로 검증 비용 −14.2% · HTML 전처리로 검증 입력 −92.2%(문자 수 기준)
- 역할 나누기로 검증 비용 −33.5% · 응답 −40.4%(캐시를 켠 상태와 비교)
- A/B(상위 모델이 만든 정답지와 항목별 대조) 일치율 3.5 Flash 91.4% vs 3.1 Flash-Lite 90.8% — 차이는 0.6%p, 비용은 8.7배라 가벼운 모델을 택함 · 운영 모델을 바꾼 전후 운영 로그 기준 검증 건당 비용 −82.9% · 평균 응답 −80.2%
- 일반 트래픽의 99.6%는 상위 모델을 부르지 않고 기본 모델만으로 끝남 · 새 세대 모델은 오탐 5건을 확인하고 도입하지 않음(판정 일치율 88.0%)
- Gemini 3.1 Flash-Lite
- 다른 회사 상위 모델
- RabbitMQ
- 컨텍스트 캐시
- FastAPI
- React
07 DB 이관 · 2026.04 — 2026.05
레거시 DB 무중단 이관 — dual-write · 4계층 샌드박스
단독 설계 · 구축
문제
구버전 · EUC-KR 레거시 운영 DB를 멈추지 않고 최신 버전 · utf8mb4로 옮겨야 했고, 코딩 에이전트가 운영 DB에 직접 닿지 않는 개발 · 검증 환경이 필요했습니다.
해결 방식
- 운영 미러와 개발 · 테스트 DB를 새 서버(MySQL 8.4)로 분리하고 역할별 계정을 나눔
- Python 인코딩 변환 이관 — 덤프 방식의 한글 깨짐을 피하고 실패 행을 격리, 공고 단위 멱등 적재
- Airflow로 일 단위 증분 이관(catchup · backfill)
- 운영 워커의 모든 SQL을 단일 진입점으로 모아 신규 DB에 이중 기록 — 미러 실패는 경고만 남기고 조회 시점에 다시 미러링
- DB 샌드박스 4계층 — 운영 조회 전용(JOIN · LIKE 제약) · 신규 운영(dual-write) · 개발(운영 데이터로 검증) · 테스트(자유)
결과
- 레거시를 정본으로 둔 dual-write 병행 운영으로 무중단 이관 진행 중(cutover 미실시)
- MySQL 5.5 → 8.4
- Apache Airflow
- Python
- Docker Compose
08 규칙 자동학습 · 2026.06 — 2026.07
정제 규칙 자동학습 루프 — 제안 → 영향도 → 사람 승인
설계 · 구현
문제
자격조건 원문에서 불필요한 문구를 지우는 제거 규칙과 종목 판별 규칙을 사람이 하나씩 쌓아 관리했습니다. 규칙이 늘수록 무엇이 필요하고 무엇이 과하게 지우는지 판단할 근거가 없었습니다.
해결 방식
- AI 추출 원문과 사람이 정리한 결과의 차이가 곧 제거 대상이라는 점을 실데이터로 확인 — 줄 단위 차집합을 공고 빈도로 통계화해 새 규칙 제안
- 규칙마다 영향도와 과대 제거 여부를 계산해 운영 담당자에게 후보 제시
- 매시간 증분 학습 · 규칙 병합(대체 관계 기록), 자동 승인은 금지 — 커버리지 유지와 과대 제거 비증가를 통과할 때만 병합
- 엔진은 MCP 도구로 옮겨 에이전트가 다루게 하고, 쓰기는 테스트 DB에서만
결과
- 수동 관리하던 정제 · 판별 규칙 1,898개(종목 판별 1,166 + 본문 제거 732)를 제안 → 영향도 계측 → 사람 승인 루프로 전환
- 유사 패턴 67개 → 1개 병합 실증
- Python
- 정규식
- MCP 도구
- FastAPI
- React
09 면허 판정 · 2026.07 — 2026.10
면허 판정 규칙 검증 플랫폼 — 채점 · 버전관리 · 판정 성능
설계 · 풀스택 · 검증 방법론
문제
업종 재정의로 면허를 다시 판정해야 했지만 규칙은 운영 표 하나뿐이라 고쳐도 효과를 잴 수 없었고, 운영 전환을 판단할 근거가 없었습니다. 규칙이 늘면서 공고마다 반복되는 정규식 컴파일이 처리 시간 대부분을 차지했습니다.
해결 방식
- 운영 판정은 그대로 두고 병행(섀도) 트랙으로 새 판정을 적재하는 독립 검증 플랫폼 — 전용 API · 웹 · MCP
- 스키마를 원천 · 사실 · 미러 · 규칙 · 파생 층으로 나누고 규칙은 버전으로 고정 — 화면 수치는 언제든 다시 만들 수 있는 파생 층에서만 읽고, 외부 기준 데이터와의 종목 매핑은 확실한 1:1만 쓰며 버전관리
- 코딩 에이전트가 자격조건 원문을 읽어 전수 판정하고 채점은 집합 비교로 결정적으로 — 비개발 직군용 사례 채점 화면, 반려 사유를 받아 다시 제안하는 루프
- 개선 라운드마다 도달 가능한 상한을 먼저 재고 전 모수로 채점 — 통합 업종명 하나에 계열 전체가 발화하던 오탐을 주력 분야 판별 · 앞뒤 조건 가드로 교정
- 정규식 컴파일 병목은 컴파일 결과를 들고 있는 상주 매칭 보관소(응답이 없으면 로컬 매칭으로 폴백)와, 구문 트리에서 필수 리터럴을 뽑아 n-gram 색인과 대조하는 프리필터로 해소 — 놓치는 발화가 없도록 한 방향으로만 틀리게 설계
- 운영자 코멘트 창구(대화 스레드 · 알림 · 진행 상태)로 받은 오탐 · 미탐을 새 초안 판에 모아 전 모수로 채점 · 재판정한 뒤 켜는 개선 루프 — 전용 콘솔은 사내 점검 웹으로 통합
결과
- 개선 라운드를 섀도 트랙에서 검증한 뒤 운영에 단계적으로 반영
- 매칭 보관소로 운영 공고당 면허 매칭 5.7초 → 0.4~0.5초 · 프리필터로 판정 시간 9.2배 단축(전 기간 재판정 놓침 0)
- FastAPI
- React
- MySQL 8.4
- Airflow 3
- 정규식 AST · n-gram
- Playwright
10 파이프라인 · 2026.08 — 2026.09
워커 파이프라인 재설계 — 장애 분석에서 구조 개편으로
원인 분석 · 재설계
문제
본문 전체가 인코딩된 이미지인 공고가 정제 정규식의 이차 시간 복잡도에 걸려, 워커가 메시지 재배달 주기마다 하나씩 잠기며 추출이 멈춘 장애가 있었습니다. 컨테이너는 실행 중이라 감시에 걸리지 않았고, 한 함수에 묶인 처리 흐름은 단계별 재처리가 불가능했습니다.
해결 방식
- 로그로 장애 타임라인을 재구성해 원인을 확정하고 처방 — 정제 앞 이미지 제거 가드, 자식 프로세스 처리 상한 + 강제 종료, 재시도 없이 확인 응답하는 격리 원장(재배달 확산 차단 · 사람 승인), 재시작 없이 바꾸는 알람 설정
- 테스트 환경에서 타임아웃 → 격리 → 알람 도착까지 전 구간을 훈련으로 확인한 뒤 운영 배포
- 드러난 구조 결함을 재설계로 연결 — 단계 9개가 같은 계약(run(ctx) → StageResult)을 따르고, 순서는 코드가 아니라 단계 마스터 표가 가지며 기동할 때 상호 검증
- 추출(raw)과 정제를 워커 경계로 분리하고 표본 비교 게이트로 회귀 없음을 확인, 오케스트레이터는 Hatchet PoC와 비교한 뒤 Airflow 3(공고 1건 = DagRun) 채택
결과
- 장애 재발 경로 차단(처리 상한 · 격리 · 알람)
- 단계별 재처리가 가능한 구조로 개편 게이트 통과
- RabbitMQ
- multiprocessing
- Airflow 3
- Python
- Docker Compose
11 자동검수 데이터 · 2026.10 — 2026.10
자동검수 데이터 기반 · 판정 시뮬레이터 — Airflow 적재 DAG
설계 · 구현 · 이관
문제
자동검수 조건을 바꾸면 결과가 어떻게 달라질지 미리 계산하려면, 판정에 쓰인 입력을 공고 단위로 모아 둔 저장소가 필요했습니다. 그 적재를 메시지 큐 소비자에서 오케스트레이터로 옮기면서 실패한 지점부터 다시 돌릴 수 있어야 했습니다.
해결 방식
- 자동검수 입력 전용 스키마 — 운영 원천 하나에서 읽어 전부 갱신(upsert)하고, 값이 바뀔 때마다 변경 이력을 남겨 처음 판정 때의 입력을 재현
- 메시지 큐 소비자를 Airflow DAG로 옮긴 첫 사례 — 공고 1건 = DagRun, 표마다 태스크 · 트랜잭션을 나눠 실패한 표부터 재시작, 같은 공고의 요청은 순서 행 잠금으로 직렬화
- 어느 API 서버로 요청해도 같은 동작을 하는 공용 접수 창구, 새벽 점검 DAG가 누락 · 실패 공고를 다시 보냄 — Airflow가 응답하지 않을 때 대기 표에 쌓았다 재전송하는 경로는 테스트 환경까지
- 원천 DB 사이의 표현 차이(빈 값 · 구분자 · 날짜 오차)가 가짜 변경 이력으로 찍히지 않게 정규화 규칙을 두고, 신규 공고 동시 적재의 교착은 첫 버전에 잠금을 걸지 않는 방식으로 해소
- 과거 3개월 백필은 실시간 소비자 코드를 그대로 쓰는 배치로 — 일 · 항목 단위 관리표로 진행과 오류를 추적
- 판정 엔진을 브라우저로 옮긴 시뮬레이터 — 조건을 끼우고 빼며 단계별 유입 · 통과 · 제외를 퍼널로 보고, 시나리오는 서버에 저장해 팀이 함께 검토 · 대시보드에는 기존 산식과 객관 지표를 나란히
결과
- 시뮬레이터가 운영 판정을 99.96% 재현(배포 시점 대조) — 조건 변경 효과를 반영 전에 검증
- 적재 DAG는 테스트 → 개발 → 운영 순으로 반영
- Airflow 3
- FastAPI
- MySQL 8.4
- React
- TypeScript
- Playwright
12 사내 AI · 2026.10 — 2026.10
사내 AI 챗봇 — 업무 화면 안내 · 공고 분석
설계 · 구현 · 보안
문제
점검 웹의 화면과 기능이 계속 늘어, 사용법 · 화면 위치 · 공고 처리 결과를 바로 물어볼 창구가 요구됐습니다. 사내 데이터를 읽는 도구인 만큼 권한 · 비용 · 오남용 방어가 먼저 설계돼야 했습니다.
해결 방식
- 질문을 먼저 가볍게 분류해 바로가기 · 사용법은 고정 안내와 문서로 답하고, 공고 분석처럼 판단이 필요한 질문만 LLM에 넘기는 2단 구조 — 사용법 문서는 단계별 트리로 필요한 만큼만 펼쳐 입력 토큰을 줄임
- 조회 도구는 읽기 전용 권한만 가진 전용 계정으로 API 서버 안에 내장(외부 도구 서버 경유 폐기) — 공고 요약 · 처리 상태 · 규칙 판 · 정규식 진단을 정해진 양식으로만 조회
- 공용 인증이 토큰만 믿지 않고 DB의 현재 활성 · 등급을 다시 확인하도록 보강, 하루 질문 한도(파트장급 이상 면제)와 사용자별 일 · 주 · 월 실제 비용 화면
- 보고 있는 화면의 맥락을 함께 넘기고, 시스템 규칙을 고칠 때마다 고정 질문 묶음(골든셋)으로 회귀를 확인 — 분류기 시간 상한도 시간 초과 실측으로 조정
- 별도 서비스로 시작한 챗봇을 API 서버 안으로 통합해 중계 · 서명 단계와 컨테이너를 줄임
결과
- 사내 점검 웹 전 화면에 상시 위젯으로 배포
- 설계 → 보안 검토 → 단계별 개방 순서로 진행
- FastAPI
- React
- TypeScript
- LLM
- MySQL
- pytest