본문으로 바로가기

사내 문서로 답하는 AI 챗봇(RAG)은 어떻게 만드나요?

RAG는 회사 문서를 잘게 나눠 검색 색인을 만들고, 질문이 오면 관련 대목을 찾아 생성형 AI가 그 근거로만 답하게 하는 방식입니다. 답변 품질은 어떤 AI 모델을 쓰느냐보다 문서 정리와 검색 설정에서 더 크게 갈립니다.

AI 챗봇 구축 문의전화 0507-1301-7163

기준일 · 작성 지니소프트

동작 순서

  1. 01문서 모으기

    규정, 매뉴얼, 보고서, 자주 받는 질문 답변처럼 답의 근거가 될 문서를 최신본으로 모읍니다.

  2. 02글자로 바꾸기

    PDF, 한글(HWP), 엑셀, 스캔 이미지를 검색할 수 있는 글자로 바꿉니다. 스캔본은 글자 인식(OCR)이 필요합니다.

  3. 03나누고 색인하기

    문서를 의미 단위로 나눠 검색 색인을 만듭니다. 나누는 크기가 답변 정확도에 직접 영향을 줍니다.

  4. 04찾아서 답하기

    질문과 가까운 대목을 찾아 AI에게 건네고, 그 대목만 근거로 답하게 합니다. 답변에 출처 문서를 함께 표시합니다.

  5. 05평가하고 고치기

    실제 질문 목록으로 답을 채점하고, 틀린 답은 문서·나누는 방식·검색 설정 중 어디가 원인인지 찾아 고칩니다.

도입 전에 준비할 것

  • 대상 문서 목록과 최신본 여부. 같은 규정의 옛 버전이 섞이면 AI가 틀린 근거로 답합니다.
  • 부서·직급별 열람 권한. 누가 어떤 문서의 답을 볼 수 있는지 먼저 정해야 합니다.
  • 실제로 자주 받는 질문 30~50개와 모범 답. 이 목록이 품질 평가 기준이 됩니다.
  • 개인정보·영업비밀이 들어 있는 문서인지 여부. 외부 AI 서비스를 쓸지, 내부 서버에 둘지 결정하는 근거가 됩니다.

한국어 문서에서 실제로 부딪힌 문제

지니소프트는 문서 검색 AI 플랫폼 GenieFlow를 직접 개발해 운영하면서 아래 문제를 겪고 고쳤습니다.

한국어 문서 RAG에서 생긴 문제와 해결
문제원인해결
"휴가는"으로 물으면 "휴가를"이 쓰인 문서를 못 찾음조사가 붙은 낱말을 서로 다른 말로 색인색인과 질문 양쪽에 조사를 뗀 형태를 함께 저장
검색 설정을 바꿨는데 결과가 그대로이미 올린 문서는 예전 설정으로 처리된 상태설정을 바꾸면 기존 문서를 다시 처리
스캔본·사진 속 표를 못 읽음이미지에는 검색할 글자가 없음글자 인식과 이미지 이해 모델을 함께 사용
한글(HWP) 문서가 올라가지 않음일반 문서 변환기가 HWP를 지원하지 않음HWP 전용 변환 단계를 추가

비용 구성

  • 구축비: 문서 변환, 색인 설계, 권한 연동, 화면 개발, 품질 평가에 드는 인건비입니다. 문서 종류가 많고 권한 구조가 복잡할수록 늘어납니다.
  • AI 사용료: 질문 수와 한 번에 읽는 문서 양에 비례합니다. 질문당 사용량 상한을 두면 예산을 넘지 않게 관리할 수 있습니다.
  • 서버 운영비: 색인 저장소와 서비스 서버 비용입니다. 내부 서버에 설치하면 장비·운영 비용이 따로 듭니다.
  • 공공 사업은 SW사업 대가산정 가이드 2025년 개정판의 인공지능(AI) 도입사업 대가 체계를 참고해 예산을 잡습니다.

자주 묻는 질문

회사 문서가 AI 학습에 쓰이지 않나요?

주요 상용 AI 서비스는 기업용 이용 조건에서 입력 데이터를 학습에 쓰지 않는다고 밝히고 있지만, 계약 전에 해당 약관을 함께 확인합니다. 민감한 문서는 외부로 보내지 않는 내부 설치 방식도 검토할 수 있습니다.

처음부터 전사에 도입해야 하나요?

아닙니다. 질문이 많은 부서 하나와 문서 묶음 하나로 먼저 검증하고, 정확도와 사용량을 확인한 뒤 넓히는 방식을 권합니다.

엑셀이나 표가 많은 문서도 되나요?

됩니다. 다만 표는 행과 열의 의미가 유지되도록 따로 처리해야 하므로, 표가 많은 문서는 준비 단계에서 미리 알려주시면 좋습니다.

출처