RAG · 검색증강생성
Retrieval-Augmented Generation
RAG이란?
- 답 전에 외부 지식 먼저 검색
- 근거 위에서 답 생성
- 환각 줄이고 최신·사내 지식 반영
RAG를 붙이는 순간 AI 답변의 책임 소재가 달라집니다. 전에는 '모델이 모른다'가 결론이었지만, 이제는 '그 문서가 창고에 없었다' 혹은 '옛날 버전이 검색됐다'가 원인이 됩니다. 품질을 좌우하는 축이 모델 성능에서 사내 문서 관리 역량으로 옮겨오는 셈입니다. 그래서 도입 프로젝트의 절반 이상은 개발이 아니라 흩어진 규정과 매뉴얼을 모아 버전을 정리하는 일에 쓰입니다.
파인튜닝·롱컨텍스트와는 쓰임이 갈립니다. 파인튜닝은 말투와 출력 형식을 바꾸는 데 강하고, 문서를 통째로 붙여 넣는 롱컨텍스트 방식은 수십 장짜리 일회성 분석에 맞습니다. 반면 수천~수만 건에서 근거 몇 조각만 골라와야 한다면 RAG 말고는 대안이 없습니다. 세부 설정도 결과를 가릅니다. 문서는 보통 300~800토큰 단위로 자르고 앞뒤를 10~20% 겹쳐 두며, 한 질문당 가져오는 조각은 3~5개가 기본입니다. 의미 검색만으로는 '품의서 3-2호' 같은 고유번호를 놓치기 때문에 키워드 검색을 함께 돌리는 하이브리드 구성에 재순위(reranker) 단계를 더하는 곳이 많습니다.
운영에 들어가면 점검 지표가 따로 필요합니다. 현업이 실제로 물을 법한 질문 30~50개로 평가셋을 만들어, 필요한 문서가 검색 결과에 들어왔는지(검색 적중률)와 답이 그 근거와 일치하는지를 나눠서 봅니다. 두 지표를 분리해야 손댈 곳이 보입니다. 검색이 실패했다면 문서를 쪼갠 방식이나 제목 정리를 고쳐야 하고, 검색은 맞았는데 답이 엉켰다면 프롬프트와 모델 쪽 문제입니다. 답하지 못한 질문 로그를 주 단위로 훑는 일이 사실상 유지보수의 전부입니다.
가장 흔한 오해는 '문서만 다 올리면 알아서 답한다'는 생각입니다. 2019년판과 2024년판 취업규칙이 나란히 들어가 있으면 AI는 폐기된 조항을 출처까지 붙여 제시하고, 직원은 근거가 보이니 그대로 믿고 움직입니다. 권한 설계를 빼먹으면 사고가 더 큽니다. 인사평가 자료나 연봉 테이블이 같은 창고에 올라간 순간, 검색 한 번으로 전 직원이 열람하게 됩니다. 최소한 근거를 못 찾으면 '자료에 없습니다'라고 답하도록 막아 두고, 문서마다 시행일자와 열람 권한을 태그로 달아 검색 단계에서 걸러내야 합니다.
2020년 패트릭 루이스(Patrick Lewis)와 페이스북 AI 연구소(현 Meta AI) 팀이 논문에서 처음 제시했습니다. 검색기와 생성 모델을 결합한다는 발상이 핵심입니다.
가상의 사례로 살펴보겠습니다. 임직원 520명 규모의 자동차 부품 제조사 A사는 인사팀 3명이 월 700건 넘는 사내 문의를 받고 있었습니다. 연차·경조사비·출장비 질문이 전체의 60%였고, 담당자가 규정집 PDF를 뒤져 확인해 주는 데만 하루 두세 시간이 들었습니다. 2024년 상반기, 규정 안내 챗봇을 RAG로 만들기로 했습니다.
- 인사팀장이 먼저 한 일은 개발이 아니라 문서 정리였습니다. 공유 드라이브에 흩어진 규정 파일 180여 개를 걷어 최신본 42건만 남기고 나머지는 폐기 폴더로 옮겼습니다.
- 정보시스템팀 대리가 42건을 조항 단위로 잘라 벡터DB에 넣으면서 시행일자와 열람 등급을 태그로 달았고, 연봉 테이블 등 7건은 인사팀 계정에서만 검색되도록 분리했습니다.
- 1차 테스트에서 '연차 언제부터 쓰나요'라는 질문에 폐기된 2019년 조항이 나왔습니다. 인사팀장이 '출처가 붙으니 직원은 그냥 믿는다'며 만료 문서 제외를 요청했습니다.
- 현업이 자주 묻는 40개 질문으로 평가셋을 만들어 매주 돌렸습니다. 조항 제목을 본문 앞에 붙이고 키워드 검색을 섞자 검색 적중률이 3주 만에 61%에서 89%로 올랐습니다.
- 3개월 뒤 인사팀 단순 문의는 월 700건에서 240건으로 줄었고, 평균 4시간 걸리던 답변이 즉시 나옵니다. 근거가 없으면 '규정에서 확인되지 않습니다'로 답하게 해 오답 신고는 월 3건 이하입니다.
- 최신·사내 문서를 근거로 답해야 할 때
- 데이터가 자주 바뀔 때
- 환각을 줄여야 할 때
- 말투·형식 자체를 바꿔야 할 때(파인튜닝)
- 참고할 문서가 없는 순수 창작
- 실시간성이 극도로 중요한 초저지연