할루시네이션 · 환각
Hallucination
할루시네이션이란?
- 사실 아닌 것을 그럴듯하게 지어냄
- 생성형 AI의 핵심 위험
- 근거화·검증으로 관리
환각을 제대로 이해하면 AI 도입 설계 자체가 바뀝니다. 'AI가 무엇을 할 수 있나'보다 틀렸을 때 누가 어디서 걸러내나가 업무 흐름을 짜는 기준이 됩니다. 초안 작성이 다섯 배 빨라져도 검수에 그만큼 시간이 들면 남는 게 없으므로, 실무에서는 검증 시간까지 합친 총 소요 시간으로 효과를 계산합니다. 그래서 AI를 붙일 첫 업무를 고를 때도 정답이 하나로 정해져 있고 틀리면 바로 티가 나는 일부터 시작하는 것이 안전합니다.
환각은 한 덩어리가 아니라 유형이 나뉩니다. 존재하지 않는 논문·판례·통계를 만들어내는 사실 조작, 내용은 맞는데 출처 링크나 페이지 번호만 지어내는 출처 조작, 근거 문서를 줬는데도 그 문서에 없는 문장을 슬쩍 끼워 넣는 왜곡형이 있습니다. RAG로 줄어드는 것은 주로 앞의 두 가지이고 세 번째는 그대로 남습니다. 학습 시점 이후를 모르는 지식 컷오프나 데이터 편향은 환각과 원인이 달라 처방도 다르다는 점을 구분해야 합니다. 답변이 길수록, 좁은 전문 영역일수록, 숫자·고유명사·날짜가 섞일수록 발생 빈도는 올라갑니다.
현장에서 가장 흔한 오해는 '출처를 물어보면 안전하다'입니다. 출처를 지어내는 모델에게 출처를 묻는 것은 검증이 아니고, 링크가 실제로 열리는지 그 문서에 정말 그 문장이 있는지까지 봐야 검증입니다. 최신 모델로 바꾸면 해결된다는 기대도 위험합니다. 빈도는 줄지만 표현이 더 매끄러워져 오히려 눈에 덜 띕니다. 사고는 오히려 RAG를 붙인 뒤에 터집니다. '이제 근거 기반이니 괜찮다'며 검수를 풀어버리면 고객 안내문에 없는 환불 조건이 나가고, 계약서 검토 요약에 없는 조항이 들어가 책임이 고스란히 회사로 넘어옵니다.
생성형 AI가 대중화되며 '그럴듯하지만 틀린 답'이 실무 위험으로 부각되면서 널리 쓰이게 된 용어입니다. 언어모델이 정답을 저장한 게 아니라 확률적으로 문장을 생성하는 구조에서 비롯됩니다.
가상의 사례로 살펴보겠습니다. 임직원 180명, 연매출 900억 원대 산업용 자재 유통사 A사는 고객 문의 답변 초안을 생성형 AI로 만들기 시작했습니다. 도입 두 달째, 한 고객사가 '받은 메일에 적힌 반품 조건대로 처리해 달라'며 클레임을 넣었는데 A사에는 그런 규정이 아예 없었습니다.
- 영업지원팀 김 과장이 발송 메일을 되짚어 보니 '개봉 후 14일 내 반품 가능'이라는 문장이 세 건에 들어가 있었고, 아무도 그 조건을 쓴 기억이 없었습니다.
- 품질보증팀장이 8월 한 달 치 AI 초안 답변 120건을 규정집과 하나씩 대조한 결과, 사내 근거가 없는 문장이 19건(15.8%) 섞여 있었습니다.
- 정보시스템 담당 박 차장이 규정집·단가표·계약 표준안 PDF 42종을 검색용 저장소에 올리고, '주어진 문서에 없으면 담당자 확인 필요라고만 답하라'는 지시문을 고정했습니다.
- 영업이사가 '금액·기한·법적 조건이 들어간 문장은 사람이 두 번 본다'는 원칙을 세워, 해당 답변은 팀장 승인 전에는 발송 버튼이 눌리지 않도록 메일 템플릿을 바꿨습니다.
- 3개월 뒤 같은 방식으로 120건을 재점검했더니 근거 없는 문장은 2건(1.7%)으로 줄었고, 답변 작성 시간은 건당 25분에서 9분으로 짧아졌습니다.