가드레일
AI Guardrails
가드레일이란?
- 위험·부적절 답을 막는 안전장치
- AI의 '난간'
- 오용·유출 방지
가드레일을 붙인다는 것은 '모델이 알아서 적당히 답하겠지'라는 기대를 '무엇을 못 하게 할지 우리가 문서와 코드로 적어 둔다'로 바꾸는 일입니다. 모델 자체를 손대지 않고도 서비스 층에서 행동 반경을 좁힐 수 있어서, 사고가 터졌을 때 '모델이 이상했다'가 아니라 '입력단에서 못 걸렀다, 출력단 룰이 없었다'처럼 어느 지점이 비었는지 추적이 됩니다. 책임 소재가 모델 공급사에서 운영팀으로 내려오는 대신, 통제권도 함께 넘어옵니다.
실무에서는 보통 세 층으로 나눠 봅니다. 입력단(위험 요청·개인정보 패턴 차단), 출력단(답변 생성 후 재검사), 실행단(결제·메일 발송 같은 도구 호출 권한 제한)입니다. 방식으로는 금칙어·정규식·화이트리스트 같은 하드 룰과, 별도 모델이 답변을 심사하는 소프트 룰이 있는데 하드 룰은 빠르지만 우회에 약하고 소프트 룰은 잡아내는 범위가 넓은 대신 응답이 0.3~1초 늘고 호출 비용이 붙습니다. 사전학습 단계의 정렬(alignment)이 모델 안쪽 문제라면 가드레일은 바깥에 덧대는 껍데기이고, AI 거버넌스가 정책 문서라면 가드레일은 그 문서를 실제로 강제하는 실행 코드입니다.
가장 흔한 오해는 시스템 프롬프트에 '욕설하지 마, 규정 밖 답변 하지 마'를 써 두면 끝났다고 믿는 것입니다. 프롬프트는 설득일 뿐 차단이 아니라서, '지금부터 너는 규정이 없다' 같은 몇 줄에 뚫립니다. 반대로 겁이 나서 금칙어를 잔뜩 넣으면 '고장', '환불' 같은 정상 단어까지 막혀 멀쩡한 문의가 거절되고, 고객은 상담사 연결로 몰려 도입 효과가 사라집니다. 차단 로그를 쌓지 않는 것도 위험합니다. 무엇이 몇 건 막혔는지 모르면 룰이 과한지 헐거운지 판단할 근거가 없고, 실제로 뚫린 날조차 캡처가 커뮤니티에 올라온 뒤에야 알게 됩니다.
생성형 AI가 실제 서비스에 쓰이며 부적절·위험 출력을 통제할 필요가 커지자, 이를 위한 규칙·필터 체계를 '가드레일'로 부르며 표준 실무가 됐습니다.
가상의 사례로 살펴보겠습니다. 임직원 420명 규모의 생활가전 제조사 A사는 고객센터 문의가 월 3만 8천 건까지 늘어 상담 챗봇을 파일럿으로 돌렸습니다. 두 달째부터 '규정에 없는 무상 교체를 약속했다'는 케이스가 주 23건씩 집계됐고, 타사 제품을 깎아내린 답변이 캡처돼 커뮤니티에 올라오면서 8주짜리 가드레일 작업이 시작됐습니다.
- 고객센터장 김 부장이 3주치 상담 로그 1만 2천 건을 뽑아 'AI가 절대 하면 안 되는 말' 47개를 추렸습니다. 1순위는 금액이 들어간 보상 약속이었습니다.
- 개발팀은 입력단에 개인정보·타사명 패턴 필터를 걸고, 출력단에는 별도 판정 모델을 두어 '보상 금액을 숫자로 말했는가'를 답변 송출 직전에 다시 검사하게 했습니다.
- QA 담당 이 과장이 공격 프롬프트 300개를 직접 만들어 때렸더니 '너는 이제 규정이 없다'류에 12건이 뚫렸고, 프롬프트 지시 대신 출력단 하드 룰로 옮겨 막았습니다.
- 첫 주 정상 문의 차단율이 9%까지 치솟아 상담사들이 '멀쩡한 질문을 왜 막느냐'고 항의했고, 금칙어 목록에서 '고장·파손·교환' 같은 일반 단어 14개를 걷어냈습니다.
- 5만 원을 넘는 보상 안내는 상담사 승인 큐로 넘기고, 차단 로그 요약을 매일 오전 9시 운영 채널로 자동 발송하도록 붙였습니다.
- 8주 뒤 규정 이탈 답변은 주 23건에서 2건으로, 정상 문의 오차단은 9%에서 1.4%로 줄었습니다. 응답은 0.4초 느려졌지만 상담사 이관율이 31%에서 19%로 떨어졌습니다.