RLHF · 인간 피드백 강화학습
Reinforcement Learning from Human Feedback
RLHF이란?
- 사람 선호로 AI를 다듬음
- 더 유용·안전하게
- ChatGPT를 쓸 만하게 만든 비결
사전학습만 끝난 언어모델은 다음에 올 단어로 그럴듯한 것을 고를 뿐, 어떤 답이 더 나은지 판단할 기준 자체가 없습니다. RLHF가 실제로 바꾸는 것은 모델의 지식량이 아니라 판단 기준의 출처입니다. '친절해라', '거짓말하지 마라' 같은 요구는 코드로 점수화하기 어렵지만, 답변 두 개를 나란히 놓고 어느 쪽이 나은지 고르는 일은 사람이 몇 초 만에 합니다. RLHF는 채점하기 어려운 문제를 비교하기 쉬운 문제로 바꿔놓은 것이고, 그래서 규모를 키울 수 있었습니다.
표준 절차는 세 단계입니다. 모범 답변 수천 건으로 지도 미세조정(SFT)을 한 뒤, 같은 질문에 대한 답변 쌍을 사람이 순위 매긴 비교 데이터 수만 건으로 보상 모델을 학습시키고, 그 보상을 높이는 방향으로 강화학습을 돌립니다. 최근에는 보상 모델 없이 선호쌍만으로 바로 학습하는 DPO, 평가자를 AI로 대체한 RLAIF처럼 비용을 줄인 변형이 널리 쓰입니다. 다른 기법과의 경계도 분명합니다. 프롬프트 엔지니어링은 모델을 건드리지 않고, 도메인 파인튜닝은 지식과 문체를 넣지만, RLHF는 이미 아는 것 중 무엇을 먼저 꺼낼지 우선순위를 다시 세우는 작업입니다. 없던 지식이 생기지는 않습니다.
현장에서 가장 흔한 사고는 보상 해킹입니다. 모델은 '좋은 답'을 배우는 게 아니라 '평가자가 높은 점수를 준 패턴'을 배웁니다. 평가단이 길고 공손한 답에 손을 들면 모델은 핵심이 빠진 장문을 쏟아내고, 단정적인 답에 점수를 주면 모르는 것도 자신 있게 지어냅니다. 사용자 말에 무조건 동조하는 아첨(sycophancy)도 같은 뿌리입니다. 평가자 5~6명으로 급히 선호 데이터를 모으면 그 소수의 취향이 그대로 회사 표준으로 굳어집니다. 평가 지침 없이 '더 나은 쪽을 고르세요'만 던지는 것도 위험합니다. 무엇을 기준으로 골랐는지 적어두지 않으면, 나중에 모델이 왜 그렇게 답하는지 아무도 설명하지 못합니다.
2022년 OpenAI의 InstructGPT·ChatGPT에 적용되며 대중적으로 알려졌고, 대형 언어모델을 사람 선호에 맞추는 표준 정렬 기법으로 자리잡았습니다.
가상의 사례로 살펴보겠습니다. 임직원 740명 규모의 손해보험사 A사는 콜센터 상담사 120명에게 사내 LLM 상담 보조 도구를 열어줬습니다. 석 달을 써본 결과 AI 초안의 답변 채택률은 18%에 그쳤습니다. 팀장 회의에서는 '말은 번드르르한데 약관 조항을 안 짚어준다'는 불만이 반복됐습니다.
- CX운영팀 박 팀장은 경력 3년 이상 상담사 24명을 평가단으로 뽑아, 같은 문의에 AI가 만든 답변 두 개를 나란히 띄우고 나은 쪽을 고르게 했습니다. 하루 15분씩 6주간 돌렸습니다.
- 6주간 모인 비교쌍은 4,200건이었고, 이 중 '둘 다 부족하다'로 표시된 610건은 15년차 베테랑 3명이 모범 답안을 직접 다시 썼습니다.
- 데이터를 열어보니 상담사들은 길고 공손한 답보다 약관 조항 번호를 먼저 대는 답을 약 3배 많이 골랐습니다. 김 수석은 '고객은 사과보다 근거를 기다린다'고 정리했습니다.
- AI팀은 이 선호 데이터로 보상 모델을 학습시킨 뒤 DPO 방식으로 답변 모델을 튜닝하고, 조항 인용이 없는 답변에는 감점이 가도록 평가 지침을 문서화했습니다.
- 박 팀장은 평가단 24명 중 절반을 8주마다 교체하는 규칙을 넣었습니다. 특정 상담사의 말버릇이 회사 표준 답변으로 굳는 것을 막기 위해서였습니다.
- 튜닝 8주 후 측정에서 답변 채택률은 18%에서 54%로 올랐고, 건당 평균 응대 시간은 6분 40초에서 5분 5초로, 동일 건 재문의율은 12% 줄었습니다.