AI 편향
AI Bias
AI 편향이란?
- 데이터·설계 치우침으로 불공정한 결과
- 데이터가 편향되면 AI도 편향
- 차별을 자동화할 위험
AI 편향을 이해하고 나면 모델을 들일 때 던지는 질문이 바뀝니다. "정확도가 몇 퍼센트입니까"가 아니라 "누구에게서 틀립니까"를 먼저 묻게 됩니다. 전체 정확도는 다수 집단의 성적표이기 때문입니다. 지원자의 10%가 특정 집단이라면 그 집단을 전부 틀려도 전체 정확도는 90%로 찍힙니다. 그래서 검수의 핵심은 성능 지표를 집단별로 쪼개서 보는 것으로 옮겨갑니다.
편향은 한 덩어리가 아니라 들어오는 길이 다릅니다. 과거의 차별적 결정이 정답 라벨로 굳은 역사적 편향, 특정 집단의 표본이 애초에 적은 표집 편향, 평가자의 주관이 라벨에 스며든 라벨링 편향, 그리고 모델이 추천한 결과가 다시 학습 데이터로 돌아오는 피드백 루프 편향이 대표적입니다. 더 까다로운 점은 공정성의 정의가 하나가 아니라는 것입니다. 집단별 합격률을 같게 맞추는 기준과 집단별 오탐률을 같게 맞추는 기준은 수학적으로 동시에 만족되지 않는 경우가 많아, 어떤 공정성을 택할지는 결국 경영 판단입니다.
편향은 환각(hallucination)과 구분해야 합니다. 환각은 없는 사실을 지어내는 무작위적 오류지만, 편향은 방향이 일정하고 재현됩니다. 같은 조건을 100번 넣으면 100번 같은 쪽으로 기웁니다. 그래서 재현되는 오류는 프롬프트가 아니라 데이터와 목적함수를 봐야 잡힙니다. 반대로 통계적 차이가 전부 부당한 차별인 것도 아니어서, 차이가 업무 관련성으로 설명되는지를 사안별로 따져야 합니다.
현장에서 가장 흔한 오해는 "성별·나이 칼럼을 뺐으니 공정하다"입니다. 민감 변수를 지워도 거주지, 출신 학교, 경력 공백, 군필 여부 같은 프록시 변수가 그 정보를 그대로 복원합니다. 오히려 변수를 지운 탓에 편향을 측정할 수조차 없게 되는 역효과가 납니다. 또 하나는 벤더의 "편향 검증 완료" 문구를 그대로 믿는 것입니다. 그 검증이 어느 나라, 어느 집단 구성으로 이뤄졌는지 물어보지 않으면 우리 회사 지원자 분포에서는 전혀 다른 결과가 나옵니다. 검증 없이 자동 승인 라인에 붙이는 순간 차별이 초당 수십 건 속도로 복제됩니다.
머신러닝의 데이터 의존성에서 비롯된 문제로, 여러 실제 차별 사례가 드러나며 AI 윤리의 핵심 과제로 부상했습니다.
가상의 사례로 살펴보겠습니다. 임직원 1,400명, 연매출 3,200억 원 규모의 유통사 A사는 연간 1만 2,000건에 달하는 입사지원서를 감당하려고 서류전형 AI 스크리닝을 도입했습니다. 6개월 뒤 인사팀 정기 리포트에서 여성 지원자의 서류 통과율이 도입 전 31%에서 18%로 떨어진 것이 확인됐습니다. "모델 정확도는 89%로 나오는데 왜 이런 숫자가 나옵니까"라는 질문에서 논의가 시작됐습니다.
- 인사기획팀 김 과장이 학습에 쓴 최근 5년치 합격자 데이터를 열어보니 물류·MD 직군 합격자의 82%가 남성이었고, AI는 그 비율 자체를 우수 인재의 특징으로 익힌 상태였습니다.
- 개발사는 "성별 항목은 입력값에 아예 없습니다"라고 답했지만, 데이터분석 이 책임이 변수 기여도를 뽑자 경력 공백 6개월 이상과 특정 여대 출신이 감점 요인으로 작동하고 있었습니다.
- CHRO가 "정확도 말고 집단별로 나눠서 다시 보고해 주세요"라고 지시했고, 성별·연령대별 위양성률을 따로 계산하자 집단 간 격차가 14%p로 드러났습니다.
- 인사팀은 경력 공백과 출신학교 변수를 학습에서 제외하고, 최근 2년 지원자 중 여성 표본 4,000건을 추가로 확보해 재학습을 돌렸습니다.
- 동시에 AI 점수는 참고 지표로만 쓰고 하위 30% 구간은 반드시 채용담당자가 재검토하는 규칙을 넣었고, 분기 리포트에 집단별 통과율 격차 항목을 고정으로 넣었습니다.
- 3개월 뒤 여성 서류 통과율은 29%로 회복됐고 집단 간 격차는 14%p에서 3%p로 줄었으며, 입사자 1년 근속률은 오히려 4%p 상승했습니다.