설명가능 AI · XAI
Explainable Artificial Intelligence
설명가능 AI이란?
- AI가 '왜 그렇게 판단했는지' 설명
- 신뢰·책임·규제 대응 핵심
- 블랙박스를 열기
XAI를 붙이면 AI가 내놓는 결과물의 모양이 바뀝니다. '점수 712점, 거절' 한 줄이던 화면에 '이 판단에 가장 크게 작용한 요인 세 가지'가 함께 뜹니다. 실무에서 실제로 달라지는 건 모델이 아니라 결재 라인과 기록물입니다. 심사역은 자기 판단과 모델의 근거를 대조한 뒤 승인 버튼을 누르고, 고객 응대 직원은 '시스템이 그렇게 나왔습니다' 대신 구체적인 사유를 말합니다. 설명이 로그로 남지 않으면 사후 감사도 이의 제기 처리도 불가능합니다.
설명 방식은 크게 둘로 갈립니다. 의사결정나무나 선형모델처럼 구조 자체가 읽히는 본질적 해석가능 모델이 하나, 이미 학습된 딥러닝에 SHAP·LIME 같은 도구를 덧붙여 근거를 추정하는 사후 설명이 다른 하나입니다. 여기에 '이 모델은 전반적으로 부채비율을 가장 크게 본다'는 전역 설명과 '이 고객이 거절된 이유는 이것'이라는 국소 설명은 쓰임이 다릅니다. 개정 개인정보 보호법의 자동화된 결정에 대한 설명·거부 요구권처럼 개인이 자기 건에 대해 물을 수 있는 제도를 전제하면, 필요한 것은 국소 설명 쪽입니다.
모든 모델에 다 붙일 필요는 없습니다. 실무에서는 판단이 사람에게 미치는 영향 등급으로 나눕니다. 재고 수요예측처럼 틀려도 돌이킬 수 있는 건 성능 위주로 가고, 대출·채용·보험 인수처럼 개인의 기회를 좌우하는 건 설명 가능한 구조를 택하거나 국소 설명을 건별로 보관합니다. 그리고 설명 자체의 품질을 검증해야 합니다. 모델이 제시한 상위 요인을 현업 전문가 판단과 대조해 보면, 생각보다 어긋나는 비율이 높게 나옵니다.
가장 흔한 오해는 설명이 곧 진짜 이유라고 믿는 것입니다. 사후 설명은 모델 내부를 그대로 펼친 게 아니라 근사한 해석이라, 도구나 기준 데이터가 바뀌면 상위 요인 순서도 흔들립니다. 같은 고객에게 지난달엔 '부채비율', 이번 달엔 '거래 기간'이라고 통보하면 그 자리에서 분쟁이 됩니다. 인과처럼 읽히는 문구도 위험합니다. '부채비율이 높아 거절'이라고 쓰면 고객은 '낮추면 승인'으로 듣고, 다시 거절되면 민원으로 돌아옵니다. 설명은 공정성의 증명이 아니라 점검의 출발점입니다.
딥러닝의 '블랙박스' 문제가 부각되며 2010년대 후반 XAI 연구가 활발해졌고, AI 규제·책임 논의와 함께 중요성이 커지고 있습니다.
가상의 사례로 살펴보겠습니다. 임직원 240명 규모의 캐피탈사 A사는 2년 전 신용대출 심사 모델을 도입해 월 8,000건을 자동 심사하고 있었습니다. 승인 속도는 빨라졌지만 거절 고객이 이유를 물으면 '종합 신용평가 결과'라는 답밖에 내놓지 못했고, 분기마다 거절 관련 민원이 120건씩 쌓였습니다. 감독당국 정기검사가 예정돼 있어 4개월 일정으로 설명 체계를 붙이기로 했습니다.
- 리스크관리팀 김 부장이 민원 120건을 직접 읽고 '고객이 화난 건 거절당해서가 아니라 이유를 못 들어서'라고 정리하면서, 거절 건 전수에 개인별 설명을 남기기로 했습니다.
- 데이터분석팀이 SHAP으로 건당 상위 3개 영향 요인을 뽑아 심사역 12명에게 300건을 블라인드로 보여줬는데, 심사역 판단과 겹친 비율이 62%에 그쳤습니다.
- 어긋난 건을 파고드니 통신요금 연체 변수가 특정 연령대에만 과하게 작용하고 있었고, 모델팀은 이 변수를 빼고 재학습해 승인율 손실을 0.4%p로 막았습니다.
- 법무팀 이 차장이 '부채비율이 높아 거절'은 낮추면 승인된다는 약속으로 읽힌다며 제동을 걸어, '이번 판단에 가장 크게 영향을 미쳤습니다'로 문구를 통일했습니다.
- 콜센터에는 요인별 응대 스크립트 18종을 배포하고, 심사역이 모델 설명과 다르게 판단한 건은 월 1회 검토 회의에 반드시 올리는 규칙을 만들었습니다.
- 4개월 뒤 분기 민원은 120건에서 41건으로 줄었고, 거절 사유 문의 평균 응대 시간은 9분에서 3분대로 떨어졌으며, 검사에서 설명 기록 보관 항목은 지적 없이 통과했습니다.