AI 거버넌스 · 윤리
AI Governance / Ethics
AI 거버넌스란?
- AI를 안전·공정하게 쓰는 관리 체계
- 원칙·정책·통제 장치 마련
- 규제 대응이자 신뢰
AI 거버넌스가 들어오면 조직에서 사라지는 것이 하나 있습니다. "이 자료를 AI에 넣어도 되나"를 담당자가 혼자 감으로 판단하던 순간입니다. 어떤 업무에 어떤 도구를 쓸 수 있는지, 결과물을 누가 검증하고 문제가 생기면 누가 책임지는지가 문서와 시스템에 박히기 때문입니다. 판단의 부담을 개인에게서 조직으로 옮기는 장치이고, 그래서 속도를 늦추는 규제가 아니라 속도를 감당하게 하는 받침대에 가깝습니다.
설계는 보통 위험 등급을 나누는 데서 시작합니다. 2024년 발효된 EU AI Act는 AI 시스템을 금지·고위험·제한적·최소 위험 네 등급으로 구분하고 등급마다 다른 의무를 지웁니다. 채용 심사나 신용 평가처럼 사람의 권리에 직접 닿는 용도는 고위험으로 묶여 기록 보관, 설명 가능성, 사람의 최종 개입 의무가 붙습니다. 국내 기업도 이 틀을 빌려 모든 AI에 같은 통제를 걸지 않고 용도별로 강약을 조절하는 방식으로 갑니다. 정보보안 정책이 '데이터가 밖으로 나갔는가'를 본다면, AI 거버넌스는 모델이 내놓은 결과를 누가 검증하고 책임지는가까지 본다는 점에서 범위가 다릅니다.
현장에서 가장 흔한 실패는 금지 목록만 만들고 대안을 주지 않는 경우입니다. 회사 계정을 막아도 업무량은 그대로라 직원들은 개인 휴대폰과 개인 메일로 옮겨 갑니다. 조직이 존재조차 모르는 그림자 AI(Shadow AI) 사용이 늘면 로그도 흔적도 남지 않아, 유출은 사고가 터진 뒤에야 드러납니다. 반대로 윤리 선언문을 만들어 홈페이지에 걸어 두고 끝내는 경우도 많습니다. 선언문은 통제 장치가 아니라 그 서문일 뿐이어서, 승인 절차와 사용 로그, 점검 주기가 붙지 않으면 감사 때 보여줄 문서 한 장 이상이 되지 못합니다.
김종혁
임아라AI 확산과 함께 편향·안전·프라이버시 문제가 부각되며 정립된 분야로, 최근 EU AI Act 등 규제와 기업의 책임 있는 AI(Responsible AI) 흐름 속에서 중요성이 커지고 있습니다.
가상의 사례로 살펴보겠습니다. 임직원 740명, 연매출 2,300억 원 규모의 의료기기 제조사 A사에서 개발팀 직원이 개인 계정 챗봇에 제품 제어 소스코드 일부를 붙여 넣은 정황이 보안 점검에 걸렸습니다. 확인해 보니 회사 승인 없이 외부 AI 서비스를 쓰던 인원이 부서를 가리지 않고 퍼져 있었고, 대표는 3개월 안에 쓸 수 있는 체계를 만들라고 지시했습니다.
- 정보보안팀장이 프록시 로그 4주치를 뽑아 보니 외부 AI 접속 시도가 하루 평균 310건이었고, 그중 68%가 개발·기획 부서에서 나왔습니다.
- CISO와 법무팀장이 업무를 놓고 세 등급으로 나눴습니다 — 고객 개인정보와 설계도면이 걸리는 업무는 금지, 내부 문서 요약은 승인 계정만, 공개 자료 조사는 자유 사용입니다.
- "쓰지 말라고만 하면 다들 휴대폰으로 씁니다"라는 개발본부장 말에, 회사는 기업용 계정 120석을 먼저 열고 금지 항목은 A4 한 장으로 줄였습니다.
- 인사팀이 1시간짜리 교육을 6회 돌리며, 실제 유출로 번질 뻔했던 사내 사례 3건을 익명 처리해 그대로 보여줬습니다.
- 6개월 뒤 개인 계정 접속 시도는 하루 310건에서 22건으로 줄었고, 승인 계정 사용률은 등록 인원의 84%, 민감정보 입력 적발은 분기 0건이 됐습니다.