튜링 테스트
Turing Test
튜링 테스트란?
- 구별 안 되면 '지능 있다'고 봄
- AI 정의의 고전적 기준
- 한계 논쟁도 있음
튜링 테스트가 실제로 바꾼 것은 기계의 성능이 아니라 질문의 형식입니다. '기계가 생각하는가'는 마음의 내부를 열어봐야 답할 수 있지만, 튜링은 그것을 밖에서 관측되는 행동으로 판정하는 문제로 옮겼습니다. 이 전환 덕분에 인공지능은 철학 논쟁에서 측정 가능한 공학 과제로 내려왔고, 오늘날 벤치마크와 평가셋으로 모델을 줄 세우는 관행도 이 자리에서 출발합니다.
원래 설계는 우리가 기억하는 것보다 구체적입니다. 튜링은 5분 대화에서 심사자의 30% 이상이 기계를 사람으로 착각하면 통과로 보자는 선을 제시했고, 이 기준은 1991년부터 2019년까지 이어진 뢰브너 상 대회의 채점표가 됐습니다. 다만 이 시험은 능력의 상한을 재지 않습니다. 암산을 일부러 틀리고 오타를 섞는 편이 통과에 유리하기 때문입니다. 존 설이 1980년 중국어 방 논증으로 찌른 곳도 흉내와 이해 사이의 틈이었습니다.
'드디어 통과했다'는 기사가 주기적으로 반복되는 이유는 조건에 있습니다. 2014년 화제가 된 한 프로그램은 '13세 우크라이나 소년'이라는 설정을 미리 깔아, 어색한 문법과 동문서답을 나이와 국적 탓으로 넘기게 만들었습니다. 심사자 수, 대화 시간, 주제 제한을 어떻게 잡느냐에 따라 결과가 통째로 뒤집히므로, 통과 여부보다 실험 조건을 먼저 확인해야 합니다. 현대의 평가가 사람 흉내 대신 과제별 정확도와 재현성으로 축을 옮긴 것도 같은 이유입니다.
현장에서 가장 크게 어긋나는 지점은 이 개념을 제품 자랑 문구로 쓰는 순간입니다. '사람 같음'을 목표로 걸면 모델은 모른다고 답하는 대신 그럴듯하게 지어내는 쪽으로 끌려가고, 결국 환각을 품질로 오인하는 평가표가 만들어집니다. 게다가 EU AI법처럼 상대가 AI임을 고지하도록 요구하는 규제가 늘어, 정체를 감추는 설계는 그 자체로 법적 위험입니다. 도입 심사 자리에서는 '사람 같나요'가 아니라 오안내 건수와 처리 시간을 묻는 쪽으로 질문을 바꿔야 합니다.
앨런 튜링(Alan Turing)이 1950년 논문 「Computing Machinery and Intelligence」에서 '모방 게임'으로 제안했습니다.
가상의 사례로 살펴보겠습니다. 임직원 740명, 연매출 2,800억 원 규모의 생활가전 유통사 A사는 고객센터 상담 챗봇을 열면서 목표를 '고객이 사람인지 모르게'로 잡았습니다. 오픈 3개월이 지나자 상담사 이관율은 그대로인데 2차 컴플레인만 두 배로 늘었습니다.
- CX팀 박 팀장은 개선 회의에서 콜 녹취 12건을 틀었습니다. 한 고객은 '아까 그 상담사 다시 바꿔달라, 30분을 설명했는데'라며 20분간 항의했습니다.
- 품질 담당 김 매니저가 로그를 뽑아 보니, 챗봇이 '바로 확인해 드릴게요'라고 답해 놓고 실제로는 주문 조회가 되지 않은 대화가 4,100건 중 380건이었습니다.
- 외부 교육에서 튜링 테스트의 원래 조건을 짚자 박 팀장이 말했습니다. '우리가 잰 건 정확한가가 아니라 들키지 않는가였네요. 목표를 잘못 걸었습니다.'
- KPI를 다시 짰습니다. '대화 자연스러움 만족도'를 내리고 1차 해결률과 오안내 건수를 올렸으며, 첫 인사말을 'AI 상담원입니다. 복잡한 건은 상담사로 연결해 드립니다'로 고쳤습니다.
- 두 달 뒤 오안내는 380건에서 46건으로, 2차 컴플레인은 절반 아래로 줄었고 1차 해결률은 51%에서 68%로 올랐습니다. 'AI라고 밝히니 질문이 짧고 명확해졌다'는 게 김 매니저의 정리입니다.