월드 모델
World Model
월드 모델이란?
- 세상의 작동 원리를 내부에 모형으로 갖는 AI
- 행동 전에 결과를 시뮬레이션해 예측
- 피지컬 AI·로봇의 '두뇌' 격
월드 모델이 들어오면 시스템의 일 처리 순서 자체가 바뀝니다. 지금의 AI는 입력을 받으면 곧바로 다음 단어나 다음 동작을 내놓지만, 월드 모델을 가진 쪽은 '이 동작을 하면 1초 뒤 장면이 어떻게 될까'를 먼저 만들어 보고 그 가상 장면을 채점한 다음에야 실제 명령을 내보냅니다. 행동과 결과 사이에 가상의 시간이 한 겹 끼어드는 구조여서, 같은 로봇 팔과 같은 카메라로도 실패 횟수가 줄어듭니다. 대신 학습 데이터의 성격이 달라집니다. 정답 라벨이 붙은 문장이나 이미지가 아니라 '상태 → 행동 → 다음 상태'로 이어진 기록이 있어야 합니다.
안에서도 갈래가 나뉩니다. 하나는 장면을 압축한 숫자 벡터(잠재 공간)만 예측하는 방식으로, 화면을 그리지 않으니 가볍고 로봇 제어처럼 수십 밀리초 안에 답해야 하는 곳에 씁니다. 다른 하나는 픽셀 단위 영상을 직접 만들어 보는 방식이라 사람이 눈으로 검증하기 좋지만 연산이 무겁습니다. 공통 한계는 예측 지평입니다. 대개 1~3초 앞까지가 쓸 만하고 그 뒤로는 오차가 눈덩이처럼 불어납니다. 물리 엔진이나 디지털 트윈과 헷갈리기 쉬운데, 이쪽은 사람이 중력과 마찰 계수를 수식으로 넣어 준 것이고 월드 모델은 그 규칙을 데이터에서 스스로 뽑아낸다는 점이 다릅니다.
현장에서 가장 자주 어긋나는 지점은 '영상이 그럴듯하면 세상을 이해한 것'이라는 오해입니다. 물이 쏟아지는 장면을 매끄럽게 만들어도 컵 무게가 바뀌면 예측이 통째로 틀어지는 모델이 흔합니다. 시뮬레이션 성공률 95%만 보고 도입했다가 바닥 재질과 조명이 다른 실제 창고에서 성공률이 60%대로 주저앉는 사례가 그래서 나옵니다. 예측이 틀린 순간을 로그로 남겨 되먹이는 장치 없이 도입하면 오차가 쌓인 채로 기계가 계속 자신 있게 움직여, 사람이 개입할 타이밍마저 놓치게 됩니다. 검토 단계에서 '몇 초 앞까지 맞히는가', '틀렸을 때 무엇을 멈추는가' 두 가지는 반드시 물어야 합니다.
강화학습에서 에이전트가 환경을 내부 모형으로 예측하게 한 연구(2018년경 'World Models' 등)에서 유래했고, 피지컬 AI·영상 생성과 맞물려 2025년 이후 핵심 화두로 떠올랐습니다.
가상의 사례로 살펴보겠습니다. 자동차 내장재를 만드는 A사(임직원 320명, 연매출 780억)는 2공장 출하창고에 피킹 로봇 4대를 들였습니다. 그런데 가동 6개월 동안 적재물이 무너지거나 제품이 찍혀 나가는 파손 클레임이 월 11건씩 쌓였습니다. 현장에서는 '로봇이 상자를 사람처럼 못 본다'는 말이 돌았고, 생산기술팀이 8개월짜리 개선 과제를 떠안았습니다.
- 생산기술팀 박 차장은 한 달간 로봇 카메라 영상 4,200건을 뒤져 사고 직전 3초 구간 190건을 따로 뽑았고, "무너지기 전 장면이 어떻게 생겼는지부터 보자"며 실패 장면에만 라벨을 붙였습니다.
- 외부 AI 업체와 함께 '현재 장면 + 로봇 동작 → 1.5초 뒤 장면'을 예측하는 모델을 붙였는데, 욕심을 내 지평을 3초로 늘리자 예측이 흐려져 결국 1.5초로 되돌렸습니다.
- 안전관리자 요구로 '예측 장면에서 상자 기울기가 15도를 넘으면 동작 취소' 규칙을 걸자, 첫 2주간 로봇이 하루 40회씩 멈춰 서 물류반장이 "이럴 거면 사람이 빠르다"고 항의했습니다.
- 박 차장은 취소된 동작 로그 560건을 되돌려 재학습에 넣고, 예측과 실제가 어긋난 장면만 골라 주 1회 모델을 갱신하는 루틴을 만들어 불필요한 정지를 하루 9회까지 줄였습니다.
- 8개월 뒤 파손 클레임은 월 11건에서 2건으로, 피킹 1건당 평균 소요는 14.2초에서 12.6초로 줄었고, 재작업 인건비 연 4,300만 원을 덜어내면서 3공장 확대 적용이 결정됐습니다.