멀티모달
Multimodal AI
멀티모달이란?
- 텍스트+이미지·음성·영상 함께 처리
- 실무 자료를 그대로 넣어 활용
- 최신 모델 대부분 지원
멀티모달이 실무에서 실제로 바꾸는 것은 'AI에 넣기 전 작업'입니다. 예전에는 스캔한 계약서를 타이핑하고, 대시보드 숫자를 표로 옮기고, 회의 녹음을 받아쓴 다음에야 AI를 쓸 수 있었습니다. 자료를 가공하지 않고 그대로 올린다는 것만으로 준비 단계에 들어가던 사람 손이 통째로 빠집니다. 그래서 도입 검토의 질문도 '이 업무를 AI가 할 수 있나'에서 '이 자료를 AI가 읽을 수 있나'로 바뀝니다.
검토할 때는 입력 멀티모달과 출력 멀티모달을 나눠서 봐야 합니다. 업무용은 대부분 입력 쪽입니다. 이미지·PDF·음성을 넣고 답은 텍스트로 받는 형태이고, 이미지나 음성을 만들어내는 출력 쪽은 별도 모델이거나 요금 체계가 다른 경우가 많습니다. OCR과도 역할이 갈립니다. OCR은 글자를 좌표째 정확히 뽑는 데 강하고, 멀티모달은 이 표가 무슨 뜻인지 해석하는 쪽이 강합니다. 양식이 고정된 서류가 수백 장이라면 OCR로 텍스트를 뽑아 넣는 편이 비용도 정확도도 낫습니다. 이미지는 해상도에 따라 토큰이 붙기 때문에, 고해상도 캡처를 그대로 밀어 넣으면 예상보다 요금이 크게 뜁니다.
현장에서 가장 많이 어긋나는 지점은 '사람처럼 본다'고 믿는 것입니다. 그래프의 추세는 잘 읽지만 눈금 사이 값은 추정해서 답하고, 병합된 셀이 많은 표에서는 행과 열을 엇갈려 붙입니다. 손글씨 1과 7, 도면의 치수 기입선도 단골 사고 지점입니다. 문제는 모르겠다고 말하는 대신 그럴듯한 숫자를 채워 넣는다는 점이라, 그대로 보고서에 실리면 아무도 눈치채지 못합니다. 프롬프트에 '읽히지 않으면 빈칸으로 두라'는 지시를 넣고 원본 수치와 대조하는 검수 한 단계를 남겨야 합니다. 화면 캡처를 통째로 올리다 고객사명이나 개인정보가 함께 넘어가는 일도 흔하니, 업로드 전 가리는 습관도 같이 잡아야 합니다.
텍스트·이미지 등 여러 양식(modality)을 함께 처리한다는 개념으로, 2021년 OpenAI의 CLIP·DALL·E 등을 계기로 빠르게 확산됐습니다.
가상의 사례로 살펴보겠습니다. 자동차 부품을 만드는 A사(임직원 260명, 연매출 480억)는 현장 점검일지를 아직 손으로 씁니다. 3개 라인에서 하루 40장, 월 900장 가까운 손글씨 점검일지가 나오는데 품질팀 사원 2명이 엑셀로 옮기는 데만 주당 14시간을 씁니다. 불량 사진은 단톡방으로 따로 돌아다녀 일지와 연결도 안 됩니다.
- 품질팀 김 과장이 지난달 점검일지 30장을 스캔해 그대로 올려보고 '항목·수치·특이사항만 표로 뽑아줘'라고 했더니, 27장은 읽어냈고 3장은 잉크 번짐으로 수치가 비었습니다.
- 빈칸을 지어내지 못하게 '읽히지 않으면 반드시 [확인필요]로 표기하라'는 문장을 프롬프트에 넣었고, 판독 불가 항목이 표에 그대로 남으면서 검수 대상이 30장 중 4건으로 좁혀졌습니다.
- 불량 사진을 일지와 함께 올려 연결 항목을 판단하게 했더니, 생산팀 박 팀장은 '사진 설명을 사람이 타이핑하던 걸 안 해도 되는 게 제일 크다'고 했습니다.
- 치수 기입선이 겹친 도면 캡처에서 12.5mm를 1.25mm로 읽는 오류가 두 번 나와, 도면만큼은 멀티모달에 맡기지 않고 기존 CAD 수치를 붙이는 것으로 규칙을 못 박았습니다.
- 3개월 뒤 점검일지 입력 시간은 주당 14시간에서 3시간으로 줄었고, 사진과 일지가 붙으면서 불량 원인 회의 준비도 2시간에서 1시간으로 짧아졌습니다.