자기지도 학습
Self-Supervised Learning
자기지도 학습이란?
- 라벨 없이 데이터에서 정답 생성
- 빈칸 맞히기로 스스로 학습
- LLM 대규모 학습의 비결
자기지도 학습이 실제로 바꾼 것은 모델 구조가 아니라 데이터의 경제학입니다. 예전에는 데이터 1만 건을 쓰려면 사람 손으로 1만 번 정답을 달아야 했고, 그 라벨링 예산이 곧 프로젝트 규모의 상한선이었습니다. 이제는 사람의 라벨링 비용이 GPU 시간으로 옮겨갑니다 — 창고처럼 쌓여만 있던 사내 문서, 서버 로그, 상담 녹취가 그대로 학습 재료가 되고, 병목은 '누가 라벨을 다느냐'에서 '쓸 만한 원천 데이터가 얼마나 있느냐'로 이동합니다.
방식은 크게 두 갈래입니다. BERT 계열의 마스킹 예측은 문장에서 토큰의 약 15%를 가린 뒤 앞뒤 문맥을 모두 보며 복원해 분류·검색용 임베딩에 강하고, GPT 계열의 다음 토큰 예측은 앞쪽만 보고 이어질 단어를 맞혀 생성에 강합니다. 이미지에서는 같은 사진을 자르고 색을 바꾼 두 장을 한 쌍으로 묶는 대조학습이 같은 원리를 씁니다. 비지도학습과 헷갈리기 쉬운데, 군집화처럼 정답 개념 자체가 없는 비지도학습과 달리 자기지도 학습은 정답이 분명히 존재하되 데이터가 스스로 그 정답을 내놓는다는 점이 다릅니다.
현장 도입은 보통 2단계로 갑니다. 라벨 없는 사내 데이터로 사전학습해 도메인 용어와 말투를 익히게 한 뒤, 수천 건 규모의 라벨 데이터로 미세조정하는 순서입니다. 도메인 사전학습을 거치면 같은 성능을 내는 데 필요한 라벨 수가 크게 줄어드는데, 줄어드는 것이지 0이 되는 것은 아닙니다.
가장 흔한 오해가 '이제 라벨이 아예 필요 없다'입니다. 이 말을 믿고 라벨링 예산을 통째로 삭감한 팀은 사전학습을 끝내고도 성능을 재볼 평가셋이 없어, 모델이 좋아졌는지 나빠졌는지 아무도 답하지 못하는 상태로 몇 달을 보냅니다. 또 하나는 데이터를 많이 넣으면 알아서 좋아진다는 기대인데, 중복 문서와 폐기된 과거 지침도 똑같이 학습됩니다. 5년 전 없어진 단가표가 문서 더미에 섞여 있으면 모델은 그 단가를 아주 자신 있게 답합니다. 전처리와 평가셋만큼은 사람이 끝까지 붙어야 합니다.
라벨 없는 대규모 데이터 활용의 필요에서 발전했으며, BERT·GPT 등 대규모 사전학습 모델의 성공으로 핵심 방식이 됐습니다.
가상의 사례로 살펴보겠습니다. 산업용 밸브를 만드는 A사는 임직원 940명, 연매출 4,100억 원 규모입니다. 20년간 쌓인 설비 점검 보고서와 고장 이력 12만 건이 스캔 PDF로만 남아 있었고, 고장 유형 자동 분류 모델을 만들려 하자 외주 라벨링 견적이 3억 원에 6개월로 나왔습니다. 품질본부는 '그 돈이면 정비 인력을 더 뽑겠다'며 반대했습니다.
- 데이터분석팀 김 과장이 12만 건을 전부 텍스트로 변환한 뒤, 라벨은 한 건도 달지 않고 문장의 15%를 가려 복원시키는 방식으로 3주간 사전학습을 돌렸습니다.
- 첫 결과물은 분류기가 아니라 용어 감각이었습니다. '패킹 누유'와 '그랜드 누설'을 같은 계열로 묶어내자 15년 차 정비반장이 '얘가 현장 말을 아네'라고 했습니다.
- 그다음 정비반장 2명이 2주간 2,000건에만 정답을 달아 미세조정했습니다. 12만 건에 3억 원 들 일이 2,400만 원으로 끝난 셈입니다.
- 품질본부장은 평가셋 500건을 따로 떼어 '이건 절대 학습에 넣지 말라'고 못 박았고, 이 500건이 이후 재학습 때마다 유일한 판정 기준이 됐습니다.
- 결과적으로 고장 유형 분류 정확도가 기존 규칙 기반 71%에서 89%로 올랐고, 보고서 한 건 처리 시간은 평균 14분에서 3분으로 줄었으며, 6개월 계획이던 도입 기간은 7주로 단축됐습니다.