역전파
Backpropagation
역전파란?
- 오차를 거꾸로 되짚어 가중치 조정
- 신경망 학습의 엔진
- 경사하강법과 짝
역전파가 실제로 바꾼 것은 '누구 탓인지 따지는 방식'입니다. 층이 여러 겹 쌓인 신경망에서는 최종 답이 틀려도 수백만 개 연결 중 어느 것이 얼마나 잘못했는지 알 길이 없었고, 그래서 예전 모델은 사람이 '무엇을 볼지'를 일일이 손으로 설계해 넣어야 했습니다. 역전파는 이 책임 분배를 자동으로 계산해 줍니다. 그 덕분에 엔지니어의 일이 특징을 직접 짜는 작업에서 구조와 데이터를 준비하고 나머지는 기계에 맡기는 작업으로 옮겨갔습니다.
실무에서는 순전파와 역전파를 나눠 봐야 합니다. 순전파는 입력에서 출력 방향으로 계산해 답과 오차를 내는 단계이고, 역전파는 그 오차를 미분의 연쇄법칙으로 거슬러 각 가중치의 기울기를 구하는 단계입니다. 경사하강법과 한 덩어리로 말하는 경우가 많지만 역할은 다릅니다. 역전파는 기울기를 구할 뿐, 값을 실제로 바꾸는 건 옵티마이저(SGD, Adam 등)입니다. 같은 기울기라도 옵티마이저와 학습률에 따라 결과가 갈린다는 뜻입니다.
조건도 따져야 합니다. 가중치는 데이터 한 건마다 고치는 게 아니라 보통 32~256개를 묶은 배치 단위로 갱신하고, 전체 데이터를 한 바퀴 도는 것을 1에폭이라 부릅니다. 학습률은 0.001 안팎에서 시작하는 경우가 많은데, 이 값 하나가 학습의 성패를 가르는 일이 흔합니다. 너무 크면 손실이 튀며 발산하고, 너무 작으면 며칠을 돌려도 제자리입니다. 층이 깊으면 기울기가 뒤로 갈수록 0에 가까워지는 기울기 소실 탓에 앞쪽 층이 아예 배우지 못하기도 합니다.
현장에서 가장 자주 어긋나는 지점은 '역전파가 알아서 해준다'는 믿음입니다. 역전파는 주어진 정답을 기준으로 오차를 줄일 뿐이라, 라벨이 잘못 붙은 데이터가 5%만 섞여도 그 오류까지 성실하게 학습해 모델에 새겨 넣습니다. 쓰레기를 넣으면 쓰레기를 정확하게 배우는 구조입니다. 파인튜닝도 마찬가지여서, 전체 층에 역전파를 돌리면 GPU 비용과 시간이 몇 배로 뜁니다. 상위 몇 개 층만 열고 나머지는 얼려두는 선택지를 모른 채 예산을 태우는 팀이 적지 않습니다.
1986년 러멜하트·힌튼·윌리엄스의 논문으로 대중화되며 신경망 학습의 표준 알고리즘이 됐습니다.
가상의 사례로 살펴보겠습니다. 자동차 부품을 만드는 A사는 임직원 340명, 연매출 1,200억 원 규모입니다. 외관 불량을 잡는 검사 AI를 6개월째 돌렸지만 정확도가 82%에서 멈춰 섰습니다. 결국 검사반장이 하루 1,800개를 육안으로 다시 보는 상황이 계속됐습니다.
- 품질팀 김 과장이 학습 로그를 열어보니 학습률이 0.1로 고정돼 있었습니다. 손실 그래프가 3에폭째부터 위아래로 튀는 걸 보고 '이건 배우는 게 아니라 헤매는 겁니다'라고 말했습니다.
- 외주 개발사 이 팀장이 학습률을 0.001로 낮추고 배치 크기를 64로 잡아 다시 돌렸습니다. 40에폭을 학습하자 손실이 0.31까지 내려가며 그래프가 처음으로 완만해졌습니다.
- 정확도가 87%에서 또 멈추자 데이터를 뜯었습니다. 검사 이미지 1만 2천 장 중 약 600장의 라벨이 스크래치와 이물로 뒤바뀌어 있었고, 모델은 그 오답까지 충실히 학습하고 있었습니다.
- 검사반장 두 명이 2주간 라벨을 다시 달았습니다. '흐릿한 건 빼자'는 말이 나왔지만, 판정이 갈리는 480장은 따로 모아 재판정 기준을 합의한 뒤 학습 데이터에 넣었습니다.
- 재학습 뒤 정확도는 94.2%로 올랐고, 육안 재검 대상이 하루 1,800개에서 210개로 줄었습니다. 검사 인력 2명은 다른 라인으로 재배치됐습니다.