손실 함수
Loss Function
손실 함수란?
- 예측과 정답의 오차를 숫자로
- 학습은 이 값을 줄이는 과정
- '채점 기준' 역할
손실 함수를 무엇으로 잡느냐에 따라 같은 데이터, 같은 구조의 모델이 전혀 다른 물건이 됩니다. 모델은 현업이 무엇을 원하는지 알지 못하고 오직 손실이 작아지는 방향으로만 움직이기 때문입니다. 그래서 손실 함수를 설계하는 일은 코드 작업이라기보다 사업 목표를 숫자로 번역하는 일에 가깝습니다. 어떤 오차를 크게 세고 어떤 오차를 눈감아 줄지가, 그대로 모델이 감수할 실수와 피할 실수를 갈라놓습니다.
회귀에서는 오차를 제곱하는 MSE와 절댓값을 쓰는 MAE가 갈립니다. 오차 10짜리 이상치 한 건이 MSE에서는 100으로 부풀어 들어오므로, 튀는 값이 잦은 수요 데이터라면 MAE나 Huber가 더 안전합니다. 분류에서는 크로스 엔트로피가 기본이고, 클래스가 한쪽으로 쏠리면 가중치나 Focal Loss를 얹습니다. 여기서 손실과 평가지표를 구분해야 합니다. 손실은 미분이 가능해야 하는, 학습 중에 모델이 보는 값이고 정확도·F1·재현율은 사람이 성과를 판단할 때 보는 값입니다. 이 둘이 서로 다른 방향을 가리키면 학습은 성공해도 프로젝트는 실패합니다.
현장에서 가장 흔한 사고는 손실 그래프는 예쁘게 내려가는데 현업 지표는 꿈쩍도 하지 않는 경우입니다. 불량률 1%짜리 라인에서 전부 정상이라고 찍기만 해도 크로스 엔트로피는 충분히 낮게 나옵니다. 손실이 줄었다는 말이 검사 성능이 좋아졌다는 뜻은 아닙니다. 또 하나는 비용의 비대칭을 손실에 넣지 않는 것입니다. 불량 하나를 놓쳐 고객사로 흘러간 대가와 멀쩡한 제품을 한 번 더 들여다보는 비용은 자릿수가 다른데, 기본 손실 함수는 이 둘을 똑같이 한 건으로 셉니다. 손실 함수는 그대로 둔 채 임계값만 만지며 버티면, 재학습할 때마다 같은 문제가 그대로 되돌아옵니다.
통계학·최적화 이론의 오차 측정 개념에서 왔으며, 신경망 학습의 목적 함수로 자리잡았습니다.
가상의 사례로 살펴보겠습니다. 임직원 240명, 연매출 900억 원대 자동차 부품사 A사는 외관 검사 공정에 AI를 도입했습니다. 전체 물량 대비 불량률은 1.2%였고, 3개월 학습 끝에 정확도 98.9%라는 보고가 경영회의에 올라왔습니다. 그런데 같은 기간 고객사 클레임은 월 14건에서 줄지 않았습니다.
- 품질보증팀 박 부장이 검사 로그를 직접 열어보니, 실제 불량 86건 중 모델이 걸러낸 것은 11건뿐이었습니다. '정확도 98.9%는 그냥 다 정상이라고 찍은 점수 아닙니까'라는 말이 회의실에서 나왔습니다.
- 데이터팀은 불균형 데이터에 크로스 엔트로피를 그대로 쓴 것을 원인으로 보고, 불량 클래스에 가중치 20을 주고 Focal Loss를 함께 얹어 재학습을 돌렸습니다.
- 생산본부장이 '불량 하나 놓치면 리콜 대응에 3천만 원, 과검 한 건은 재검사 인건비 4천 원'이라고 못 박자, 팀은 미검 페널티를 과검의 30배로 손실에 반영했습니다.
- 검증에서 정확도는 98.9%에서 97.4%로 내려갔지만 불량 검출률은 12.8%에서 79%로 올랐고, 박 부장은 보고 지표를 정확도 대신 검출률과 과검률 두 개로 바꿨습니다.
- 3개월 뒤 고객사 유출 불량은 월 14건에서 2건으로 줄었고, 과검률은 3.1%에서 7.6%로 늘었지만 늘어난 재검 인건비가 월 60만 원 수준이라 그대로 유지하기로 결정했습니다.