하이퍼파라미터

하이퍼파라미터란?

하이퍼파라미터는 학습 버튼을 누르는 순간 이미 고정되어 있어야 하는 값이라, 실제로는 모델 코드가 아니라 실험 설계 전체를 바꿔놓습니다. 구조를 한 줄도 건드리지 않아도 학습률만 10배 올리면 손실이 발산해 학습이 중단되고, 10배 낮추면 사흘이면 끝날 학습이 3주짜리 일정이 됩니다. 팀이 쓸 GPU 시간과 클라우드 비용, 납기가 여기서 먼저 결정된다는 뜻입니다.

값의 성격은 크게 세 갈래입니다. 학습 방식을 잡는 학습률·배치 크기·에폭 수, 모델 구조를 잡는 층 수·은닉 노드 수·LoRA 랭크, 과적합을 억제하는 드롭아웃 비율·가중치 감쇠 계수입니다. 보통 학습률은 1e-3에서 1e-5 사이를 로그 스케일로 훑고, 조합이 수십 개를 넘어가면 그리드 서치 대신 랜덤 서치나 베이지안 최적화로 바꿉니다. 역전파로 스스로 갱신되는 값은 파라미터, 사람이 고정하는 값은 하이퍼파라미터로 선을 긋는 것이 기본이고, LLM의 온도나 top-p는 학습이 아닌 추론 단계 설정이라 따로 구분해 관리합니다.

튜닝은 무한정 돌리는 작업이 아니라 예산 안에서 끊어야 하는 작업입니다. 데이터를 학습·검증·테스트 6:2:2로 나누고 검증 성능만 보며 비교하되, 데이터가 수천 건 규모로 적으면 5겹 교차검증으로 평균을 확인합니다. 시도 횟수를 20~30회로 묶고 열 번 연속 검증 지표가 0.5%p도 오르지 않으면 그 방향을 접는 식의 중단 기준을 미리 문서로 남겨야, 누가 어떤 설정으로 무엇을 얻었는지 나중에 재현할 수 있습니다.

현장에서 가장 자주 어긋나는 지점은 테스트 데이터로 튜닝하는 것입니다. 검증셋과 테스트셋을 구분하지 않고 같은 데이터로 수십 번 조합을 비교하면 그 숫자는 이미 답을 보고 맞춘 성적이라, 운영에 올리는 순간 성능이 주저앉습니다. '논문에 나온 값 그대로 썼습니다'도 흔한 오해인데, 데이터 규모와 배치 크기가 다르면 같은 학습률이 전혀 다르게 작동합니다. 배치를 2배로 키웠으면 학습률도 함께 손봐야 한다는 점을 놓친 채 원인을 모델 구조에서 찾다 보면 몇 주를 통째로 날립니다.