벤치마크 · 모델 평가

벤치마크란?

벤치마크와 평가를 갖추면 모델 회의에서 오가는 말이 달라집니다. '이쪽이 더 똑똑한 것 같다'는 인상평 대신 '같은 문제 120건에서 오답이 7건과 22건'이라는 숫자가 근거가 됩니다. 더 크게 바뀌는 것은 의사결정 속도입니다. 프롬프트를 손보거나 모델 버전을 올릴 때마다 바꾸기 전보다 나아졌는지 재는 절차가 있으면, 배포 여부를 회의실 목소리 크기가 아니라 점수판으로 정할 수 있습니다. 평가 체계가 없는 팀은 나아졌는지 나빠졌는지도 모른 채 계속 바꾸다가, 어느 날 품질이 떨어졌다는 현업 항의를 받고서야 되돌릴 지점을 찾지 못합니다.

벤치마크는 종류마다 재는 능력이 다릅니다. 지식·추론형, 실제 코드 수정 과제형, 사람의 선호 투표로 순위를 매기는 아레나형이 각각 다른 것을 측정하므로 리더보드 1위가 우리 과제 1위를 뜻하지 않습니다. 평가 방식도 갈립니다. 정답이 딱 떨어지는 과제는 자동 채점이 가능하지만, 요약이나 상담 답변처럼 정답이 여러 개인 과제는 채점 기준표를 정해 사람 또는 다른 모델이 채점하는 방식(LLM-as-judge)을 씁니다. 자체 eval은 거창할 필요가 없습니다. 틀리면 실제로 곤란해지는 질문 50~200건이면 충분히 시작되고, 관건은 그 정답을 현업이 직접 검수했는가입니다.

현장에서 가장 흔한 사고는 소수점 차이를 실력 차로 믿는 것입니다. 공개 점수 1~2점 차이만 보고 모델을 갈아탔다가 정작 우리 업무 오답률은 올라가는 일이 드물지 않습니다. 공개 문제가 학습 데이터에 섞여 들어가는 데이터 오염으로 점수가 부풀려질 수도 있습니다. 자체 eval에도 함정이 있습니다. 정답지를 특정 모델이 쓴 답으로 만들면 그 모델에 유리한 시험지가 되고, 한 번 만든 평가셋을 1년간 방치하면 제품과 규정이 바뀐 뒤에도 옛 답을 정답으로 채점하게 됩니다. 평가 데이터에 실제 고객 정보가 섞이는 일도 자주 놓치는 지점이라, 외부 모델로 돌리기 전에 비식별 처리를 반드시 확인해야 합니다.