연합 학습
Federated Learning
연합 학습이란?
- 데이터 안 모으고 결과만 취합
- 원본은 기기에 남음
- 프라이버시 보호 학습
연합 학습을 도입하면 프로젝트의 병목이 옮겨갑니다. 이전에는 '이 데이터를 밖으로 내보낼 수 있느냐'를 두고 법무·정보보호팀과 몇 달을 협의했다면, 이제는 각 기관과 기기에 학습을 돌릴 연산 자원이 있는지, 라운드마다 오가는 수십~수백 MB의 가중치를 감당할 회선이 있는지가 관건이 됩니다. 협상 대상이 데이터에서 모델로 바뀌는 것이 실질적인 변화이고, 그래서 반출 심의에 걸리던 몇 달치 일정이 통째로 사라지기도 합니다.
현장에서는 크게 두 갈래로 나뉩니다. 수백만 대의 스마트폰이 등록돼 있되 라운드마다 수백~수천 대만 뽑히는 크로스디바이스 방식과, 병원·은행처럼 기관 2~20곳이 고정적으로 참여하는 크로스사일로 방식이 그것입니다. 앞쪽은 기기가 충전 중이고 Wi-Fi에 붙어 있을 때만 학습이 돌아가 참여율이 들쭉날쭉하고, 뒤쪽은 참여자가 적은 대신 기관별 데이터 규모와 라벨 기준의 차이가 성능을 좌우합니다. 집계는 보통 데이터 수에 비례한 가중 평균(FedAvg)을 쓰는데, 기관마다 데이터 분포가 다른 상황(non-IID)에서는 이 단순 평균이 오히려 모델을 망가뜨립니다.
가장 흔한 오해는 '원본이 안 나가니 개인정보 처리가 아니다'라는 생각입니다. 모델 업데이트에는 학습 데이터의 흔적이 남아, 기울기만으로 원본 이미지나 문장을 상당 부분 복원한 연구가 여러 건 보고돼 있습니다. 참여 기관이 세 곳뿐인 컨소시엄에서 한 곳의 업데이트만 빼고 다시 집계해 보면 그 기관의 데이터 특성이 드러나기도 합니다. 보안 집계나 차등 프라이버시를 따로 얹지 않으면 연합 학습은 익명화가 아니라 이동 경로만 바꾼 개인정보 처리입니다. 여기에 라벨 기준을 맞추지 않은 채 라운드를 돌리면 혼자 학습한 모델보다 성능이 낮은 결과가 나와, 프로젝트 전체가 엎어지기도 합니다.
구글이 2016년경 제안한 방식으로, 데이터를 중앙화하지 않고 기기 분산 학습을 결합하는 접근입니다.
가상의 사례로 살펴보겠습니다. 임직원 1,400명 규모의 한 의료재단 A사가 산하 종합병원 3곳의 흉부 X-ray 판독 보조 모델을 만들려 했습니다. 병원별로 영상이 18만~26만 장 쌓여 있었지만, 한 곳으로 모으려면 반출 심의에만 5개월이 걸린다는 답을 받았습니다. 서비스 오픈 목표는 6개월 뒤였습니다.
- 의료정보실 김 팀장은 영상을 모으는 계획서를 접고, 원본은 각 병원 GPU 서버에 두고 가중치만 주 1회 주고받는 구조로 IRB 신청서를 다시 썼습니다.
- 첫 두 라운드에서 B병원 모델만 정확도가 12%p 낮게 나왔고, 확인해 보니 판독 라벨을 3등급이 아니라 5등급으로 달고 있었습니다.
- 영상의학과 과장 2명이 4주간 붙어 라벨 정의를 통일했고, 서버 집계 규칙도 병원별 영상 수에 비례한 가중 평균으로 바꿔 소규모 C병원 쏠림을 걷어냈습니다.
- 정보보호 담당자가 '업데이트만 보내면 환자 정보가 정말 복원 안 되느냐'고 물어, 보안 집계와 잡음 추가를 넣고 라운드당 3개 기관이 다 참여해야 집계되도록 잠갔습니다.
- 6개월 뒤 판독 보조 모델의 민감도는 단일 병원 학습 대비 8.4%p 올랐고, 5개월로 잡아뒀던 반출 심의 일정이 사라져 오픈 목표를 2주 앞당겨 맞췄습니다.