엣지 AI · 온디바이스 AI

엣지 AI이란?

엣지 AI를 도입한다는 건 모델을 바꾸는 일이 아니라 시스템의 경계선을 다시 긋는 일입니다. 어떤 데이터를 기기 안에 묶어두고 어디서부터 밖으로 내보낼지 정하는 순간, 응답 시간과 통신비, 보안 심사 범위, 장애가 났을 때의 대응 시나리오가 한꺼번에 따라 움직입니다. 기술 선택처럼 보이지만 실제로는 인프라 담당자와 품질·법무가 같이 앉아야 결론이 나는 결정입니다.

현장에서는 보통 세 층으로 나눠 봅니다. 스마트폰이나 카메라 안의 NPU에서 곧바로 돌리는 온디바이스, 공장 한쪽의 산업용 PC나 게이트웨이가 여러 대를 묶어 처리하는 엣지 서버, 그리고 재학습과 대용량 분석을 맡는 클라우드입니다. 기기에 올리려면 모델을 INT8로 양자화하거나 가지치기·증류로 줄여야 하는데, 용량이 수분의 일로 떨어지는 대신 정확도는 보통 1~3%p 손해를 봅니다. 왕복 지연 200~300ms짜리 판단이 수십 ms로 줄어드는 것이 그 손해를 감수하는 이유입니다.

가장 흔한 오해는 '기기 안에서 돌리니 개인정보 문제는 끝났다'는 생각입니다. 기기를 분실하거나 탈취당하면 그 안의 데이터와 모델이 통째로 나가고, 모델 파일을 뜯어 학습 데이터를 역추적하려는 시도도 있습니다. 두 번째 오해는 배포 이후를 계산에 넣지 않는 것입니다. 클라우드는 서버 한 대만 고치면 끝이지만, 현장에 깔린 3,000대 기기는 OTA 업데이트 체계와 버전 관리가 없으면 구버전 모델이 몇 달씩 같은 오판을 반복합니다. 발열로 기기가 스스로 성능을 낮춰 새벽에는 맞던 판정이 한낮에는 틀리는 일도 흔합니다. 엣지냐 클라우드냐를 고르기 전에, 이 기기를 누가 몇 년간 관리할지부터 정해두는 편이 낫습니다.