NPU · 신경망처리장치

NPU이란?

NPU가 실제로 바꾸는 것은 AI 연산이 '어디서' 일어나는가입니다. 지금까지 기업의 AI 기능은 대부분 클라우드 API를 호출하는 구조라, 회의록 하나를 요약해도 음성 파일이 외부 서버로 올라갔고 쓴 만큼 과금됐습니다. NPU가 들어간 기기는 그 계산을 기기 안에서 끝내므로 호출 건당 비용이 사라지고 네트워크가 불안정한 공장이나 출장지에서도 같은 기능이 돌아갑니다. 보안 심사 때마다 발목을 잡던 '데이터가 사외로 나가는가'라는 항목 자체가 없어진다는 점이 현장에서는 더 큰 변화입니다.

성능은 보통 TOPS(초당 조 단위 연산)로 표기하고, 마이크로소프트가 코파일럿+ PC 요건으로 제시한 기준이 40 TOPS 이상입니다. 다만 이 숫자는 INT8 같은 저정밀 연산 기준이라 제품 간 단순 비교가 어렵고, 체감 속도는 TOPS보다 메모리 용량과 대역폭에서 갈리는 경우가 많습니다. 16GB 메모리 노트북에서 돌릴 수 있는 모델은 대개 수십억 파라미터급으로 제한되므로, 클라우드의 대형 모델과 같은 품질을 기대하면 어긋납니다.

역할의 경계도 분명합니다. NPU는 이미 학습된 모델을 돌리는 추론 전용에 가깝고, 모델을 새로 학습시키거나 미세조정하는 작업은 여전히 GPU 서버의 몫입니다. 그래서 실무 판단은 'NPU냐 GPU냐'가 아니라, 사내 문서 요약·번역·화자 분리처럼 반복적이고 민감한 작업은 기기에서, 대형 모델이 필요한 작업은 클라우드에서 처리하는 업무별 분리 설계로 내려가야 합니다.

가장 흔한 오해는 NPU가 달린 노트북을 사면 쓰던 AI 앱이 저절로 빨라진다는 생각입니다. 애플리케이션과 드라이버가 NPU 경로를 지원하지 않으면 연산은 그대로 CPU로 떨어지고, 비싼 장비를 사고도 팬 소음과 배터리 소모만 늘어나는 상황이 생깁니다. 실제로 도입 품의서에 적은 효과가 검증되지 않아 다음 해 예산이 깎이는 사례가 적지 않습니다. 또 하나, 온디바이스 기기라고 해서 모든 처리가 기기 안에 머무는 것도 아닙니다. 앱이 내부적으로 클라우드를 호출하면 보안 효과는 0이므로, 구매 전에 '우리가 쓰는 그 앱이 NPU를 쓰는가'를 벤더에게 문서로 받아두는 절차가 필요합니다.