프라이빗 AI · 온프레미스 LLM

프라이빗 AI이란?

프라이빗 AI를 도입하면 가장 먼저 바뀌는 것은 모델 성능이 아니라 보안팀과 현업이 주고받는 대화의 내용입니다. 그전까지 '외부 AI 서비스 금지'라는 공문 한 장으로 끝나던 논의가, 데이터 등급별로 어디까지 태울 수 있는지를 따지는 실무 협의로 바뀝니다. 기술 선택이라기보다 데이터 반출 승인 권한을 회사 안으로 끌어오는 결정에 가깝습니다.

현장에서 '프라이빗'은 대체로 세 층으로 갈립니다. 사내 랙에 GPU를 직접 꽂는 완전 온프레미스, 클라우드 사업자의 전용 VPC 안에 모델 인스턴스를 띄우는 프라이빗 클라우드, 상용 API에 학습 미사용·무보존(Zero Retention) 계약을 붙이는 방식 순으로 비용은 내려가고 통제권은 얇아집니다. 규제 문서가 실제로 요구하는 수준을 먼저 확인해야 과투자를 피합니다. 20B급 모델을 양자화해 동시 사용자 30~50명을 감당하려면 통상 80GB GPU 1~2장이 필요한데, 장비 구매비보다 3년치 운영·업데이트 인건비가 더 큰 경우가 많습니다.

헷갈리는 경계도 둘 있습니다. 하나는 프라이빗 AI와 파인튜닝을 같은 말로 쓰는 경우인데, 모델을 우리 서버에 두는 것과 우리 데이터로 모델을 추가 학습시키는 것은 별개이며 사내 지식 활용은 파인튜닝 없이 RAG만으로 해결되는 일이 대부분입니다. 다른 하나는 망분리와의 관계로, 완전 폐쇄망에 두면 외부 유출은 막히지만 패치와 모델 교체가 전부 수작업이 되어 반년 만에 성능이 시장 평균에 뒤처지는 부담을 떠안습니다.

가장 흔한 사고는 '경계 안에 넣었으니 안전하다'는 착각입니다. 외부 유출은 막았는데 내부 권한 설계를 빼먹어, 인사평가 문서나 임원 회의록이 색인에 섞여 들어가 전 직원이 검색 한 번으로 꺼내 보는 일이 실제로 벌어집니다. 위험의 무게중심이 외부에서 내부로 옮겨갈 뿐이라는 점, 그리고 작은 모델을 깔아두고 상용 서비스급 답변을 기대했다가 현업이 두 달 만에 접속을 끊는 일이 잦다는 점을 함께 계산해야 합니다.