온프레미스
On-Premises
온프레미스란?
- 자사 서버에 직접 구축·운영
- 통제권↑ 초기비용↑, 클라우드와 대비
- 프라이빗 AI 수요로 재부상
온프레미스를 택한다는 것은 장비를 사는 결정이 아니라 책임과 인력을 떠안는 결정입니다. 클라우드에서는 장애가 나면 벤더 콘솔을 열고 티켓을 끊지만, 온프레미스에서는 새벽 두 시에 전산실 문을 여는 사람이 우리 직원입니다. 예산도 달라집니다. 클라우드는 매달 나가는 판관비로 잡혀 현업 부서가 카드 긁듯 늘릴 수 있는 반면, 온프레미스는 투자심의를 통과한 자산이라 한 번 사면 4~5년 감가상각 기간 내내 쓰는 것을 전제로 계획을 세워야 합니다.
실무에서는 온프레미스와 클라우드를 양자택일로 보지 않습니다. 우리 전산실에 직접 두는 자체 구축, 통신사 데이터센터에 장비만 넣는 코로케이션, 전용 하드웨어를 통째로 빌리는 프라이빗 클라우드까지 중간 단계가 여러 겹입니다. 비용을 비교할 때는 장비값만 보면 안 되고 전력·냉방·상면료·소프트웨어 라이선스·운영 인력 인건비까지 합친 총소유비용(TCO)을 3~5년 기준으로 잡아야 그림이 맞습니다. 대체로 가동률이 일정하게 높은 워크로드는 온프레미스가, 이벤트성으로 몰렸다 빠지는 트래픽은 클라우드가 유리합니다. 참고로 온프레미스는 '내 건물 안'이라는 위치 개념이고, 망분리는 네트워크를 끊는 보안 조치라 서로 다른 층위의 이야기입니다.
가장 흔한 오해는 '사내에 두면 안전하다'는 믿음입니다. 안전한 것은 데이터가 사내에 있어서가 아니라 누군가 꾸준히 패치하고 백업을 검증하기 때문인데, 담당자 한 명이 다른 업무에 치여 보안 업데이트를 6개월 미루는 순간 외부 클라우드보다 훨씬 취약해집니다. 랜섬웨어 피해 사례의 상당수가 방치된 사내 서버에서 나옵니다. 생성형 AI도 마찬가지여서, GPU 서버만 사두고 모델 업데이트와 운영을 맡을 사람을 붙이지 않으면 수억 원짜리 장비가 반년 만에 아무도 안 쓰는 설비로 남습니다.
'구내에(on the premises)' 설치한다는 표현에서 온 용어로, 클라우드 컴퓨팅이 확산되기 전에는 당연한 방식이라 별도 명칭이 필요 없었습니다. 2000년대 중반 이후 클라우드·SaaS가 보편화되면서, 이와 구분해 전통적 자체 구축 방식을 가리키는 대비 개념으로 정착했습니다.
가상의 사례로 살펴보겠습니다. 임직원 1,200명, 연매출 약 4,000억 원의 정밀부품 제조기업 A사는 설계도면 검색에 생성형 AI를 붙이려다 6개월째 결론을 못 내고 있었습니다. 현업은 "챗GPT 쓰면 되지 않느냐"고 했지만, 보안팀은 고객사 도면 유출을 이유로 반대했습니다.
- 정보보안팀장이 사내 문서 저장소 18TB를 등급별로 훑은 뒤 "설계도면과 원가표 3.2TB는 어떤 경우에도 밖으로 못 나갑니다"라고 선을 그었고, 나머지 자료는 반출 가능으로 분류했습니다.
- 법무 담당 부장이 주요 고객사 3곳과의 비밀유지계약을 다시 뜯어보니, 도면 데이터를 해외 리전 서버에 저장하는 것을 명시적으로 금지한 조항이 두 건 있었습니다.
- IT인프라팀이 GPU 서버 4대 도입비 3억 8,000만 원과 클라우드 API 연 1억 2,000만 원을 5년 기준으로 나란히 놓고 비교했는데, 전력·상면료와 운영 인력 1.5명을 더하니 두 안의 격차가 약 8,000만 원까지 좁혀졌습니다.
- CTO가 "도면은 안에, 나머지는 밖"으로 정리해 설계 검색 AI는 사내 GPU 서버에 오픈소스 모델로 올리고, 마케팅 문안과 번역은 상용 클라우드 API를 그대로 쓰기로 했습니다.
- 인프라 운영 담당자 2명을 전담 지정하고 매월 셋째 주 수요일을 패치 데이로 고정했으며, 백업 복구 테스트를 분기 1회 실제로 돌려보게 규정에 못 박았습니다.
- 도입 6개월 뒤 설계팀의 과거 도면 검색 시간이 건당 평균 40분에서 7분으로 줄었고, 무분별한 외부 AI 서비스 사용 건수는 월 300여 건에서 0건이 되었으며 보안 사고도 발생하지 않았습니다.