빅데이터
Big Data
빅데이터란?
- 크고·빠르고·다양한 데이터
- 그 자체보다 '분석해 가치 뽑기'가 핵심
- 분석 인프라 필요
빅데이터가 바꾸는 건 데이터의 크기가 아니라 의사결정의 기준입니다. 예전에는 월말에 정리된 표본 몇천 건을 놓고 '왜 그랬는지'를 설명했다면, 이제는 전수 데이터를 쌓아두고 '다음에 무슨 일이 생길지'를 따집니다. 고객 한 명의 클릭 순서, 설비 한 대의 진동값, 매장 한 곳의 시간대별 결제까지 남기 때문에 평균이 아니라 개별 단위로 판단할 수 있게 된 겁니다. 회의에서 '제 경험상'이 통하던 자리를 '지난 14개월 로그상'이 대체하는 변화입니다.
3V 외에 실무에서 진짜 발목을 잡는 건 뒤에 붙은 두 개, 정확성(Veracity)과 가치(Value)입니다. 기업 데이터의 상당 부분은 메일·통화녹취·이미지 같은 비정형이라 그대로는 분석에 못 씁니다. 저장 방식도 갈립니다 — 정제해 스키마를 잡아두는 데이터 웨어하우스는 정기 리포트에, 원본을 그대로 붓는 데이터 레이크는 탐색적 분석에 맞습니다. 처리 주기도 배치(하루 1회)와 스트리밍(초 단위)이 다른데, 카드 이상거래 탐지처럼 1초 늦으면 의미가 없는 업무만 스트리밍으로 갑니다. 모든 데이터를 실시간으로 다룰 필요는 없습니다.
현장에서 가장 흔한 사고는 쌓아두기만 한 데이터 늪입니다. 수억 원짜리 플랫폼을 깔고 3년치 로그를 부어놨는데, 담당자가 바뀌면서 어느 테이블이 무슨 뜻인지 아는 사람이 없어 아무도 열어보지 않는 경우를 자주 봅니다. 입력 규칙 없이 모은 데이터로 돌린 분석은 그럴듯한 숫자를 뱉지만 답은 틀렸고, 그 숫자로 발주나 인력 배치를 바꾸면 손실은 진짜로 발생합니다. 상관을 인과로 읽는 것도 위험합니다 — 아이스크림 판매량과 익사 사고가 함께 오른다고 둘이 원인·결과는 아닙니다. 답이 필요한 질문 하나를 먼저 정하고 거기에 쓰이는 데이터만 제대로 관리하는 편이 훨씬 낫습니다.
2000년대 데이터 폭증과 함께 부상한 개념으로, 3V(양·속도·다양성)로 정의되며 분산 처리 기술(하둡 등)의 발전과 함께 실용화됐습니다.
가상의 사례로 살펴보겠습니다. 생활용품을 만드는 A사는 임직원 380명, 연매출 2,400억 원 규모입니다. 계절 상품 발주를 영업본부 감에 맡겨온 탓에 한 해 폐기 재고가 9억 원씩 나왔고, 반대로 잘 나가는 품목은 성수기마다 결품이 반복됐습니다. 경영진이 '데이터로 한번 풀어보자'며 8개월짜리 수요예측 과제를 열었습니다.
- 물류팀장이 3년치 출고 데이터를 뽑아보니 SKU 1,200개 중 상위 80개가 매출의 62%였는데, 폐기의 절반은 하위 400개에서 나오고 있었습니다.
- 데이터 담당 과장이 ERP 판매 실적에 기온, 포털 검색량, 프로모션 일정을 붙여보니 제습 제품 수요는 기온보다 검색량에 2주 먼저 반응한다는 게 드러났습니다.
- 영업본부장이 '그래도 현장 감이 있다'며 반발해, 3개월간 40개 품목만 예측치와 영업 발주치를 나란히 놓고 오차를 비교하기로 합의했습니다.
- 비교 결과 예측 모델 오차가 영업 발주보다 평균 11%p 낮게 나오자 본부장이 '이건 인정한다'며 가을 발주부터 예측치를 기준선으로 쓰기 시작했습니다.
- 그 과정에서 대리점 반품 사유 코드가 담당자마다 제각각 입력된 게 발견돼, 코드 12종을 5종으로 통합하고 필수 입력값으로 바꾼 뒤 정확도가 한 번 더 올랐습니다.
- 8개월 뒤 폐기 재고는 연 9억 원에서 5억 3천만 원으로 줄었고, 결품으로 놓친 판매 건수도 월 40건대에서 12건으로 떨어졌습니다.