데이터 파이프라인 · ETL
Data Pipeline / Extract · Transform · Load
데이터 파이프라인이란?
- 데이터를 모으고·정제·저장(ETL)
- 분석되기까지의 '배관'
- 자동 흐름 구축
데이터 파이프라인이 깔리면 실제로 바뀌는 것은 '숫자를 누가 만드느냐'입니다. 그전까지는 마케팅 담당자가 광고 플랫폼에서 CSV를 내려받고, 영업지원이 ERP에서 뽑고, 각자 엑셀에서 붙여 맞추는 일을 매주 반복합니다. 같은 '지난달 매출'이 부서마다 다르게 나오는 이유도 여기 있습니다. 파이프라인은 이 손작업을 코드로 고정해 사람이 아니라 스케줄러가 숫자를 만들게 합니다. 회의 앞머리를 잡아먹던 '어느 숫자가 맞나' 논쟁이 줄고, 틀렸을 때 고칠 자리가 한 곳으로 모입니다.
설계에서 갈리는 지점은 세 가지입니다. 첫째, 요즘은 ETL보다 ELT를 더 많이 씁니다. 클라우드 웨어하우스의 연산 비용이 내려가면서, 원본을 일단 그대로 싣고 SQL로 변환하는 쪽이 재계산과 복구에 유리하기 때문입니다. 둘째, 주기입니다. 일 1회 배치로 충분한 지표와 분 단위가 필요한 지표를 구분하지 않으면 비용만 불어납니다. 재무·인사 리포트는 새벽 배치로 족하고, 재고·이상거래 정도가 준실시간 대상입니다. 셋째, 매번 전체를 다시 싣는 풀 로드와 바뀐 건만 싣는 증분 적재 중 무엇을 쓰느냐에 따라 처리 시간이 수십 배 차이 납니다.
가장 흔한 오해는 도구를 도입하면 데이터가 깨끗해진다는 생각입니다. 파이프라인은 운반 설비지 품질 보증서가 아닙니다. 영업사원이 고객사명을 '(주)가나다'와 '가나다㈜'로 나눠 입력하면, 그 두 건은 파이프라인을 통과한 뒤에도 서로 다른 고객으로 집계됩니다. 더 위험한 건 조용한 실패입니다. 개발팀이 주문 테이블 컬럼명을 바꾼 사실을 데이터 담당자가 모르면 적재는 멈췄는데 대시보드는 어제 숫자를 그대로 보여줍니다. 실패 알림과 건수·합계 대사(對査)를 붙이지 않으면 보름 뒤 마감 때야 발견합니다. 원천 변경을 미리 통지받는 약속과 담당자 지정이 툴 선정보다 먼저입니다.
데이터 웨어하우징과 함께 발전한 ETL(추출-변환-적재) 개념에서 출발해, 클라우드·실시간 처리와 함께 현대적 데이터 파이프라인으로 확장됐습니다.
가상의 사례로 살펴보겠습니다. 생활용품을 만들어 온·오프라인으로 파는 A사는 임직원 320명, 연매출 1,800억 원대입니다. 자사몰과 오픈마켓 4곳, ERP, CRM에 판매 데이터가 흩어져 있어 주간 판매보고서 한 장을 만드는 데 담당자 2명이 이틀을 썼습니다. 게다가 회의 때마다 부서별 매출 숫자가 달라 앞 30분을 숫자 검증에 쓰고 있었습니다.
- 데이터분석팀 김 과장이 주간보고서 한 장을 역추적해 보니, 엑셀 파일 11개와 수작업 붙여넣기 34번이 들어가 있었습니다.
- 재무팀장이 "우리 매출이랑 마케팅 숫자가 왜 늘 3%씩 차이 나냐"고 묻자, 반품을 반영하는 시점이 서로 다르다는 게 드러나 지표 정의서부터 다시 썼습니다.
- 외부 개발사와 함께 오픈마켓 4곳·ERP·자사몰을 매일 새벽 3시에 증분 적재하는 배치를 만들고, 적재 실패 시 담당자 휴대폰으로 알림이 가도록 붙였습니다.
- 가동 2주차에 오픈마켓 한 곳이 API 스펙을 바꿔 적재가 멈췄지만 알림 덕에 당일 오전에 복구했고, 이후 원천 변경은 개발팀 배포 공지에 포함하기로 합의했습니다.
- 6개월 뒤 주간보고서 작성 시간은 2인 16시간에서 40분으로, 부서 간 매출 차이는 0.2% 이내로 줄었고, MD들이 월요일 오전에 재고 발주를 결정하게 됐습니다.