이 문서는 고객사에서 Deepflow Forecast 로 수요예측 모델링을 위한 데이터들을 전송하는 방법을 설명합니다.

기본 개념

데이터셋 종류

데이터셋은 데이터의 ‘기준 시간’ 필드 유무에 따라 EVENT와 METADATA 로 구분됩니다.

• EVENT: 속성과 발생 시간이 있는 데이터. 예를들면 판매, 출고, 재고량, 프로모션 등
• METADATA: 시간 속성에 영향 받지 않는 상태 데이터. 예를들면 품목 정보, 거래처 정보 등

데이터셋 타입은 스키마 규격서나 Deepflow CLI 로 확인이 가능합니다

기준 시간 필드

기준 시간 필드에 대해 정리하자면 다음과 같습니다.

• EVENT 데이터셋에서만 존재
• Date 또는 Timestamp 타입 필드가 대상
• 데이터셋 내 한개의 기준시간 필드를 가질 수 있음

파티션

대용량 데이터를 다루는 입장에서는 특정한 덩어리 단위로 데이터를 관리하는데 이 덩어리 단위를 ‘파티션’ 이라고 합니다.

데이터셋 타입마다 파티션의 유무와 처리 방법이 다릅니다

• METADATA 타입
  • 파티션 구분 없음
  • 데이터 업데이트시마다 기존의 전체 데이터가 제거되고 새로 들어온 데이터로 교체됨
  • 데이터 업데이트시마다 전체 스냅샷을 전송해야 함
• EVENT 타입
  • 기준 시간 필드를 참조하여 파티션 형성
  • 최초 데이터 전송시 파티션 단위로 분할되어 저장
  • 데이터 업데이트시 전송하는 데이터의 파티션만 교체됨

기준시간 필드는 데이터를 월간 단위로 구분하는 기준이 됩니다.