refactor CHPA 01 and 02 warehouse jobs
This commit is contained in:
@@ -69,7 +69,7 @@ DWD -> DWS -> DM
|
||||
- GND 时间默认值中 `190001/209901` 与 `200001/299912` 的历史差异暂不统一。
|
||||
- CHPA sales 全国数据从 `202201` 开始,省级数据不增加该下限。
|
||||
- Market 扩展市场 ratio 的旧脚本净结果保持为 `1`;缺失 `ELSE` 的疑点只记录,不在本批修复。
|
||||
- 日期维度保留 `max(YM)-900` 的旧窗口算法,尽管旧注释称“最近五年”。
|
||||
- 日期维度保留 YYYYMM 值 `max(YM)-900`(约九年)的旧算法,尽管旧注释称“最近五年”。
|
||||
|
||||
## 5. 本批修复的工程问题
|
||||
|
||||
@@ -82,7 +82,16 @@ DWD -> DWS -> DM
|
||||
- Market 的共享临时表、MERGE DELETE 和 UPDATE 改为 notebook 内 CTE、anti join、rank 和投影。
|
||||
- Pharbers 入湖在无文件时失败,避免旧 staging 被再次覆盖到 DWD。
|
||||
|
||||
## 6. 下一批必须迁移的 03 消费者
|
||||
## 6. 上线前契约确认
|
||||
|
||||
- Legacy manufacturer build 使用 `T1.*` 且仓库无完整 DDL。新表明确收窄为当前消费者需要的 9 列,注释 CTAS 从源表达式推导字段类型;新增消费者字段前必须先 `DESCRIBE` 源表并协调扩展契约。
|
||||
- Market-TA 明确收窄为 `MARKET, TA` 两列,并用零行 CTAS 推导类型;上线前用 `DESCRIBE` 确认旧 source/target 没有仍需保留的业务列。
|
||||
- `dws_ext_td_ims_pack_ym` 首次部署必须 `DEEP CLONE` 旧表,不能只复制 schema,否则五年窗口外的历史映射会丢失。
|
||||
- CHPA sales 的省份映射从 DM geography 改为 DWS geo 后,必须验证 fact `PROVINCE_C` 到 geo `PROVINCE_C` 的匹配率和 geo 省份唯一性。
|
||||
- Legacy DM 消费者读取 `CORP_DES_CN` / `MANU_DES_CN`,而 02 构建契约保留 `CORP_DES_C` / `MANU_DES_C`;03 迁移时必须统一。
|
||||
- Market 的扩展 ratio、扩展行 `BU`/`BrandType` 位置互换、KC NULL 去重和无总排序 tie-breaker 均为兼容保留项,业务修复需单独变更。
|
||||
|
||||
## 7. 下一批必须迁移的 03 消费者
|
||||
|
||||
本批新表上线后,以下类型的旧引用仍存在于 `03` 脚本中:
|
||||
|
||||
|
||||
Reference in New Issue
Block a user