REFACTOR-MA

Databricks 数仓 SQL 重构仓库。

数仓分层

仓库采用三层模型，数据依赖保持单向流动：

DWD -> DWS -> DM

DWD：清洗后的原子明细和基础主数据。
DWS：引用 DWD 构建的公共维度、宽表和可复用事实表。
DM：面向具体分析主题、指标和报表的数据集市。

首批 review 范围

本批次重构原 CHPA/01 中两个层级维表脚本：

sql/chpa/02_dws/01_dws_ext_td_ims_atc_hierarchy.sql
sql/chpa/02_dws/02_dws_ext_td_ims_nfc_hierarchy.sql

两个脚本读取 DWD，并写入新的 DWS 维度表：

dws.dws_ext_td_ims_atc_hierarchy
dws.dws_ext_td_ims_nfc_hierarchy

工作区 CHPA/ 下的原脚本保持不变。旧表 dwd.dwd_ims_atc_hierarchy 和 dwd.dwd_ims_nfc_hierarchy 仅作为本批新旧结果校验基线。

表命名

DWS 维度表：dws_ext_td_<业务实体>
DWS 事实表：dws_ext_tf_<业务实体>
DM 维度表：dm_ext_td_<业务实体>
DM 事实表：dm_ext_tf_<业务实体>

完整规范及首批表名映射见 docs/sql_refactoring_standard.md。

目录结构

RE/
|-- README.md
|-- docs/
|   `-- sql_refactoring_standard.md
|-- sql/
|   `-- chpa/
|       `-- 02_dws/
|           |-- 01_dws_ext_td_ims_atc_hierarchy.sql
|           `-- 02_dws_ext_td_ims_nfc_hierarchy.sql
`-- validation/
    `-- chpa/
        `-- 02_dws/
            `-- validate_hierarchy_refactor.sql

执行顺序

确认两个 DWS 目标表已按脚本中的显式字段契约创建。
按文件名前缀顺序执行 sql/chpa/02_dws/ 中的脚本。
运行 validation/chpa/02_dws/validate_hierarchy_refactor.sql，直接比较新 DWS 输出与旧 DWD 基线。
兼容性检查必须全部返回 passed = true；同时 review 重复路径和未匹配层级指标。
下游迁移完成前保留旧 DWD 表；下游不得继续新增对旧表的依赖。

本次 review 重点

DWD -> DWS -> DM 的职责边界是否符合现有调度设计。
dws_ext_td_ims_* 中是否需要保留来源系统 ims。
DWS 目标表的 catalog、字段类型、表属性和权限是否需要统一 DDL 模板。

2.2 KiB Raw Blame History