REFACTOR-MA/README.md

REFACTOR-MA

Databricks 数仓 SQL 重构仓库。

设计入口

• Agent 和工程约束：AGENTS.md
• SQL 重构规范：docs/sql_refactoring_standard.md
• CHPA 01/02 迁移矩阵：docs/chpa_01_02_migration.md

工作区上级 CHPA/ 目录是只读 legacy 输入；所有新代码、文档和验证都放在本仓库。

数仓分层

DWD -> DWS -> DM

• DWD：清洗后的原子明细和基础主数据。
• DWS：引用 DWD 构建的公共维度、层级宽表和可复用事实表。
• DM：引用 DWS 构建的主题、指标和报表数据集。

固定表名前缀：

• DWS 维度：dws.dws_ext_td_<业务实体>
• DWS 事实：dws.dws_ext_tf_<业务实体>
• DM 维度：dm.dm_ext_td_<业务实体>
• DM 事实：dm.dm_ext_tf_<业务实体>

当前重构范围

本批覆盖 CHPA/ 下全部 6 个 01 开头脚本和 11 个 02 开头脚本。

主要变化：

• DWD 配置标准化和外部事实入湖保留在 sql/chpa/01_dwd/。
• ATC/NFC hierarchy、pack property、中文维度和 market 等派生宽表迁移到 DWS。
• tmp.tmp_ims_tf_fact_sales 提升为 dws.dws_ext_tf_ims_chpa_sales。
• 产品排序由共享临时表和 UPDATE 改为声明式 DWS 标记。
• 每个持久化脚本包含注释形式的一次性建表语句、显式写入字段和脚本契约头。

目录结构

RE/
|-- AGENTS.md
|-- README.md
|-- docs/
|   |-- sql_refactoring_standard.md
|   `-- chpa_01_02_migration.md
|-- sql/
|   `-- chpa/
|       |-- 01_dwd/
|       `-- 02_dws/
`-- validation/
    `-- chpa/
        `-- 02_dws/

执行和迁移

1. 按 docs/chpa_01_02_migration.md 中的顺序执行 DWD 脚本。
2. 确认 DWS 目标表已通过各脚本中的注释 DDL 创建。
3. 按 sql/chpa/02_dws/ 文件序号执行 DWS 脚本。
4. 在相同源数据快照上运行 validation/chpa/02_dws/ 下的验证 notebook。
5. 新旧行数、双向差集和必填键检查通过后，再迁移下游消费者。

本批不修改 03 开头脚本。03 中仍存在对旧 DWD/DWS/tmp 表的引用；在下一批完成消费者迁移之前，旧表必须保留为兼容和验证基线。