# REFACTOR-MA

Databricks 数仓 SQL 重构仓库。

## 设计入口

- Agent 和工程约束：`AGENTS.md`
- SQL 重构规范：`docs/sql_refactoring_standard.md`
- CHPA 01/02 迁移矩阵：`docs/chpa_01_02_migration.md`

工作区上级 `CHPA/` 目录是只读 legacy 输入；所有新代码、文档和验证都放在本仓库。

## 数仓分层

```text
DWD -> DWS -> DM
```

- `DWD`：清洗后的原子明细和基础主数据。
- `DWS`：引用 DWD 构建的公共维度、层级宽表和可复用事实表。
- `DM`：引用 DWS 构建的主题、指标和报表数据集。

固定表名前缀：

- DWS 维度：`dws.dws_ext_td_<业务实体>`
- DWS 事实：`dws.dws_ext_tf_<业务实体>`
- DM 维度：`dm.dm_ext_td_<业务实体>`
- DM 事实：`dm.dm_ext_tf_<业务实体>`

## 当前重构范围

本批覆盖 `CHPA/` 下全部 6 个 `01` 开头脚本和 11 个 `02` 开头脚本。

主要变化：

- DWD 配置标准化和外部事实入湖保留在 `sql/chpa/01_dwd/`。
- ATC/NFC hierarchy、pack property、中文维度和 market 等派生宽表迁移到 DWS。
- `tmp.tmp_ims_tf_fact_sales` 提升为 `dws.dws_ext_tf_ims_chpa_sales`。
- 产品排序由共享临时表和 UPDATE 改为声明式 DWS 标记。
- 每个持久化脚本包含注释形式的一次性建表语句、显式写入字段和脚本契约头。

## 目录结构

```text
RE/
|-- AGENTS.md
|-- README.md
|-- docs/
|   |-- sql_refactoring_standard.md
|   `-- chpa_01_02_migration.md
|-- sql/
|   `-- chpa/
|       |-- 01_dwd/
|       `-- 02_dws/
`-- validation/
    `-- chpa/
        `-- 02_dws/
```

## 执行和迁移

1. 按 `docs/chpa_01_02_migration.md` 中的顺序执行 DWD 脚本。
2. 确认 DWS 目标表已通过各脚本中的注释 DDL 创建。
3. 按 `sql/chpa/02_dws/` 文件序号执行 DWS 脚本。
4. 在相同源数据快照上运行 `validation/chpa/02_dws/` 下的验证 notebook。
5. 新旧行数、双向差集和必填键检查通过后，再迁移下游消费者。

本批不修改 `03` 开头脚本。`03` 中仍存在对旧 DWD/DWS/tmp 表的引用；在下一批完成消费者迁移之前，旧表必须保留为兼容和验证基线。