数据转换、完整性与特征工程

1. 工具不是同义词：按控制程度和使用者选择

当前名称：SageMaker Data Wrangler 已集成到 SageMaker Canvas，但 MLA-C01 考纲和许多题目仍使用 Data Wrangler 名称。遇到旧界面措辞时，考它的能力边界，不考菜单位置。

2. EMR 与 Spark：何时需要更大的处理引擎

Amazon EMR 托管 Hadoop、Spark 等大数据框架。它适合需要分布式处理、大量依赖、长时间作业或对运行环境有较多控制的场景。Spark 把转换表示为分布式数据操作，执行器并行处理分区，driver 负责计划和协调。

• HDFS 位于集群节点，适合短期高吞吐中间数据；S3/EMRFS 把计算和持久存储解耦。
• Spark MLlib 提供分布式 ML 和特征转换，但题干若只要求 ML 训练，SageMaker 通常更直接。
• Spark Structured Streaming 适合批流统一的数据处理语义；Kinesis/MSK 可作为来源。
• 实例选择取决于瓶颈：计算密集选 compute optimized，内存 shuffle/缓存重选 memory optimized，存储密集再看本地盘。

3. 先理解数据问题，再应用转换

缺失值

不要在完整数据集上计算填充值再切分。应先切分，然后只在训练集拟合 imputer/scaler/encoder，再把同一参数应用到验证、测试和线上数据。

类别不平衡

• 过采样少数类：保留多数类信息，但重复样本可能过拟合。
• 欠采样多数类：训练更快，但会丢失信息。
• SMOTE 等合成采样：在特征空间生成少数类样本，必须只对训练折执行。
• 类别权重/代价敏感学习：不改变数据量，直接提高少数类错误成本。
• 阈值调整：改变 precision/recall 权衡，不会让排序能力本身变好。

不平衡分类不要只看 accuracy。优先根据业务错误成本选择 precision、recall、F1、PR-AUC 或 ROC-AUC。

离群值与常见转换

TF-IDF 提高在某文档中频繁、但在整个语料中不常见词的权重。n-gram 能保留局部词序，但会迅速增加维度和稀疏性，这就是“维度灾难”在文本特征中的常见表现。

4. 标注服务：创建标签与复核预测是两件事

5. SageMaker 数据工具各自负责什么

Data Wrangler

Data Wrangler 提供导入、数据流、转换、可视化、Data Insights、target leakage 分析和 Quick Model。数据流可导出到 S3、SageMaker Pipelines、Feature Store 或 Python 脚本，适合把交互式探索变成可重复流程。

SageMaker Processing

Processing job 启动临时托管计算来运行预处理、后处理和评估代码。它能使用预构建或自定义容器，并自然作为 SageMaker Pipeline 的 ProcessingStep。题干强调“自定义 Python/容器、可重复批处理”时，比 Data Wrangler 更直接。

Clarify 与 Model Monitor

SHAP 为单次或整体预测分配特征贡献；Partial Dependence Plot 展示目标特征变化与平均预测之间的关系。相关特征很强时，两者都要谨慎解释。

6. Feature Store 的价值是复用与一致性

Feature Group 需要 record identifier 和 event time。event time 支持按事件发生时间组织历史，并帮助创建 point-in-time correct 训练集。在线存储只保留最新记录，不能替代离线历史。

主来源：SageMaker Feature Store

7. Glue 生态与 Athena

Athena 的考试优化顺序

Glue Data Quality 使用 DQDL；质量分数是通过规则数占总规则数的比例。它可以在 Data Catalog 上评估静态数据，也能嵌入 Glue ETL job，在装载前隔离失败记录。

主来源：AWS Glue Data Quality、Athena performance tuning

8. 数据完整性最终看四类失败