数据编码
方法概述
数据编码是将分类（定类）变量的文字取值转换为数值形式，使统计模型与机器学习算法能够接受非数值输入的过程。多数模型无法直接处理”红/绿/蓝”、“高/中/低”等字符取值，需要先将其编码为数值。不同编码方式在模型可解释性、特征维度与变量间关系假设上各有特点，选择不当既可能造成维度膨胀，也可能引入不必要的共线性。
本工具提供独热编码、虚拟编码、效应编码、标签编码、目标编码与频率编码六种方法，适用于不同类别的分类变量建模前处理。工具支持批量多列编码、替换或新增列两种处理方式，并自动生成编码映射表，逐列记录原始类别与编码的对应关系，便于追溯与在训练、预测环节保持一致的编码口径。
计算步骤
1. 数据加载与预处理
- 支持 CSV 与 Excel 文件上传（不超过 5MB），并提供数据模板与算法文档下载。
- 数据格式要求：第一行为列名，第二行起为观测值，缺失值可用常见符号标注或空缺。
- 自动将常见缺失符号转为缺失值；删除完全为空的行和列。
- 自动识别分类列（文本/类型枚举列）与数值列，其中待编码列应为文本或类型枚举列。
2. 选择编码方法
设某分类列有 \(k\) 个类别：
- 独热编码：为每个类别生成一个 0/1 列，共 \(k\) 列（类别超多时会提示数据膨胀风险）： \[ \text{onehot}_{x,c} = \begin{cases}1, & \text{本行类别}=c\\ 0, & \text{其他}\end{cases} \]
- 虚拟编码：生成 \(k-1\) 个 0/1 列，第一个类别作为参考类别（参考类别在所有虚拟列上取 0），可避免完全共线性。
- 效应编码：生成 \(k-1\) 列，参考类别在所有效应列上取 \(-1\)，其余类别的对应列为 1、其它列为 0，便于解释类别相对总体均值的偏离效应：参考类别在所有效应列上均为 \(-1\)，非参考类别在对应列为 1、其余为 0。
- 标签编码：将类别按字母顺序或出现频率从 1 开始编号（\(1,2,\dots,k\)）。
- 目标编码：以目标数值列的类别均值替换类别，\(x' = \bar{y}_c\)，需指定目标列，适用于有监督建模。
- 频率编码：以类别出现频率（占比）替换类别，\(x' = \frac{n_c}{n}\)。
其中虚拟、效应与标签编码可按”字母顺序”或”频率降序”决定类别顺序。
3. 处理方式设置
- 替换原列：用编码结果覆盖原列（独热、虚拟、效应编码将删除原列）。
- 新增编码列（保留原列）：保留原列并在数据末尾追加编码结果。
4. 编码映射表与统计摘要
- 编码映射表：逐列列出原始类别与编码值/编码列名的对应关系，便于追溯。
- 统计摘要：显示原始列数、编码后列数、编码方法、编码变量数与新列名示例。
5. AI 智能分析
基于编码方法、编码列、处理方式与编码后列数等信息，调用大语言模型评估编码选择是否合理，并给出建模策略建议（每日限 3 次，需配置 API 密钥）。
6. 结果导出
- 下载编码后数据（CSV 或 Excel）。
- 下载包含编码映射表与数据预览的 HTML 报告。
案例分析
案例背景：某销售数据集包含”产品类别”（A/B/C）分类列，建模前需转化为数值形式。
原始数据（示例）：
| 订单ID | 产品类别 | 销量 |
|---|---|---|
| 1 | A | 120 |
| 2 | B | 95 |
| 3 | A | 150 |
| 4 | C | 80 |
| 5 | B | 110 |
处理过程：对”产品类别”执行虚拟编码（按字母顺序，参考类别 A），采用”新增编码列”方式。
编码后数据（示例）：
| 订单ID | 产品类别 | 销量 | 产品类别_B | 产品类别_C |
|---|---|---|---|---|
| 1 | A | 120 | 0 | 0 |
| 2 | B | 95 | 1 | 0 |
| 3 | A | 150 | 0 | 0 |
| 4 | C | 80 | 0 | 1 |
| 5 | B | 110 | 1 | 0 |
结论：在本示例数据范围内，3 类产品的分类列通过虚拟编码生成 2 个新列（参考类别 A 全为 0），编码映射表清晰记录了类别与虚拟列的对应关系。
常见问题
Q1: 独热编码和虚拟编码有何区别？
A: 独热编码为每个类别生成一列（共 \(k\) 列），虚拟编码只生成 \(k-1\) 列并通过参考类别表达第 \(k\) 类，维度更低且可避免完全共线性，更适合线性类模型。
Q2: 类别过多应注意什么？
A: 独热、虚拟与效应编码会按类别数扩充列数，类别很多时可能导致数据集显著膨胀，可改用标签或频率编码。
Q3: 目标编码为何需要指定目标列？
A: 目标编码以目标变量的类别均值替换类别，天然利用目标信息，应在训练集上计算并注意避免过拟合。
Q4: 映射表为什么重要？
A: 映射表记录了类别与编码的对应关系，新建样本可使用同一映射保持一致口径，也便于逆向还原。
Q5: 编码后原列如何保留？
A: 选择”新增编码列”则原列保留；选择”替换原列”则编码覆盖原列（独热/虚拟/效应编码将删除原列），请按需选择。
Q6: 编码顺序对结果有何影响？
A: 编码顺序主要影响标签编号与虚拟/效应编码中参考类别的确定。不同顺序不改变类别本身，但会影响数值编号的稳定预期，建议同一数据集保持一致的顺序设置。
平台功能
- 数据输入：支持 CSV、Excel，自动识别缺失符号、清理空行列、识别分类列与数值列；提供数据模板与方法介绍下载。
- 编码方法：独热、虚拟、效应、标签、目标、频率共 6 种，编码顺序可按字母或频率调整。
- 处理方式：替换原列或新增编码列（独热/虚拟/效应替换会删除原列）。
- 结果展示：编码映射表、统计摘要（编码前后列数、新列名示例）。
- AI 智能分析：评估编码合理性并建议建模策略（每日限 3 次，需配置 API 密钥）。
- 报告下载：编码后数据（CSV/Excel）与 HTML 报告。
使用建议
- 结合模型选择：线性模型常用虚拟或效应编码；树类模型可直接使用标签编码；类别占比较高时可用频率编码；有明确目标列时可用目标编码。
- 关注维度膨胀：类别数量大时优先选择非独热类编码，控制特征维度。
- 记录映射关系：妥善保存编码映射表，确保训练与预测数据使用一致的编码。
- 先清洗再编码：先处理缺失值与异常类别，可避免编码时产生无意义的全零或缺失行。
- 验证编码结果：查看映射表与统计摘要，确认类别数量与生成列数符合预期。
- 对照还原：需要文字解读时，可结合”数据标签”工具或使用保存的映射表将编码结果还原为原始类别。
平台界面
平台界面包含：数据上传区、编码方法选择与参数设置区（编码顺序、目标列）、处理方式设置、编码映射表、统计摘要及 AI 分析模块
参考文献
- Hardy, M. A. (1993). Regression with Dummy Variables. Sage University Papers Series on Quantitative Applications in the Social Sciences. Newbury Park, CA: Sage.
- Micci-Barreca, D. (2001). A preprocessing scheme for high-cardinality categorical attributes in classification and prediction problems. ACM SIGKDD Explorations Newsletter, 3(1), 27-32.
- Cohen, J., Cohen, P., West, S. G., & Aiken, L. S. (2003). Applied Multiple Regression/Correlation Analysis for the Behavioral Sciences (3rd ed.). Lawrence Erlbaum.