词频对比
方法概述
词频对比（Word Frequency Compare）将多份词频统计表合并为统一的词频对比矩阵，直观展示同一词语在不同数据集中的出现情况，广泛应用于文献计量、舆情跟踪、产品迭代前后对比、多语料对照分析等场景。本工具以 Excel 多工作表为输入，每个工作表代表一份词频数据，自动对齐词语并生成对比表与可视化图表。
本工具核心能力：
- 多表对齐：自动按词语匹配多份词频表，未出现词语补 0。
- 指标计算：计算总词频、平均词频，支持按总词频排序。
- 多种图表：柱状图、热力图、折线图、堆叠图、分布图、雷达图。
- 灵活过滤：最小词频阈值、Top N 高频词、移除特殊字符。
方法原理
词频对比的本质是多表的行对齐与数值合并，将多份”词语→词频”表按词语主键横向拼接成统一矩阵，再基于矩阵计算指标与可视化。核心流程：
1. 词语主键对齐
设第 \(k\) 份词频表为 \(\{(w, f_{wk})\}\)，合并后以词语 \(w\) 为主键构造统一词典，未在某表出现的词语补 0：
\[ w \in W = \bigcup_k W_k \]
2. 词频对比矩阵构建
构造矩阵 \(\mathbf{F} = [f_{wk}]_{n \times m}\)，行代表词语、列代表各份数据表。由此可计算：
- 总词频：\(f_w = \sum_{k=1}^{m} f_{wk}\)
- 平均词频：\(\bar{f}_w = \frac{1}{m}\sum_{k=1}^{m} f_{wk}\)
3. 可读性处理
为避免噪声影响，先做规范化：统一转小写、移除空词语与特殊字符，再按最小词频阈值过滤低频词，或限定展示 Top N 高频词，并支持按总词频排序。
4. 可视化映射
将矩阵 \(\mathbf{F}\) 映射到多种图表：柱状图展示各组频数对比、热力图展示词语×数据表整体格局、折线图展示跨表变化趋势、堆叠图展示占比结构。支持对数尺度以缓解极端值压缩差异。
使用流程
在平台左侧菜单选择“其他文本处理工具 → 词频对比”，点击“开始智算”进入工具界面：
Step 1 数据准备
- 支持 Excel（.xlsx/.xls）格式，文件大小不超过 10MB。
- 每个工作表要求：第一列为词语，第二列为词频数量（列名建议为 word/frequency/count）。
- 一个工作表代表一份待对比的词频数据，可多选工作表参与对比。
Step 2 数据整理设置
- 选择是否统一转小写、移除空词语。
- 选择是否移除特殊字符（默认否）。
Step 3 过滤与展示设置
- 设定最小词频阈值（默认 1）、显示前 N 个高频词（默认 50）。
- 选择“显示所有词语”或仅显示 Top N。
- 选择是否对未出现词语填 0、按总词频排序。
- 选择是否计算总词频、平均词频。
Step 4 可视化设置
- 选择图表类型：柱状图（默认）、热力图、折线图、堆叠图。
- 选择是否使用对数尺度。
Step 5 开始分析
点击“开始对比”按钮，工具自动合并各表生成统一对比矩阵。
Step 6 结果查看与下载
查看词频对比表、统计概览、可视化分析等标签页，可下载完整结果、合并表格与分析报告。
参数说明
| 参数 | 默认值 | 说明 |
|---|---|---|
| 参与对比的工作表 | 全部 | 可多选要对比的词频表 |
| 统一转小写 | 是 | 词语统一为小写再对齐 |
| 移除空词语 | 是 | 过滤空词条 |
| 移除特殊字符 | 否 | 去除词语中的特殊符号 |
| 最小词频阈值 | 1 | 低于该阈值的词语剔除 |
| 显示前 N 个高频词 | 50 | 对比表展示的词语数量 |
| 显示所有词语 | 否 | 关闭 Top N 限制 |
| 未出现词语填 0 | 是 | 缺失词频以 0 补齐 |
| 按总词频排序 | 是 | 按总词频降序排列 |
| 计算总词频 | 是 | 汇总各表词频 |
| 计算平均词频 | 是 | 计算各表平均词频 |
| 图表类型 | 柱状图 | 柱状 / 热力 / 折线 / 堆叠 |
| 对数尺度 | 否 | 对词频轴取对数 |
案例分析
案例背景：比较某产品 2025 与 2026 年用户评论的高频词变化，评估口碑演进。
- 数据：Excel 文件，两个工作表分别存放两年分词后的词频表。
- 参数：Top 30 高频词、计算总词频与平均词频、柱状图对比。
分析结果示例：
| 词语 | 2025 词频 | 2026 词频 | 总词频 |
|---|---|---|---|
| 续航 | 320 | 485 | 805 |
| 充电 | 210 | 402 | 612 |
| 智能 | 190 | 350 | 540 |
| 价格 | 260 | 120 | 380 |
| 售后 | 150 | 96 | 246 |
结论：“续航、充电、智能”词频显著上升，“价格、售后”下降，说明两年间用户关注重心从性价比转向产品智能化，为产品策略调整提供量化依据。
常见问题
Q1: 工作表数据格式有什么要求？
A: 每表第一列为词语、第二列为词频数量；列名建议 word/frequency/count，格式不符合时会按位置读取。
Q2: 未出现的词语如何处理？
A: 默认对缺失词频填 0，保证各表行数一致，便于对比与绘图；也可关闭该选项仅保留共同词语。
Q3: 如何选择合适的图表？
A: 少量词用柱状图直观；大量词用热力图看整体格局；看变化趋势用折线图；看占比结构用堆叠图。
Q4: 为什么有些词语对不上？
A: 可能因大小写、标点或分词口径不同导致。开启“统一转小写”与“移除特殊字符”可提升对齐率。
平台功能
- 数据输入：支持 Excel（.xlsx/.xls）多工作表，每表一词一频；文件大小限制 10MB。
- 数据整理：统一转小写、移除空词语、移除特殊字符、最小词频过滤。
- 对比矩阵：词语对齐、缺失补 0、总词频与平均词频、Top N 与全量展示。
- 可视化：柱状图、热力图、折线图、堆叠图、分布图、雷达图，支持对数尺度。
- 结果展示：词频对比表、统计概览、可视化分析。
- 结果导出：完整结果（Excel 多表）、合并表格、分析报告（HTML）。
使用建议
口径一致：参与对比的各表最好来自相同分词与清洗规则，否则对齐率会受影响。
先看 Top N：先用 Top 30-50 把握整体差异，再决定是否展开全量或深入特定词。
图表配合：用柱状/热力图看静态对比，用折线/堆叠图看结构变化，多图互证结论。
关注增量词：重点观察“新出现”或“显著上升”的词语，往往是趋势变化的信号。
记录参数：固定对比口径与参数，确保多次对比结果可比。
平台界面
平台界面包含：数据上传区、对比设置区、过滤与展示设置、可视化设置、结果展示（对比表、统计概览、可视化分析）及下载区
参考文献：
Manning, C. D., Raghavan, P., & Schütze, H. (2008). Introduction to Information Retrieval. Cambridge University Press.
Salton, G., & McGill, M. J. (1986). Introduction to Modern Information Retrieval. McGraw-Hill.