韩语文本分析
方法概述
韩语文本分析（Korean Text Analysis）对韩语语料进行分词（形态素分析）、词频统计、情感分析和主题分析的一体化处理，帮助研究人员从韩语数据中高效提取关键词、判断情感倾向并归纳潜在主题，适用于韩语语料研究、市场调研、舆情分析与用户反馈处理等场景。
本工具针对韩语语言特点（谚文音节、助词与谓词活用体系）进行了优化：
- 基于预训练的深度学习分词模型进行韩语形态素分析（针对谚文音节、助词与谓词活用体系优化）。
- 内置韩语情感词典（기쁘다/즐겁다 等正向、슬프다/힘들다 等负向），结合否定处理与强度放大判断情感倾向。
- 基于 LDA 主题模型（Gibbs 采样）提取潜在主题。
- 支持自定义词典、停用词表与正负情感词典上传，适配专业语料。
- 输出词频统计、情感分析结果与分析报告，支持可视化与 AI 智能解读。
界面支持中文本 ↔︎ 韩语本双语切换。
方法原理
韩语文本分析融合分词（形态素分析）、情感分析与主题分析三大环节，针对韩语语言特点（谚文音节、助词与谓词活用体系）进行了专门优化：
1. 韩语形态素分析
基于预训练的深度学习序列标注模型进行形态素分析，将韩语文本切分为”词干 + 词尾”结构。韩语谚文以音节为单位书写，助词（은/는/이/가）与谓词活用附着在词干后，简单按空格切分无法正确还原词形，需依赖专门训练的形态分析模型。未登录的专业术语可通过自定义词典补充。
2. 词频统计
对分词结果统计词频，过滤助词等停用词（은/는/이/가 등）以及标点、数字与网址后输出高频词表。
3. 情感分析
采用词典匹配法：将文本中的词语与韩语正/负向情感词典匹配，计算情感得分：
\[ \text{Score} = \sum_{i=1}^{m} (-1)^{n_i} \times d_i \times p(w_i) \]
其中 \(p(w_i)\) 为词语情感分值，\(n_i\) 表示否定词是否出现（出现则翻转极性），\(d_i\) 为程度副词强度。韩语否定结构（“안/못”）可通过否定处理选项识别。
4. 主题分析（LDA）
采用 LDA 概率主题模型提取潜在主题：每篇文档的主题分布服从 \(\text{Dirichlet}(\alpha)\)，每个主题的词语分布服从 \(\text{Dirichlet}(\beta)\)，通过 Gibbs 采样 估计参数：
\[ P(w \mid d) = \sum_{k=1}^{K} P(w \mid k) \times P(k \mid d) \]
使用流程
在平台左侧菜单选择“其他语种文本分析 → 韩语文本分析”，点击“开始智算”进入工具界面：
Step 1 数据准备
- 支持 CSV、Excel、TXT 三种格式，文件大小不超过 10MB。
- CSV/Excel 文件：第一列为文本内容；TXT 文件：每行一条文本。
- 文本需为 UTF-8 编码。
Step 2 参数设置
- 设定词语长度范围（默认 1-20）、最小词频（默认 1）、显示前 N 词（默认 50）。
- 选择预处理选项：内容去重、去除标点、去除数字、去除空白、去除网址、去除停用词（均默认开启）。
Step 3 分析配置
- 情感分析：方法选择（词典匹配，可选机器学习）、情感阈值（默认 0.1）、否定处理与强度放大。
- 主题分析：主题数量（默认 5）、每主题关键词数（默认 10）、LDA Alpha（默认 0.1）、迭代次数（默认 500）。
Step 4 高级设置
- 上传自定义词典、正向/负向情感词典、停用词文件（TXT/Excel），或在文本框直接输入。
Step 5 开始分析
点击“开始韩语文本分析”按钮，工具自动完成预处理、分词、词频统计、情感分析与主题建模。
Step 6 结果查看与下载
查看韩语分词、分词结果、词频统计、情感分析、主题分析、统计分析等标签页，可下载词频统计、分词结果、情感分析结果与分析报告。
参数说明
| 参数 | 默认值 | 说明 |
|---|---|---|
| 最小词语长度 | 1 | 仅保留长度不低于该值的词语 |
| 最大词语长度 | 20 | 仅保留长度不超过该值的词语 |
| 最小词频 | 1 | 词频低于该值的词语不进入统计 |
| 显示前 N 词 | 50 | 词频统计表展示的高频词数量 |
| 内容去重 | 开 | 去除重复文本内容 |
| 去除标点符号 | 开 | 去除标点字符 |
| 去除数字 | 开 | 去除纯数字及数字词 |
| 去除空白字符 | 开 | 去除多余空白 |
| 去除网址 | 开 | 去除 URL 链接 |
| 去除停用词 | 开 | 基于韩语停用词表过滤 |
| 情感分析方法 | 词典匹配 | 词典匹配 / 机器学习 |
| 情感阈值 | 0.1 | 判定情感归属的阈值 |
| 否定处理 / 强度放大 | 开 | 处理否定句式与程度副词 |
| 主题数量 | 5 | LDA 主题个数 |
| 每主题关键词 | 10 | 每主题展示的高频词数量 |
| LDA Alpha | 0.1 | 主题先验分布参数 |
| LDA 迭代次数 | 500 | MCMC 迭代次数 |
案例分析
案例背景：对 90 条韩语化妆护肤品评价进行文本分析，了解用户满意度与关注维度。
- 数据：CSV 文件，第一列为评价文本（如“피부에 잘 맞아서 만족스러워요, 가격이 조금 비싸요”）。
- 参数：默认词长范围、开启预处理、情感阈值 0.1、主题数量 4。
分析结果示例：
| 排名 | 词语 | 词频 |
|---|---|---|
| 1 | 피부 | 62 |
| 2 | 가격 | 47 |
| 3 | 만족 | 40 |
| 4 | 효과 | 36 |
| 5 | 사용 | 29 |
- 情感总体正向；“피부（肤感）/효과（效果）”构成正面主题，“가격（价格）”为主题中的负向关注点。
结论：韩语形态素分析识别出“肤感、效果、价格”等关注维度，情感与主题分析得出“效果好、价格偏高”的判断，为产品定位提供参考。
常见问题
Q1: 韩语形态素分析是什么？
A: 韩语由谚文音节组成，且助词与谓词活用附着在词干后，形态素分析将其切分为“词干+词尾”结构。本工具基于专门训练的韩语形态分析模型处理，比简单按空格切分更准确。
Q2: 词频统计为何需去停用词？
A: 韩语助词（은/는/이/가 등）高频出现，若不过滤会占据词频榜前列，掩盖实词信息。默认已开启去停用词。
Q3: 情感分析能识别网语与缩写吗？
A: 对标准书面韩语效果最佳；网络新词、缩写可录入自定义词典与情感词典逐步补充。
Q4: 主题数量如何确定？
A: 从 3-5 开始尝试，观察主题是否可命名、关键词是否独立；可结合业务背景微调。
平台功能
- 数据输入：支持 CSV、Excel、TXT 格式，文件大小限制 10MB；提供数据模板与方法介绍下载。
- 预处理：内容去重、去除标点/数字/空白/网址/停用词，参数可调。
- 分词：基于预训练韩语形态分析模型的形态素分析与词频统计，支持自定义词典。
- 情感分析：内置韩语情感词典，支持否定处理与强度放大。
- 主题分析：基于 LDA 模型提取潜在主题。
- 可视化：词频条形图、词云、情感分布图、主题分布图。
- 双语界面：中文本 ↔︎ 韩语本一键切换。
- 结果导出：下载词频统计、分词结果、情感分析结果与分析报告（HTML）。
- AI 智能分析：基于 DeepSeek 大模型对分析结果自动解读（每日限 3 次）。
使用建议
预处理先行：优先开启去停用词与内容去重，避免助词干扰词频统计。
自定义词典：对专业语料（如美妆、娱乐）整理领域术语录入自定义词典，提升分词质量。
情感参数：对口语化语料适当调整情感阈值，并补充行业正负词典。
主题调优：从小主题数开始，根据每主题关键词的清晰度逐步调整 LDA 参数。
组合分析：串联“分词 → 情感 → 主题”，先掌握关键词，再判断整体倾向，最后归纳主题结构。
平台界面
平台界面包含：数据上传区、参数设置区、分析配置区、高级设置、结果展示（分词、词频、情感、主题、统计）及 AI 分析模块
参考文献：
Nivre, J., et al. (2016). Universal Dependencies: A Cross-Linguistic Typology.
Blei, D. M., Ng, A. Y., & Jordan, M. I. (2003). Latent Dirichlet Allocation. JMLR.