LDA(3) · 中文分词对结果影响 | 小朵科技工作室 博客

LDA 之前聊过主题数和解读，但有个更根本的问题容易被忽略——中文分词质量直接决定 LDA 效果。

举个例子：「这款手机屏幕显示效果非常出色」

• 错误分词：「这/款/手机/屏幕/显示/效果/非常/出色」——其实还行
• 正确分词：「这款/手机/屏幕/显示效果/非常/出色」——「显示效果」被切出来，反而更对

但更糟的情况是：「南京市长江大桥」被切成「南京/市长/江大桥」，LDA 直接当成三个主题，完全废了。

LDA 跑之前，这三步必做：

1. 1
2. 2
3. 3

这三步做了，结果质量至少提升 30%。不做，再调 K 也没用。

工欲善其事，必先利其器。LDA 之前，先花 20% 的时间把分词做扎实。

---

本文由 BBZ · 小朵科技工作室 出品。配套工具：LDA 主题分析软件 P04。