LDA 主题分析最常被问的问题:主题数 K 该怎么设?
网上教程大多让你「用困惑度(perplexity)选最低点」,但实际项目里,困惑度曲线经常是单调下降的,根本看不出拐点。
更靠谱的做法是看一致性(Coherence Score):
from gensim.models import CoherenceModel
coherence = CoherenceModel(
model=lda,
texts=corpus,
dictionary=dictionary,
coherence='c_v'
).get_coherence()
|
把 K 从 2 试到 20,选 coherence 最高的那个,通常就是最合适的。
再一个经验值:评论分析一般 3-7 个主题,新闻舆情 5-10 个,学术论文 5-15 个。太小没区分度,太大主题之间会重叠。
数据量小(< 1000 条)别硬上 LDA,出来的结果没法解释。
本文由 BBZ · 小朵科技工作室 出品。配套工具:LDA 主题分析软件 P04。