LDA 主题分析最常被问的问题:主题数 K 该怎么设?

网上教程大多让你「用困惑度(perplexity)选最低点」,但实际项目里,困惑度曲线经常是单调下降的,根本看不出拐点。

更靠谱的做法是看一致性(Coherence Score):

from gensim.models import CoherenceModel
coherence = CoherenceModel(
    model=lda,
    texts=corpus,
    dictionary=dictionary,
    coherence='c_v'
).get_coherence()

把 K 从 2 试到 20,选 coherence 最高的那个,通常就是最合适的。

再一个经验值:评论分析一般 3-7 个主题,新闻舆情 5-10 个,学术论文 5-15 个。太小没区分度,太大主题之间会重叠。

数据量小(< 1000 条)别硬上 LDA,出来的结果没法解释。


本文由 BBZ · 小朵科技工作室 出品。配套工具:LDA 主题分析软件 P04