词频统计 90% 的新手都会踩的坑:停用词表没配。

有个客户跑来问:「为什么我统计出来,排名第一是『的』,第二是『了』?」——这就是没过滤停用词。

jieba 默认其实带了 stopwords,但只有 200 多个,像「但是」「觉得」「可能」这种实词性虚词都没收。生产环境建议自己加一份,常见的有 1500-3000 词的中文停用词表,GitHub 一搜一大把,挑一个 star 多的就行。

实际处理时,顺序也很重要:

  1. 1
  2. 2
  3. 3
  4. 4

第三步很多人会漏,结果「很」「也」「都」这种词全混进去了。

干净的语料,做出来的词云才像样。


本文由 BBZ · 小朵科技工作室 出品。配套工具:词频统计软件 P01