词频统计 90% 的新手都会踩的坑:停用词表没配。
有个客户跑来问:「为什么我统计出来,排名第一是『的』,第二是『了』?」——这就是没过滤停用词。
jieba 默认其实带了 stopwords,但只有 200 多个,像「但是」「觉得」「可能」这种实词性虚词都没收。生产环境建议自己加一份,常见的有 1500-3000 词的中文停用词表,GitHub 一搜一大把,挑一个 star 多的就行。
实际处理时,顺序也很重要:
- 1
- 2
- 3
- 4
第三步很多人会漏,结果「很」「也」「都」这种词全混进去了。
干净的语料,做出来的词云才像样。
本文由 BBZ · 小朵科技工作室 出品。配套工具:词频统计软件 P01。