jieba 词频统计一直有同学问:为什么「王者荣耀」被切成「王者/荣耀」两个词?为什么「遥遥领先」被拆成单字?

这是 jieba 的默认词库更新不及时导致的,网络新词它不认识。

解决方法很简单——加自定义词典:

jieba.load_userdict("userdict.txt")

txt 格式一行一词,带词性和频次:

王者荣耀 10 n
遥遥领先 8 n
yyds 5 n

频次建议给高点(8-10),太低还是会被切散。改完重新跑一遍,效果立竿见影。

词典文件可以常维护,做成自己行业专属的,以后所有项目复用。

做词云、情感分析、主题分析,这一步都是地基。


本文由 BBZ · 小朵科技工作室 出品。配套工具:词频统计软件 P01