jieba 词频统计一直有同学问:为什么「王者荣耀」被切成「王者/荣耀」两个词?为什么「遥遥领先」被拆成单字?
这是 jieba 的默认词库更新不及时导致的,网络新词它不认识。
解决方法很简单——加自定义词典:
jieba.load_userdict("userdict.txt")
|
txt 格式一行一词,带词性和频次:
王者荣耀 10 n 遥遥领先 8 n yyds 5 n |
频次建议给高点(8-10),太低还是会被切散。改完重新跑一遍,效果立竿见影。
词典文件可以常维护,做成自己行业专属的,以后所有项目复用。
做词云、情感分析、主题分析,这一步都是地基。
本文由 BBZ · 小朵科技工作室 出品。配套工具:词频统计软件 P01。