数据预处理：4 步把 10 万条脏评论变成可分析的干净语料
数据预处理：4 步把 10 万条脏评论变成可分析的干净语料老板们最常踩的坑：拿到 10 万条评论直接跑 LDA，跑出来全是无意义主题。 问题不在算法，在数据——脏数据里 30% 是 URL、@用户、表情、空行、重复行。垃圾进，垃圾出。 我们...
5 个标签
阅读全文 →
记录文本分析、自然语言处理、可视化领域的实战经验与工具心得
数据预处理：4 步把 10 万条脏评论变成可分析的干净语料老板们最常踩的坑：拿到 10 万条评论直接跑 LDA，跑出来全是无意义主题。 问题不在算法，在数据——脏数据里 30% 是 URL、@用户、表情、空行、重复行。垃圾进，垃圾出。 我们...