做评论去重、问答匹配、推荐系统,都得算文本相似度。
常见三种:
余弦相似度(Cosine)
- 原理:两个向量夹角的 cos 值
- 适用:TF-IDF、BERT 向量都通用
- 速度:快
- 缺点:完全不懂语义,「手机」和「电话」相似度是 0
Jaccard
- 原理:交集 / 并集
- 适用:短文本、关键词集合
- 速度:极快
- 缺点:长度敏感,长文本失真
编辑距离(Levenshtein)
- 原理:把 a 变成 b 最少改几处
- 适用:错别字检测、近重复评论
- 速度:慢,O(mn)
- 缺点:中文分词后才能用,分词错就废
实战经验:
- 评论去重:Jaccard + 编辑距离组合用
- 问答匹配:余弦 + BERT 向量
- 关键词对比:Jaccard 一把梭
没有银弹,看场景选。
本文由 BBZ · 小朵科技工作室 出品。