cn.hutool.core.text

类 Simhash

java.lang.Object

cn.hutool.core.text.Simhash

public class Simhash
extends Object

Simhash是一种局部敏感hash，用于海量文本去重。
算法实现来自：https://github.com/xlturing/Simhash4J

局部敏感hash定义：假定两个字符串具有一定的相似性，在hash之后，仍然能保持这种相似性，就称之为局部敏感hash。

从以下版本开始:

4.3.3

作者:

Looly, litaoxiao

构造器概要

构造器

构造器和说明
Simhash() 构造
Simhash(int fracCount, int hammingThresh) 构造

方法概要

方法

限定符和类型	方法和说明
boolean	equals(Collection<? extends CharSequence> segList) 判断文本是否与已存储的数据重复
long	hash(Collection<? extends CharSequence> segList) 指定文本计算simhash值
void	store(Long simhash) 按照(frac, )索引进行存储

从类继承的方法 java.lang.Object

clone, equals, finalize, getClass, hashCode, notify, notifyAll, toString, wait, wait, wait

构造器详细资料

Simhash

public Simhash()

构造

Simhash

public Simhash(int fracCount,
       int hammingThresh)

构造

参数:

fracCount - 存储段数

hammingThresh - 汉明距离的衡量标准

方法详细资料

hash

public long hash(Collection<? extends CharSequence> segList)

指定文本计算simhash值

参数:

segList - 分词的词列表

返回:

Hash值

equals

public boolean equals(Collection<? extends CharSequence> segList)

判断文本是否与已存储的数据重复

参数:

segList - 文本分词后的结果

返回:

是否重复

store

public void store(Long simhash)

按照(frac, )索引进行存储

参数:

simhash - Simhash值