关键词库过滤重复求方法

𝕷𝖎𝖑𝖏𝖆𝖈𝖐 · 发表于 2022-4-6 22:23:28

马上注册，免费下载更多dz插件网资源。

您需要登录才可以下载或查看，没有账号？立即注册

×

比如一堆词中有艾玛电动车
电动车艾玛
艾玛的电动车
电动车艾玛
这类的词语义是差不多的，所以在生产内容的时候产出的内容大致都是差不多，这类词需要做下去重。

我参照了seo前线莫山的做法，对关键词分词，然后以分词为基点过滤重复。我用c#写了个小程序在处理，开了十几个线程速度还是非常慢，而且很吃内存。。。你们有没有什么更好的方法来从语义上去重？

这个帖子查看人数在涨。。就是没人回帖。。
为了以表真诚，我把我用的代码附上。

关键词库过滤重复求方法关键,关键词,词库,过滤,重复

有没有做过类似的进来分享下方法

©dz插件网所发布的一切资源仅限用于学习和研究目的；不得将上述内容用于商业或者非法用途，否则，一切后果请用户自负。
本站信息来自网络，版权争议与本站无关。您必须在下载后的24个小时之内，从您的电脑中彻底删除上述内容。如果您喜欢该程序，请支持正版软件，得到更好的正版服务。
如有侵权请邮件与我们联系处理:discuz-x@qq.com（手机随时接收邮件）并出示相关证明以便删除。敬请谅解！

TyCoding · 发表于 2022-4-6 22:24:00

太简单了，我不懂

独家记忆 · 发表于 2022-4-6 22:24:49

我们都是要人工过一遍纯程序的话不太行

TyCoding · 发表于 2022-4-6 22:25:06

人工不太现实，几十上百万词库的人工眼睛都看花、我现在这个方法可行只是速度太慢太吃内存了。看有没有更高效的方法

独家记忆 · 发表于 2022-4-6 22:25:57

太简单了，我也不懂

拾光 · 发表于 2022-4-6 22:26:04

Python 结巴分词去重

浅生 · 发表于 2022-4-6 22:26:51

是这个路数。但速度真的太慢了，而且非常吃内存。。看看有没有更高效的方法

IT618发布 · 发表于 2022-4-6 22:27:34

吧汉字转换唯一int数据，内存存int比较，把“的了”这类无意词去掉

TyCoding · 发表于 2022-4-6 22:28:10

类似谷歌simhash算法对吧。。。其实那个更不现实，操作起来很难适应场景

TyCoding · 发表于 2022-4-6 22:29:08

不用那个就是比较int ，simhash意思就int占内存小

关键词库过滤重复求方法

马上注册，免费下载更多dz插件网资源。

相关帖子

电梯直达
评论19

回复

More猜你喜欢

关于我们

服务支持

discuzaddons@vip.qq.com

关键词库过滤重复 求方法

马上注册，免费下载更多dz插件网资源。

相关帖子

电梯直达 评论19

回复

More猜你喜欢

关于我们

服务支持

discuzaddons@vip.qq.com

关键词库过滤重复求方法

电梯直达
评论19