假设:
1 )有三个相似的物品(之前不知道这三个物品是否相似),A,B,C
2 )互联网中大家总是在同一个主题下讨论 A,B,C
我如何通过分析互联网中的信息,最终获得这三个物品是相似,有类似的编程模型吗,希望大佬赐教,感谢
1
raycool 2021-03-16 23:07:28 +08:00
万物皆可 embedding
|
2
HuLeiY 2021-03-16 23:11:58 +08:00
楼上说的在理 最近也在想这个
|
3
Braisdom OP word2vec 很容易很干扰,而得出的结果离设想的差别太大
|
5
gladuo 2021-03-16 23:18:51 +08:00
基本的,对大量文档切词(实体识别)统计 共现 就可以了
|
6
gladuo 2021-03-16 23:26:17 +08:00
有监督的话(如果有一些 doc,里面标了 A B 以及 A B 是相似的),这个任务也许可以看做一个类 Corefrence 的任务,也有一些常规做法,mention 的识别 + coref 的分类判定;
总体而言 NLP 的任务强依赖于数据和场景,微小的场景和 performance 要求变化,可能合适的方案完全不同 |
7
ljpCN 2021-03-17 01:39:48 +08:00 via iPhone
transformer 吗 bert 吗
|
8
ljpCN 2021-03-17 01:40:45 +08:00 via iPhone
attention 机制似乎符合你说的“不是漫无目的地学习”,可以去了解一下 bert
|
9
ljpCN 2021-03-17 01:41:03 +08:00 via iPhone
attention 机制似乎符合你说的“不是漫无目的地学习”,可以去了解一下 BERT
|
10
ljpCN 2021-03-17 01:41:42 +08:00 via iPhone
怎么相同内容连发了。。
|
11
DoctorCat 2021-03-17 02:07:18 +08:00
SimHash
|
12
kaiju 2021-03-17 02:29:33 +08:00
语言学中有一个 distributional hypothesis,是说如果两个词它们出现的 context 相似,那么它们的意思一般也相似
这个也是 word2vec 和更古老的 brown cluster 之类的东西的理论基础。 但是需要注意的是相似不代表一样。比如说代表月份的几个词 January, Feburary, etc, 它们出现的 context 相似,意思相似,但含义不是一样的。 |
13
mumbler 2021-03-17 05:03:58 +08:00 via Android
首先要有足够大的语料,用需要分析的词汇,计算相互之间的词向量距离,最后统计每个词向量最近的词,那就是相关的,阈值需要不断调
|
14
yzbythesea 2021-03-17 07:41:55 +08:00
这不是 top modeling 吗?有很多算法啊,LDA,LTSM 等等
word vector 感觉只能做一个 feature engineering 吧 |
15
yzbythesea 2021-03-17 07:42:11 +08:00
topic modeling*
|
16
Braisdom OP |
17
RingoTC 2021-03-17 10:17:51 +08:00
@Braisdom 这大概是因为 word2vec 学到了共现关系,因为共现关系是比 semantic 更好学的。如果不想让 word2vec 学到这种共现关系,直接把 A 、B 、C 用统一特殊字符替代掉,或许会有效。
|
18
Braisdom OP @RingoTC 你的想法倒是一个好想法。
如果将 A,B,C 进行唯一性 hash 处理,在所有文档中可以通过固定的规则检索,通过周围的词进行预测,只获取符合规则的的词。 |