这是一个创建于 1553 天前的主题，其中的信息可能已经有所发展或是发生改变。
场景是有一个字符串的集合，集合中元素是类似"id!时间 1，数据项 1&时间 2，数据项 2&时间 3，数据项 3……"的字符串，id 后面的以'&'分割的内容数量不一定，数据项一共有 5 个值。
现要求集合中两两元素之间的相似度，数据量大概是 50W 。
算法是只要两个 id 数据项相同，时间在给定阈值内就算相似，按一定规则给一个相似分。等两个 id 的所有时间和数据项比对完毕，把这些相似分加一块，就是这两个 id 的相似度。
最后结果格式为"id1，id2，相似度"
现在用 spark 的 cartesian 算子算笛卡尔积，很慢，而且最后没跑出来。
不知各位有什么好的办法，在此先谢过。
第 1 条附言 · 2020-09-28 11:32:24 +08:00
数据项包括五种值(a,b,c,d,e)
将(时间+数据项)作为一个组合的话，整体是 id + 多个组合
将(时间+数据项)作为一个组合的话，整体是 id + 多个组合
 |
1
zxCoder 2020-09-28 11:08:00 +08:00  1
以'&'分割的内容数量不一定，数据项一共有 5 个值
没看懂 |
 |
2
chocovon 2020-09-28 11:58:23 +08:00 1
不懂笛卡尔积在这里的作用……这个相似度直接用欧式距离表示也行吧？
|
 |
5
volvo007 2020-09-28 12:38:32 +08:00 1
感觉就是一个 自连接的 out join 之后，对每个组合计算相似度就好了……
|
 |
6
lidlesseye11 2020-09-28 14:47:37 +08:00 1
不懂 spark，随便说下简单粗暴的思路抛个砖。。
把数据遍历一遍，整成 Map<数据项，ChronologicalSortedList<Time_Id_Object>> 这样的，然后遍历 Map 就行了 当然这样会加载所有数据占不少内存。。内存不够的话就多遍历几遍，一次只处理一个数据项。。 |
 |
8
qqq8724 OP @lidlesseye11 单是数据可以放到内存中，但是当数据自身去匹配的时候，数据会膨胀到很大
|
Select Language