像抖音这种,推荐的都是我未看过的视频,通常的做法是服务器会维护一个我已经看过的记录吗? 如果我看过 1 万个视频,那不是一个账号要关联 10000 个记录。还是其实有更简单的做法呢?
1
klo424 9 天前 3
历史记录是肯定存在的,抖音推荐算法我就不懂了。
|
2
cherbium 9 天前 1
啊、抖音一直都保留你的查看记录啊
|
3
kenneth104 9 天前 1
现在有向量数据库,用这个应该可以达到类似效果
|
4
feikaras 9 天前 via iPhone 2
你猜抖音有多少条视频,就算不维护你也刷不到一样的。维护甚至可以走客户端本地。
|
5
mumbler 9 天前 1
抖音给每个人维护了一个超过 3000 个参数的模型,根据记录不断训练这个模型,记录列表是模型的一部分
|
6
falcon05 9 天前 via iPhone 1
这不是理所当然的吗
|
7
coefuqin 9 天前 1
在你本地客户端走 KNN ,记录也在你本地,以现在手机的算力,类似余 sqlite 的轻量关系型数据库,随便存。
|
8
CKR 9 天前 via iPhone 1
有小概率刷到重复的视频,(也可能是之前缓存的视频)你用多个设备的时候就会发现有时候会给你推送重复的视频。
例如一个视频你在手机上刷过了,过几个小时换 ipad 打开抖音有可能会再次刷到这个视频。 |
9
Foxkeh 9 天前 6
B 站经常刷到看过的[手动笑哭]
|
10
summerwar 9 天前 2
本地存下你的观看记录,你开始看一个视频时,后台加载下一个,与记录比对,看过了秒切第三个,你根本感觉不到
|
11
june4 9 天前 1
在知乎推荐页面会刷到以前看过的,甚至评论过的条目,可能知乎列表有个上限
|
12
loli 9 天前 1
youtube 推荐看过的比没看过的还多.无语了
|
13
go522000 9 天前 1
可以用你手机本地资源去计算。
远程在你刷视频的时候,会提前加载后面 5 个视频列表过来,当推荐过来的列表中有 1 个或 2 个与你本地最近 1000 条比较后相同,就直接跳过,不影响,这样远程服务器需要计算你的爱好就可以,不需要去计算你的浏览记录。 |
14
tetora 9 天前 1
还是不够人性化,经常给我推看过的(换两个人再演一遍同样的剧情)
|
15
Dk2014 9 天前 via Android 1
|
16
NoOneNoBody 9 天前 1
抖音怎么做不知道,但我做的话 ——
最简单的话就存存 10000 个整数 id 就够了,并不是什么难事 实际上存的要更详细,不仅存你看了什么(what),还会存时间(when),设备和 ip(where),通过什么方式到达该视频,观看时长、是否评论、点赞……(how),who 就是帐号,why 就是推荐算法的缓存 复杂度 how 权重最大,how 细分项目越多,画像越容易推算 不然老是听说上亿数据量怎么来的? |
17
Kakarrot 9 天前 1
我更想让抖音不要推送"已浏览过内容相似 80%+"的视频...
如果能不推送"AI 自动配音/生成"的最好了 |
18
lixiaobai913 9 天前 1
苹果和安卓双持就知道了,同一个账号不同的时间会刷到同一个视频
|
19
loveumozart 9 天前
你得找 data 部门的 gofeed 算法工程师给你讲解,我猜这不是服务器工程师该解决的问题
|
20
Yuan2One 9 天前
bitmap 布隆过滤器,面试老问,就是不知道是不是真的这么算的
|
21
opengps 9 天前
只是存一个 id ,评论都不限制你,你看的 id 再多也算不上多少存储成本
|
22
gooddayup 9 天前 10
作为字节内非抖音员工我可以提一下
是的,这个是推荐系统的去重环节,大致原理是以用户 uid 或 deviceid 为 key ,保存用户 N 天以内的观看记录,value 就是服务端或者客户端下发过的内容 id ,因此分别有服务端去重和客户端去重。大家偶尔会刷到重复的内容 id ,其实是不同人发的相似内容,在内容库里面对应不同的内容 id ,因此也有相似内容过滤,但偶尔会有 badcase 。 顺便提一下将去重 N 天缩小,比如从 90 天变成 30 天这种,会提升用户的停留时长,感觉大家还挺喜欢看重复的内容的,不过过短就不好了。 |
23
mwuxlcanrh 9 天前
去重是推荐系统的基本操作,你看过的都是排序靠前的,不去重就永远循环了。
|
24
seers 9 天前
应该是存本地,我手机和 pc 浏览器特意尝试过训练不同风格,结果就是同一个账号手机和 pc 推荐的完全不一样
|
25
wwqm2 9 天前
我有刷到过同样的视频,同一个号同一个设备,还不只一个相同的视频,而是一连串都看过的,估计是遇到 bug 了
|
26
leconio 9 天前 via iPhone
如果你的喜好向量小于向量视频的增量就不会重复了,如果小于,就调整方向。单独去做去重是没有意义的
|
27
PopRain 9 天前
我很少刷视频,但是微信视频经常刷到重复视频
|
28
JohnSwit 9 天前
肯定会有的,抖音里面有个功能就是观看历史,你点进去就能看到所以你看过的视频
|
29
akira 9 天前
直接按照概率计算一下 这个概率基本上就可以无视了
|
30
hafuhafu 7 天前
我遇到过好几次,在很久之后,推给我看过的视频,甚至顺序都一样。
|