1
vveexx 2019-12-24 12:57:15 +08:00 1
和楼主的场景类似,我们走了 kafka,多生产者,单个消费者
|
2
hdbzsgm 2019-12-24 12:59:38 +08:00 1
简单场景 随便用个单点 redis 做锁喽
|
4
liprais 2019-12-24 13:22:24 +08:00
没这么复杂,每个爬虫自己写自己的文件最后合起来处理就行了
|
6
Leiothrix 2019-12-24 14:33:35 +08:00
用 redis 实现一个简单的分布式进程锁可解,用 lua 脚本保证操作原子性
|