有没有这样一款队列

[hiboshi]

子节点服务器上面写入，然后推送到 master 节点统一处理。

比如有 100 台服务器 ，写入消息，然后这 100 台服务器推送到 master 节点。然后 由 master 消费

[Kilerd]

redis.

slave 写，master 读.

done, next one, please.

[hiboshi]

@Kilerd redis 中 slave 写入的数据能同步到 master ？

[fwee]

etcd

[Kilerd]

@hiboshi 用同一个 redis 就好啦。

[hiboshi]

@Kilerd 因为服务器在全球各地，国际带宽的各种阻塞，这延时 出错率太高，还是放本地妥当。

[hiboshi]

up

[whywhy36]

你的需求感觉用一个单独的 queue 就可以了

假如你可以容忍数据丢失，Redis 就可以了。假如不能容忍，可以考虑 RabbitMQ 或者 etcd,不过取决于你消息的大小。两者感觉都是对于相对较小的消息比较友好。

或者直接上 amazon 的 SQS

[hiboshi]

@whywhy36 本来是一台 消息队列就可以，但是目前来看，这 100 台服务器 存在 全球 ，肯定会有国际带宽波动影响，阻塞的。

[Lax]

感觉你这个 master - slave 的叫法弄反了，远端做写入端，它们就是 master，相对的被同步到的端是 slave。
这种多 master-单 slave 的方案，redis 本身不支持，可以写一个脚本全读回来写到中心的队列里。
因为 redis 队列读出来之后就删掉了，自己写脚本的确认到达代码复杂。
RMQ ／ Kafka 都有确认到达的同步工具，比较成熟，不过运维复杂性高于 redis。

[vingz]

这是 producer 和 consumer 模型，任何一款消息队列都可以满足需求，可以去看看 kafka

[hiboshi]

@Lax 有想过用这种 多主到单个 slave 但是没有实践过不知道能不能行，另外还想过，在主服务器端去 主动拉取也想过，但是目前更倾向于 消息队列本身能够解决。

[hiboshi]

@vingc723 是消费者和生产者关系，但是问题不在这里，而在于 ，如何把存在很多地方的消费者和生产者的队列（ 100 台服务器中），同步到一个地方。

[Lax]

@hiboshi
redis 另一个比较坑的是同步机制，如果中断时间长会触发全量复制，如果网络本来就差这无疑是雪上加霜。因此没有脱离这个机制作同步都不太靠谱。
kafka 同步是依赖记录的 offset，中断后还能从断点继续。不太方便的是要把记录 offset 的 zookeeper 暴露出来，你提到这种场景好像问题不大。
有个 Kafka MirrorMaker 你可以调研一下。https://cwiki.apache.org/confluence/pages/viewpage.action?pageId=27846330

[msg7086]

自己写一个不行吗……

for redis100 in 100 redis servers:
.. len = redis100->llen()
.. data = redis100->lrange(0,len-1)
.. redislocal->rpush(data)
.. redis100->ltrim(len, -1)

还有一种比较难看的 workaround，就是用 MySQL 的 Multi-master replication，中心节点开 100 个 slave 从世界各地读数据。队列表不要用 auto_increment 的主键，避免多主写入数据时产生唯一性冲突。世界各地的程序用不冲突的 uuid 来做主键。不太好看，但是很可靠。master 上的历史数据可以通过 SET sql_log_bin = 0; DELETE WHERE UUID = x; 做本地删除。

[hljjhb]

kafka

uber 有开源针对这种情况的 mirrormaker 改进

https://github.com/uber/uReplicator

[hiboshi]

@msg7086 第一个考虑过，但是觉得麻烦，想通过架构解决，而且还要开启 ssl 又要弄 stunnel ；实在不行只能这样搞了。

[hiboshi]

@hljjhb 我看下 不过 kafka 可能有点大了。

[hiboshi]

@Lax 好的 我看看