这是一个创建于 630 天前的主题，其中的信息可能已经有所发展或是发生改变。
如题：
- kafka 创建上 w 个 topic ？ 听说 3000~4000 个 topic 会开始影响到 kafka 的性能
- 如果创建上 w 个 分片？我害的维护每个设备和分片之间的关系
- 由于 kafka 是基于 pull 模式的，现成的 consumer 需要手动改造（启用协程并发 pull ）
- 是不是使用要给大 topic ，然后自己实现 分发 更好呢？有什么开源分发中间件推荐么？
 |
1
XJohn 2023-03-08 08:09:40 +08:00 via iPhone  1
如果你说的是 iot 设备，一般会使用基于轻量级 MQTT 协议的 MQ ，设备和 sever 之间维护长连接通信。
如果不是 iot 设备，你可能需要考虑清楚你的场景到底是啥，走 MQ 的方式是不是伪解决方案 |
 |
2
julyclyde 2023-03-08 09:08:41 +08:00 1
既然这么多不好，你为什么要用 kafka 呢？
不能先定结果再论证理由 要根据需求去选方案 你的问题应该是： 订阅上万个设备，应该选哪种消息队列 |
 |
3
tairan2006 2023-03-08 09:12:25 +08:00
外围一般是 emqx 连接，消息可以重定向到 kafka 里
|
 |
4
swulling 2023-03-08 09:17:09 +08:00 via iPhone 1
如果是上万个设备，大 topic 统一消费会好一些。倒也不是都放到一个 topic 中，根据设备类型以及消息类型分 topic ，从而控制消费优先级。
如果设备数太多，也可以对同一个 topic 进行 hash 分片分成多个 topic 。 |
 |
5
superliy 2023-03-08 09:25:33 +08:00 1
Kafka 一个 topic 对应一个文件，大量 topic 意味着大量的文件，大量的文件切换是不是等于随机读写了
|
 |
6
2018yuli OP 不是直连 iot 设备，而是 emqx 后面的消息处理中间件。
|
|
7
2018yuli OP 感谢，我觉得我又会了
|
Select Language