V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
ARMILKCHEN
V2EX  ›  程序员

想问下大佬们、近实时将 kafka 数据转存到 hive 中有什么比较好的方案?

  •  
  •   ARMILKCHEN · 2022-12-08 18:09:19 +08:00 · 877 次点击
    这是一个创建于 501 天前的主题,其中的信息可能已经有所发展或是发生改变。

    想实现程序跑完将数据插入 kafka 中某个 topic 、可以自动备份到 hive 表里、有什么比较成熟可靠得方案吗?

    3 条回复    2022-12-10 16:11:50 +08:00
    darrh00
        1
    darrh00  
       2022-12-08 18:17:14 +08:00
    flume 配置一下就可以了吧
    ARMILKCHEN
        2
    ARMILKCHEN  
    OP
       2022-12-09 18:03:59 +08:00
    @darrh00 flume 确实可以实现、但如果想复杂一点比如
    插入往一个 topic 名为 user 对应的是往 hive user 表去下沉数据,我不确定 flume 能不能动态实现这样的效果
    azkaban
        3
    azkaban  
       2022-12-10 16:11:50 +08:00 via iPhone
    flink 写啊
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   5345 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 25ms · UTC 07:15 · PVG 15:15 · LAX 00:15 · JFK 03:15
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.