V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
johnzhangbkb
V2EX  ›  程序员

各位大数据开发的兄弟,问个埋点系统的问题

  •  
  •   johnzhangbkb · 313 天前 · 1334 次点击
    这是一个创建于 313 天前的主题,其中的信息可能已经有所发展或是发生改变。

    想了解各位设计埋点上报的时候,我们现在有两种方案。

    1. 代码->kafka->统计分析
    2. 代码->file->logstash->kafka->统计分析

    你们会用哪种方案呢?

    12 条回复    2023-05-21 00:48:55 +08:00
    tensorzhang
        1
    tensorzhang  
       313 天前
    2, 多一层保障。
    levelworm
        2
    levelworm  
       313 天前 via Android
    kafka 之后不进个 datalake 之类的吗?好奇。我没玩过大数据开发,在邻近领域。
    haimianbihdata
        3
    haimianbihdata  
       313 天前 via Android
    要求实时?
    ETiV
        4
    ETiV  
       313 天前
    2

    因为代码直传 kafka 会走网络,而当时如果网络不通、闪断之类的,代码上就要处理缓存、重试等逻辑 —— 不是不行,而是投入精力去写这个没必要…

    而且我们也会在实际场景中碰到「过了 1 、2 天才发现数仓里的数据比之前少了很多」的情况,这时候可以用 2 里面的文件去找补回来。
    Senorsen
        5
    Senorsen  
       313 天前
    2 多一层比较可靠的 buffer ,不过数据盘要设计好,log 的和应用数据 /系统盘要分开。
    johnzhangbkb
        6
    johnzhangbkb  
    OP
       313 天前
    @ETiV 这个场景同时写一份到 file 也能满足吧。主要我们对 Logstash 压测,对系统资源占用还挺大的。
    johnzhangbkb
        7
    johnzhangbkb  
    OP
       313 天前
    @Senorsen @tensorzhang 这个场景同时写一份到 file 也能满足吧。主要我们对 Logstash 压测,对系统资源占用还挺大的。
    coolcoffee
        8
    coolcoffee  
       313 天前
    不应该是先进 kafka ,再转到 logstash 吗?有多少消息都先让 Kafka 承接下来,logstash 按照固定的速率慢慢消化就行。
    proxychains
        9
    proxychains  
       313 天前
    扔到 kafka 吧. 慢慢消费
    vincent7245
        10
    vincent7245  
       313 天前
    第二种,数据分析和业务系统一定要解耦,数据分析时业务的辅助,绝对不能影响业务系统的正常运行。第一种方案的弊端就是,如果 kafka 出问题了,业务系统也会遭殃
    tensorzhang
        11
    tensorzhang  
       312 天前
    @johnzhangbkb #7 申请加机器
    tinyproxy
        12
    tinyproxy  
       312 天前
    1. 时间急,或者没有额外的人力,走 2 ;
    2. 时间不急,做一套 SDK ,把上报过程中可能会出现的各种问题(比如 kafka 出问题,网络出问题等等),都给处理了,然后所有人用这套 SDK 上报数据到 kafka ;
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   3267 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 30ms · UTC 14:02 · PVG 22:02 · LAX 07:02 · JFK 10:02
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.