V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
liuidetmks
V2EX  ›  问与答

统计类需求把代码弄的乱,How do yo do ?

  •  
  •   liuidetmks · 143 天前 · 1484 次点击
    这是一个创建于 143 天前的主题,其中的信息可能已经有所发展或是发生改变。

    你们是怎么处理的?

    15 条回复    2022-01-01 03:29:31 +08:00
    LowBi
        1
    LowBi  
       143 天前 via Android
    同求解,目前就是这一块 SQL 那一块 SQL ,把结果返回前端
    gaobh
        3
    gaobh  
       143 天前
    maltoze
        4
    maltoze  
       143 天前
    ikaros
        5
    ikaros  
       143 天前   ❤️ 1
    I'm fine, thank you and you?
    liuidetmks
        6
    liuidetmks  
    OP
       143 天前
    @kappa why so serious ~
    oneisall8955
        7
    oneisall8955  
       143 天前 via Android
    数仓出,没有条件就新开项目专门做统计,跑 job 等
    ETiV
        8
    ETiV  
       143 天前 via iPhone
    把分析类的工作迁移进 BI 工具,比如 metabase

    然后使用 terraform 管理各种 sql 查询和面板,比如 https://registry.terraform.io/providers/bilenkis/metabase/latest/docs
    CEBBCAT
        9
    CEBBCAT  
       143 天前
    没看懂啊,统计类需求写起来很恶心没错,但怎么会把代码弄乱呢?
    zhazi
        10
    zhazi  
       143 天前
    报表业务一般都是无视建模。透视数据。所以通过封装 view object 直接写 sql 展示即可
    如果在报表业务中涉及汇总 聚合 各种函数建议做数仓
    dji38838c
        11
    dji38838c  
       143 天前
    How do yo do
    Senorsen
        12
    Senorsen  
       143 天前
    数据量大,就上 Flink Spark 等跑 BI 的 SQL
    数据量小,就用 metabase 接上 MySQL 从库建报表
    sujin190
        13
    sujin190  
       143 天前   ❤️ 1
    中小型项目这个问题真挺难解的,实际项目中,统计需求基本难有规划,基本需要啥你就给我出啥,这个主要还是一般产品似乎都搞不定这个,运营知道要啥数据但是基本也搞不定组织规划的问题,大多数公司基本又觉得专门的数据开发岗多余,确实不好解决,此外不重视自然研发这边难有统一规划,比如写个脚本不管出错重入啥的,所以啊,想要做的好,就得重视按正常产品流程来,独立的数据统计项目,不仅看眼下需求,要做良好得分层设计,完善的出错恢复监控流程

    其实统计和正常产品两个逻辑是很不一样的,不应该在同一套数据表上实现两个逻辑,当然很多人觉得平时需求开发都完不成,哪有功夫仔细规划,其实如果仔细想想看的话就发现这个并不会花很多功夫,数据只要做好了数据拆分重组的逻辑,剩下基本都是数据同步的过程了,逻辑简单很多,平时多注意点,慢慢 bi 的逻辑也就建立起来了,否则就只会越来越乱

    之前我们的项目也这样,简直坑死,搞到后面数据需求多了,感觉一大半时间都是在导数据,太折腾人了,但是慢慢注意了一些,其实好很多,之前做过一个项目,用 json 来定义数据同步计算过程,其本身也限制了一次只能同步一层的数据,既是限制也是规范,算是参考吧

    https://github.com/snower/syncany
    yjs778
        14
    yjs778  
       143 天前
    I’m fine. thank you, and you?
    Samuelcc
        15
    Samuelcc  
       142 天前 via Android
    可以尝试直接打到日志里然后进行异步日志解析收集统计
    关于   ·   帮助文档   ·   API   ·   FAQ   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   1689 人在线   最高记录 5497   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 30ms · UTC 17:07 · PVG 01:07 · LAX 10:07 · JFK 13:07
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.