• 请不要在回答技术问题时复制粘贴 AI 生成的内容
zhugezifang
V2EX  ›  程序员

[开源自荐]开源大数据比对平台—dataCompare

  •  
  •   zhugezifang · Dec 16, 2022 · 1311 views
    This topic created in 1245 days ago, the information mentioned may be changed or developed.

    最近因为工作中繁琐的对数需求,我利用业余时间做了一个对数的平台,目前已经开源

    开源大数据比对平台—dataCompare

    介绍:dataCompare 是一个数据库比对工具:支持 hive 表数据比对,mysql 数据比对,实现自动化配置进行数据比对,避免频繁写 sql 进行处理,后续考虑支持 doris 、ck 等等

    亮点: (1)低代码简单配置完成数据比对核心功能

    (2)数据量级比对、数据一致性比对

    (3)差异 case 发现

    后续规划:

    (1)数据指针探测----枚举值探测、范围探测、数值探测、主键取模探测

    (2)数据比对任务定时自动调度

    (3)对比结果自动发送邮件报告

    项目完全是自己一个人独立开发的,说实话已经很久没写前端了,自从工作之后,都快忘的差不多了,希望大家支持,点个 star ,一键三连

    代码全部开源: https://github.com/zhugezifang/dataCompare

    https://gitee.com/ZhuGeZiFang/data-compare

    说说自己为什么要做开源?

    自从进入 IT 行业,很多人都告诉自己,35 岁就要退休了,没有公司要了,先后也待过几家大厂,包括京东、BAT ,也见过不少优秀的技术人员,一直在思考,难道 35 岁就要没公司要了吗?

    说实话,刚毕业的时候,自己也参与一个 Apache 开源项目,也有幸成为 contributor ,后来无论是在求职还是面试中,都或多或少从其中受益。

    如今自己独立尝试开源,包括开发 (前端已经很久没碰了)、写文档、推广运营

    有人会问,做了这么多有什么用呢?那我来告诉你实际的作用

    (1) 对抗 35 中年危机

    (2) 获取外部主动的求职机会 (某 c 轮公司 ceo 主动发来求职机会)

    (3) 获取授课以及讲课的机会 (被邀请在某知名 IT 教育机构授课)

    No Comments Yet
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   1147 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 28ms · UTC 23:05 · PVG 07:05 · LAX 16:05 · JFK 19:05
    ♥ Do have faith in what you're doing.