这是一个创建于 206 天前的主题，其中的信息可能已经有所发展或是发生改变。
公司也要搞所谓的数据中台了，想少踩几个坑，向 V 友们请教学习
55 条回复 • 2024-06-13 01:30:38 +08:00
 |
1
murmur 206 天前
你们有啥数据要搞中台啊，这玩意不就是把各种数据库还有数据分析工具揉一起么
叫中台的关键是要做数据治理，很多数据要统一管理统一提供，做不到这个就别中台了 大数据有大数据分析，中台更侧重一个管 |
 |
2
menyuguren 206 天前
微服务 分布式 基本都是这些玩意，上个东家做过一个
|
 |
3
xieshaohu 206 天前
中台最终要的是数据开发治理工具+结合业务现状和数据使用场景的数据治理方法论，在这里面工具反而是次要的。
|
 |
4
id4alex 206 天前
中台？ 就是阿里吹的中台？
|
 |
7
yimiaoxiehou 206 天前  13
版本严重滞后，不过是好事，搭中台花一两年，拆再花一两年，这三四年工作稳了.jpg
|
 |
8
awalkingman 206 天前
怎么的技术架构？ 怎么的？
|
 |
9
zhuwd OP @yimiaoxiehou #7 请教大佬现版本都是怎样做数据分析和管理的，有什么好的实践思路吗
|
|
10
zhuwd OP @awalkingman #8 错别字，手滑了😂
|
 |
12
hshe 206 天前
我这里的中台是 springcloud+es （聚合结果输出）+spark(计算引擎）
页面通过各种拖拉拽生成数据清洗分析作业 |
 |
13
iphantom 206 天前
@zhuwd 『是要做数据管理，收集汇总集团各二级甚至三级子公司业务数据，然后做分析和治理』？ 你管这个叫数据中台？ 数据集市 数据仓库 是不是更合适 随便收集把 水到桥头˙自然直
|
 |
14
meiyiliya 206 天前 1
我司用的 dataworks + quickbi ，前者就是从某几个地方抽数据、然后进行数据分析、再将底层数据汇总提供更高层次的数据，后者就是把前者汇总的数据进行展示，对业务开发来说基本零负担，就写普通 SQL 差不多，报表就低代码拖拉拽，权限管控也很好，每个表都要申请 select 权限不说还需要按字段维度申请。
|
 |
15
fine886 206 天前
我觉得一楼的兄弟说得对，中台更侧重一个管理。对比传统数仓来说，页面更方便普通人员操作，我们公司现在的中台是把所有的表结构通过平台管理，通过平台可以实现表的创建、删除、修改等。表结构是统一从业务系统抽取上来，之后可以选择建不同类型的表，hive 也好，MySQL 也好，都可以通过平台创建。字段分为内部字段和外部字段池。脚本也是在脚本管理里面统一管理，被一个所谓的"过程"所调用。所有业务系统的数据库地址，密码等统一放在数据源管理下面，方便被脚本和过程引用。其余的功能就是数据稽核，监控平台，查看日志，调度平台等。调度平台直接就是调用的 dolphinscheduler 组件，通过 dolphinscheduler 的调度功能统一调用平台创建好的所谓的"过程"来实现自动化流程。
|
 |
16
brant2ai 206 天前
有没有做非结构化入湖的案例诶
|
 |
17
chendy 206 天前
刚被折腾完，现在汇报材料里已经禁止出现中台字样了
|
|
18
zhuwd OP @iphantom #13 叫数据中台确实是有点勉强，毕竟是领导定义的我们也就这么叫了。数据收集只是第一步，然后要清洗和分析，也要做一些开放接口提供给其他业务系统
|
 |
22
Simle100 206 天前 1
现在还有吹中台的呀？我前些阵子接到售前的最新消息是：中台已经成过去式了，现在大家开始讲 AI 、大模型，这些成了拿下项目的关键因素。
|
 |
23
monkeyfx 205 天前
18 年在某大厂做数据中台，但是没搞几年就开始拆中台了，现在提中台这个概念的确有点 49 年入国军的感觉。
|
 |
24
yingqi1 205 天前
推荐看一下 Fundamentals of Data Engineering, 有一个章节说如何开始搭建仓库/数据管理等，怎么才能少踩坑，针对不同公司有什么最佳实践。
|
 |
25
haisua 205 天前
我接触过一些数据类系统（本人产品岗），在我看来，啥架构都问题不大，经验教训是更多在于数据源的规范整理，数据清洗问题。只要数据处理干净了，后面怎么折腾都行。就不说大公司多业务线了，很多小公司就那点数据源都乱七八糟的。
|
 |
26
A555 205 天前
公司中台团队都砍了
我就是被砍的 |
 |
27
Finder2023 205 天前
@monkeyfx 能请教下拆中台是怎么个拆法，这是必定会经历的生命周期吗
|
|
28
murmur 205 天前 1
|
 |
29
whp1473 205 天前 1
数据中台本身模块：数据集成、数据开发、数据运维、数据服务、算法开发、数据治理、数据安全、数据可视化，背后可能还会有大数据集群，涉及技术主要是：SpringBoot 、SSM 、Zookeeper 、Netty 、以及各种数据源 JDBC 处理，DAG 调度处理，SQL 语法解析，得熟悉各种引擎的特性和指标数据的采集，还有一些数仓的知识，其实就像个模型汇总、数据汇总、元数据汇总、任务和监控汇总、可视化汇总的地方— —
|
|
30
monkeyfx 205 天前 1
@Finder2023 从我的角度来看，单说数据中台这件事情，对于体量较大的公司来说，是有必要的。所谓中台这个概念，是企业级的能力复用平台，数据中台就是把数据当作资产集中管理使用，所以有了数据资产部这个组织。但是你要考虑到中国国情，分久必合合久必分，都是为了自己的功劳，要不然也不会有那么多重复建设的事情。至于说拆中台就非常简单了，根据自己业务特性挑挑拣拣就好。
|
|
31
Finder2023 205 天前
@monkeyfx 感谢回复，比方前司所在的数据中台组，是源 BI 组经历多次拆分出的结果，相比于一个系统拧全部的大头，分为 ETL 数据清洗 -> 数据统一管理的中台 -> 提供业务支持的后台（例报表可视化分析）无可厚非，是公司统一管理数据资产和提供业务支持不可避免的过程。我的理解比较浅薄，既然中台涉及到企业级（体量较大的）的能力复用平台，应该是属于基建范畴，对于我们开发个人来说，这种项目组的不稳定性和风险在哪呢，如何像答主所说的 49 年入国军的描述
|
|
32
murmur 205 天前
|
|
33
Finder2023 205 天前
@murmur 恍然大悟，感谢回复🙏
|
 |
34
xwayway 205 天前
@zhuwd #5 哈哈，和我们公司一样诶。我们目标是这个，然后搞成了数据仓库 + 大屏。然后加各种审批流，分成内部数据和对上级集团上报数据。现在还在苦苦挣扎，全力奋战 6.30 节点。
|
 |
35
28Sv0ngQfIE7Yloe 205 天前
数据监控，埋点、调度、hive+ hadoop + 加密 + 数据权限 + 元数据管理 + olap + 查询工具+可配置的报表系统，基本就这些东西，大差不差
|
 |
36
migu 205 天前
啊？我们早上也刚说要弄，这大数据也太夸张了（开个玩笑
不过我们小公司，做的也是小项目，涉及不了太复杂的东西，这篇帖子先狠狠的 mark 了 |
 |
37
wanqiangcrack 205 天前
现在都没人做中台了，现在是做数据治理。
|
 |
38
SmartTom 205 天前
datax
|
 |
39
xueling 205 天前 2
首先我觉得有些朋友可能有两个误区，我说一下我的理解。
1 、阿里拆的中台更多的是”业务层面上的中台“，比如将很多业务的下单功能、订单列表查询功能、列表推荐功能、购物车功能等统一成中台服务，而楼主所说的数据中台是”技术层面的中台“，所以严格来说这里的”中台“并不是一个概念。 2 、数据中台是不是只围绕着数据的统计分析方面功能？不是。这只是它的一部分功能，从概念上来讲，使用一些实时、离线、OLAP 框架搭建起的数据统计分析任务或接入一些 BI 工具，是不能称它就是数据中台的。 数据中台的功能主要有三类：一是业务数据治理，二是围绕着业务数据进行的各种实时、离线和即席查询任务的管理、调度和维护，三是数据化运营。 1 、业务数据治理。有些公司将业务数据和业务统计分析类数据都统称为业务数据（比如订单数据和订单的统计分析数据），我觉得这不太合理，因为两者有本质的不同（技术实现方案以及数据应用场景不同），混为一谈其实容易影响数据中台的架构设计。 业务数据治理是提供业务方自身数据的写入(实时或离线)、存储和查询功能，围绕着这些基本功能再衍生出：元数据管理、业务数据清洗、业务表的上下游关系管理、业务表的权限管理等。 还有一个误区，公司要搭建数据中台，那公司目前的技术架构是要推翻重构还是维持不变。大多数情况下是不需要推翻重构的，当然也不能维持一点不变。而是要进行一些”整合“。整合就是梳理出公司内部具有较高共享价值的业务数据，在基本维持他们技术方案不变或微小改变的前提下，将它们的存储库或存储库的镜像库迁移到”中台“当中来，从而减少数据共享过程中使用数据的成本。 2 、围绕着业务数据进行的各种实时、离线和即席查询任务。这一部分的基本功能是建立统一的数据任务调度平台，比如实时（ spark/flink 等），离线(spark/mr 等)和即席查询(ck/hive/doris 等)，应用场景：比如实时画像任务、实时日志接收、订单的多维分析等。这一部分功能又衍生出一些功能，比如统一的消息接入服务、与上面业务数据和下面数据化运营互相打通的业务数据读取、写入和统计指标数据读取、写入的机制。 3 、数据化运营，数据化运营是提供企业运营过程中的各类统计分析指标，技术方案主要有各种实时、离线、olap 方案，这一部分又衍生出统一的埋点服务、数据指标可视化等相关功能。数据化运营可以使用一下我的开源框架： https://github.com/xl-xueling/xl-lighthouse ，可以减少很多实现成本。 |
 |
40
wohenchang 205 天前
现在数据量都不大，叫中台就是一个噱头，跟 ai 一个道理，本质还是一个数据呈现，看板展示的过程。
|
 |
41
Govda 205 天前
啊 这风不是都吹走了吗
|
 |
42
huBane 205 天前
中台就是一个噱头，当前公司跟风搞过失败了，留下一堆乱摊子。
|
 |
43
wa007 205 天前 1
中台是为了降低新业务接入的成本，但随着行业走下坡路，新业务变少，中台的意义自然就降低了。
|
 |
44
he123 205 天前
产品分为离线和实时，
数据的离线同步和实时同步，入湖等 基于 flink spark 对同步的数据做计算，分析，提供各种报表，业务分析决策依据 元数据的管理，如血缘解析 代码结构 平台层 调度层 计算引擎层 |
 |
45
lambdaq 205 天前
中台中台，一中一台，这玩意核心的是面向岗位安全编程。怎么耦合怎么来，最好全公司最赚钱的流程都套上。这样没人敢开你。
|
 |
46
hui9000 205 天前
看公司有多大的投入了
对于老板来说就是想看各种报表还有数据大屏。基本上 90%的公司做到这就截止了。 逻辑来说就是将业务数据汇总到数据中台中进行计算、展示、输出等 数据汇集包含离线的+实时的。 离线的：数据抽取工具 sqoop+HDFS+Spark+Hbase |
|
47
hui9000 205 天前
实时的：springcloud+kafka+flink+ClickHouse
|
 |
48
lizy0329 205 天前
你知道数据中台是干什么的吗？
|
 |
49
joetao123 205 天前
我们的方案是数据同步使用 datax ，数据存储和计算使用 cdh 的 Hive 和 Spark ，前端有可视化拖拽开发，生成开发任务，也就是 Hive SQL ，最后是将 Hive 中的数据导出到 Mysql 或者 ES 提供数据订阅服务。系统中也实现了 DAG 的任务流调度功能，用来调度数据采集、数据加工和数据导出任务。
|
 |
50
tangv2 205 天前
反正没个几年搞不定，赶工的都一堆 bug
|
 |
51
009694 205 天前
你们这风吹的延迟太大了。。 差不多是十年前的概念了 现在这个概念连阿里自己都不提了 不用了
|
 |
52
LeegoYih 205 天前
去中台中。。。
|
 |
53
tangqiu0205 204 天前
49 年入国军，18 年那会比较流行，现在都在去中台化吧。
|
 |
54
dododada 204 天前
现在搞的是数据要素化，数据集市，这东西是政府牵头，大数据局+网信+通管+其他部门+企业搞的；
中台没见过，但是数据治理，首先你得有数据才行，你有异地多活么？你的多机房同步流量跑满 200G 带宽没？你量这么大，数据资产都散落在哪儿你知道么？哪些数据是有用的哪些是垃圾怎么分 这个活儿以前我们是属于运维中心的数据部门搞的，主打一个绩效无关，因为实在是不好弄。 |
Select Language