1
lambdaq 117 天前
脏活儿就是这样了。你想容易,那得加钱。
|
2
TimG OP @lambdaq 只是觉得目前了解的程序不太适合处理这类问题,openrefine 也看了一下,好像也是针对列处理的,还得学习就不如继续用 SQL 了。这种需求想想也不算少,应该在我认知之外有合适的程序吧。不行就只能扩写那个 C#程序了......
|
3
renmu 117 天前 via Android
pandas 处理,没必要一口气处理完,分而治之
|
4
TimG OP @renmu 确实是这样,可以按照反馈数据的最小单元去拆分,导出成清洗完成和未完成两个文件夹,然后每次遍历未完成的文件夹,有新数据就替换掉未完成文件夹的旧数据。很有启发,谢谢。
|
5
wxf666 117 天前
为啥看第一行需求,觉得用纯 SQL 写,也没啥难的呢。。
可以给几行数据(敏感数据用其他字符串代替就好)看看吗? |
6
NoOneNoBody 117 天前
@wxf666 #5
刚遇到一个,你看看, 数据目标意义为日期 年月日 日月年 月日年 6 位数 7 位数 8 位数 4 位数:只有年、或只有月日 2 位数:年龄 23.3.24 或 11.12.13 (搞不清年月日分别是哪个) …… 以上情况混杂都有 |
7
wxf666 117 天前
|
8
NoOneNoBody 117 天前
@wxf666 #7
肯定是逐个 case 处理 我的意思是 sql 做这个是挺难的,不如 pandas 当成字串用正则,可以用向量或者 numba/c++处理 至于那些逻辑不对的,只能先转 8 位,并打 tag“日期异常”交给下家判断,清洗人员只做基础逻辑判断,数据实际意义也做判断就是“僭越”了 那些异常数据其实可以猜测,就是原始记录是有入库时间的,可以通过入库时间计算,只是人家本来就没有日期查询和展示的需求,可能只有月日或者年龄的需求,所以入库时就顺便变了形式,汇总(采集)时不会去拿那个入库时间,自然格式就不对了 |
9
512357301 117 天前
SQL 做起来也不难,只不过 postgresql 或者 MySQL 不适合数据清洗,你得找列式数据库,比如 clickhouse 之类的。
编程思维,那就用 pandas 或者类似的代码框架实现。 数分思维,肯定直接上 SQL ,Python 之类的编程语言只是帮忙拼接 SQL ,调度 SQL 而已。 具体看你的倾向。 |
10
TimG OP @512357301 感谢回复。我查到 clickhouse 不擅长更新数据,文档中也写明 update 是繁重操作。不过就原理上如果只查询+修改同一列,效率应该比行式数据库更高的。因为数据清洗势必牵扯到大量数据更新操作,不希望在这里产生意外。如果列式数据库在这方面不自信,我还是用回传统方法跟稳妥一些。
|
11
noqwerty 117 天前 via iPhone
能接受 pandas 处理的话建议看看 polars ,API 更符合直觉,速度也远比 pandas 快
|
12
TimG OP @wxf666 如您所说,只用 SQL 确实可以解决问题,但是难以迅速定位错误。这个项目的时间其实大部分会花费在打回数据重新收集这里,所以迅速的发现数据问题、修复可以修复的,一遇到无法修复的情况迅速反馈是非常重要的。因为数据五花八门,使用 SQL 的话,每次增加新的 case when 都要全部运行后才能知道清洗结果(而且一次还只能清洗一列)。如果编写程序以行去遍历,除了可以用多核加速和显示进度以外,还能:
1. 实时查看当前错误,数据第一次跑完,整个表的例外情况就可以掌握的差不多,简单的情况很多都已经改好程序了。而 SQL 的话,运行的时候人只能闲着,甚至连什么时候能跑完都不知道。 2. 记录修改前后数据,保存进日志或者存进数据库,如果出现意外可以 rollback 。 3. 对于复杂的逻辑可以 debug ,尽管只是 if else ,写多了也会混乱,也能美美地单元测试。对于这个量级的数据,在我的小电脑上跑是真的不想再来第二次。 |
13
TimG OP @noqwerty 谢谢推荐,这个没听说过我会去了解一下。之前因为内存不够的问题也试过用 Vaex 替换 pandas ,结果好像不完整支持 apply ?折腾了好久最后无奈直接用 C#读数据库了。
|
14
cccvno1 116 天前
将数据表封装成一个 c#类,用 dapper+sqlreader 多线程分块读取数据表
转换方法都可以定义成一个个 transfer 方法,传入和传出的对象都是表对应的模型 将一组 transfer 方法串联起来不断转换就完事了 最后再将转换后的数据写进新表,最好是几万条批量写入一次 这样可以美滋滋的单元测试 |
15
EndlessMemory 116 天前
用 Python 试试吧
|
16
dbak 116 天前
graylog 的 pipeline
|
17
TimG OP @cccvno1 一开始确实是这么做的,但是当时没有给我一次交代所有需求,导致先写了 C#程序清洗,后期有新的列清洗需求,就图方便用 SQL 处理了,结果需求越加越多,SQL 也越来越多,成了这种人不人鬼不鬼的样子......这次痛定思痛,不再奢求一次全跑完,先把大表拆了再跑吧,并且尽量用一种方式去清洗,不然两者的优势都不沾哈哈
|
18
TimG OP @dbak 感谢推荐,简单了解了一下感觉这个比较接近理想流程了。不过我是 Windows ,这个程序好像没有提供 Windows 支持,害怕虚拟机会增加无谓的性能损耗,我还是研究下别的方案吧。
|
19
SmartTom 116 天前
阿里的 DataX 吧,搭建也方便。功能基本满足。
|
20
dif 116 天前
我都是根据实际情况做清洗,有些是用 sql,有些用 python,spark 之类的, 也没有一个完美的工具。
|
21
flmn 116 天前
像你说的,行与行没关系,可以拆分成多份分别处理再合并呀,可以看看 Spark 。感觉用文件存储比数据库合适。
|
23
MoYi123 116 天前
pg 里可以写 python 之类的很多编程语言.
|
24
catamaran 116 天前
@TimG #10 如果用 clickhouse, 我是这么做的:客户端用 python 处理,一次读取 100 万行(看硬件情况),处理完成后写入新表。主要弄好分区键,clikchouse 我记得翻页会越来越慢。
|
25
WuDiHaiTai 115 天前
你可以放一小段数据上来可以看的更直观一些,这样大家更好提建议嘛,文字版的不太好想象你的数据是什么样的。
之前挂壁做 AI 标注的时候常常因数据清洗破防,如果有规则的话就写个小 python 脚本就搞定。无规则的密集排列我个人是会想办法找它们的共通处,想办法搞插入符号之类的,将数据做一些划分之后,更直观,更容易检索然后再想办法。也没有处理过亿级别的,不太好说。我这人逻辑能力一般,数据清洗我觉得还是得靠一些思维逻辑上的能力,算得上是八仙过海,各有各的招。 |
26
tikazyq 115 天前
|