xxfye

xxfye

V2EX 第 524048 号会员,加入于 2020-12-16 12:54:28 +08:00
今日活跃度排名 3100
根据 xxfye 的设置,主题列表被隐藏
二手交易 相关的信息,包括已关闭的交易,不会被隐藏
xxfye 最近回复了
6 天前
回复了 clear 创建的主题 Apple 如果泄漏的路线图为真,那 Apple 真的💊
上一次知乎看见华为穿越时空因用鲲鹏 920 抄袭 A77 后,现在华为又用时空机抄袭苹果高通的未来技术来了。
华为真是糟践时空机了啊。
10 天前
回复了 laikick 创建的主题 问与答 大街上各种摄像头到底有多少是好的
大部分都是好的,直接去派出所监控室瞄一眼不就知道了
1. hash
2. 加序号
3. 按照 hash 分区
4. 逐个处理分区
5. 分区内排序
6. 分区外归并排序

只有单机的话,可以考虑用 duckdb ,多机就用 spark 吧。
@drymonfidelia 看错了,还以为是 6GB 的 csv 文件在线处理呢,那确实不适合 duckdb 。

还是上 spark 吧,硬盘配大点就行。

203 亿行 csv 有那么大吗,我们每天备份全量的 17 亿行信息,保留几十天,用 orc 存储,也就几百 G 。
duckdb 值得拥有
@liyafe1997 对呀,客户当然有权利可以分发,但是红帽就终止合同,停止你获得后续的二进制和源码的机会。这个并没有限制你已经到手的源码和二进制的分发权利。因此不违背 gpl 协议。
gpl 规则是获得二进制的人,也能获得源码。
因此只要限制二进制的获得合同就行。
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2401 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 55ms · UTC 11:36 · PVG 19:36 · LAX 04:36 · JFK 07:36
Developed with CodeLauncher
♥ Do have faith in what you're doing.