V2EX › dtgxx 的所有回复 › 第 44 页 / 共 51 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

1 ... 36 37 38 39 40 41 42 43 44 45 ... 51

❮

❯

2020-08-01 23:34:47 +08:00

回复了 dtgxx 创建的主题 › MongoDB › 大佬们，麻烦进来看下 [使用 mongoimport 和 pymongo 插入遇到的问题]

@lpts007 #4 把数据处理成文件，分好文件夹，并行的用 mongoinsert 导入了，主要是只有一个机器，mongo 性能确实数据量越大就越慢，没办法，导了很久。

2020-07-31 23:28:04 +08:00

回复了 EdmondYoung 创建的主题 › 随想 › 很后悔当时没有学医或者学法律

那只能说明你身边的程序员都太鸡巴垃圾

2020-07-31 15:29:14 +08:00

回复了 MrChenF2E 创建的主题 › 问与答 › 写 Web 全栈技术类的博客，哪个平台较好？

我也蹲一个答案。
如果是想记录技术，选简书、CSDN 类中文博客网站就可以。

如果是想积累人气，提高知名度，建议写一份 markdown 然后各个平台发布一份。

github 配合 hexo 比较炫酷，只不过速度比较慢，编译之后放到自建网站的话，seo 不好做。这种方案 diy 比较自由，知名度比较难。

2020-07-30 18:43:17 +08:00

回复了 dtgxx 创建的主题 › MongoDB › mongodb 导入数据怎么破

@v2exblog #30 没太明白，把数据分成 1 万份，不也需要每一份都去重吗。
@smallgoogle 共勉老铁。

2020-07-30 15:37:27 +08:00

回复了 dtgxx 创建的主题 › MongoDB › mongodb 导入数据怎么破

@zhuifeng1017 #20
引用：用 mongoimport 导入 csv 或 tsv，重复数据会自动跳过的
这个你自己试过吗？我刚测试了，并不可以。

@wupher 是之前考虑用分布式大数据存储之类的，最终机器限制，就没搞。

2020-07-30 10:16:50 +08:00

回复了 dtgxx 创建的主题 › MongoDB › mongodb 导入数据怎么破

@JCZ2MkKb5S8ZX9pq #25 联合唯一索引，唯一指的就是 unique 。

2020-07-30 10:02:45 +08:00

回复了 dtgxx 创建的主题 › MongoDB › mongodb 导入数据怎么破

@JCZ2MkKb5S8ZX9pq #22 先导入数据，然后添加唯一索引，被索引的字段如果有重复，这个索引就会建失败。

2020-07-30 09:46:05 +08:00

回复了 dtgxx 创建的主题 › MongoDB › mongodb 导入数据怎么破

@zhuifeng1017 #20 啊大佬，这个哪里有说明吗，真是这样就太好啦

2020-07-30 09:28:52 +08:00

回复了 dtgxx 创建的主题 › MongoDB › mongodb 导入数据怎么破

@JCZ2MkKb5S8ZX9pq #17 三个字段的联合索引，目前使用 mongoinsert 导入数据，insert_one 和 insert_many 都比较慢，都放弃了。重复数据保留任何一条就可以了。

2020-07-30 09:27:21 +08:00

回复了 dtgxx 创建的主题 › MongoDB › mongodb 导入数据怎么破

@wupher #15 确实是，感觉之前的不使用索引的方式也可以，只是下游取的时候得自己做去重了，而且增量订阅的时候，每次更新的数据量也越来越大了。

2020-07-30 09:25:23 +08:00

回复了 dtgxx 创建的主题 › MongoDB › mongodb 导入数据怎么破

@zxlzy #11 放阿里云 aws 基本都是民口的。

2020-07-30 00:06:13 +08:00

回复了 dtgxx 创建的主题 › MongoDB › mongodb 导入数据怎么破

@594duck #7 主要是目前只有一个机器，用关系型数据库会比 mongo 慢更多。mongo 不用联合索引每秒我这可以处理到大约 50 万条数据，关系型数据库单点的肯定做不到。

2020-07-30 00:04:39 +08:00

回复了 dtgxx 创建的主题 › MongoDB › mongodb 导入数据怎么破

@billlee #8 查询用，之前不加联合索引是查询是很快的，两百亿数据查询，差不多 50ms 就能返回。

2020-07-29 22:40:05 +08:00

回复了 dtgxx 创建的主题 › MongoDB › mongodb 导入数据怎么破

@jiangzhuo #5 你这个建议蛮不错的，以后遇到需求感觉可以这么试试，挺好。只是目前这部分数据价格比较高买的，不太想放到别人服务器。

2020-07-29 22:37:32 +08:00

回复了 faustina2018 创建的主题 › 问与答 › 送给小朋友的大学升学礼物，平板电脑，华为 or iPad ？

如果没笔记本电脑最好送笔记本电脑，有的话我选 iPad + AirPods 。苹果就是好，不用黑它。

2020-07-29 22:33:19 +08:00

回复了 dtgxx 创建的主题 › MongoDB › mongodb 导入数据怎么破

@abcbuzhiming #3 写了很多程序，也做了非常多的优化，慢的不行。。数据量太大，程序无法支持去重的。

2020-07-29 22:30:27 +08:00

回复了 larryMeow 创建的主题 › 问与答 › [深圳]央企 25w，跳槽去 18k 创业公司 996

我认识个大佬就是在牛掰的地方太闲，所以就去创业公司 996 了，但是工资更高，不会更低，而且级别、待遇、股份都有。
你 28 岁，咱俩差不多，我觉得你这个选择很错误。因为你能力不足，28 岁去创业公司，远不如去大厂 996，创业公司只会让你一个能力不足的人干到怀疑人生，对你不是历练，对你手底下的人也是灾难。

2020-07-29 22:23:23 +08:00

回复了 dtgxx 创建的主题 › MongoDB › mongodb 导入数据怎么破

@wupher #1 尴尬。。。这个是刚需。。

2020-07-29 15:53:54 +08:00

回复了 dtgxx 创建的主题 › 问与答 › Linux 系统如何快速把 20000 个文件合并为一个文件？

@msg7086 #6 也可以，厉害~~

1 ... 36 37 38 39 40 41 42 43 44 45 ... 51

❮

❯