52G 的库，用什么办法检索速度最快？

[ifconfig]

只导了 126 的数据到 mysql 已经有 10G ，做了索引， like 语法查起来还是很慢。（平均： 45s 设备： 256SSD+i5 ） 要想达到 163password.download 查询的速度，该用什么技术或架构？

[Bryan0Z]

这网站为什么会返回乱码，是我的密码还没泄露？
另外参照 找密码网的源码，人家 500G 数据， 30 多个库速度也在 10 秒以内

[zonghua]

按首字母分库啊，并行查找

[yeyeye]

他的是精确查找 你的是 like 查找 不是一个道理吧。只是要精确查找的话 还可以分成很多个表，查询速度必然迅捷无比。最简单的按 2 位首字母分表就可以分至少 1296 个 查询的时候做下判断就可以精确的去相应的表里面查 性能直接提升 1296 倍 你的 45S 马上就变成了 0.0347S

[dapang1221]

Sphinx

[kslr]

话说那个 TXT 里面乱七八糟的格式，我导了 100 万就放弃了，太麻烦了。

[Flygoat]

mongodb ？

[416877140]

@Bryan0Z 改 utf8 编码就好了

[ifconfig]

@yeyeye 虽然不是太懂，感觉好牛叉的样子，我先试试用首字母分区

[liyvhg]

全部加载到内存

[ifconfig]

@kslr 我用的是 LOAD DATA INFILE 语法，秒导

[ifconfig]

@Bryan0Z 哥们你说的找密码网的源码 ，有没有链接？

[ucaime]

倒入到 ES 集群了，嗯，正在倒入，还有两个包，几个亿数据毫秒级。妈蛋这次的数据重复太多，去重略耗时间

[kslr]

@ifconfig 可是格式呢，里面有----切分的还有不定长度空格什么的

[ifconfig]

@kslr
LOAD DATA INFILE 'path/info.txt' INTO TABLE xxx FIELDS TERMINATED BY '----' LINES TERMINATED BY '\n';
多看点参数说明就好了

[ifconfig]

@ucaime 看来哥们是搞大数据专家，我准备上 sphinx 试试

[slixurd]

Elastic Search 啊，虽然 like 这种通配符匹配还是很慢，但是分词后的模糊查询超快的，我们现在一个 index 就是 80G ，速度还超快。

[ifconfig]

@slixurd 牛叉，接触 ES 试试

[SlipStupig]

mongodb+es 几十亿都没任何问题，这种杂乱数据注意一下清洗，如果要做规则或者杂乱格式转发请用 kettle ，不过话说学会都是一个月后的事情了

[SlipStupig]

求裤子分享

[badcode]

[ynyounuo]

不先整理一下？我全部转为 UTF-8 然后合并到一个文件并且 sort -u 之后数据就只剩 12 GB 了，这还有大量重复的信息呢

[lichao]

这破事，网易官方有回应吗？

[RangerWolf]

我觉得 163password.download 并不快啊~

[ucaime]

@lichao 网易太鸡贼了，第一把所有曝出的库的邮箱标记为可疑，各种提示。第二把关键邮件比如苹果发来的要求手机验证查看，装糊涂吧

[ifconfig]

@ucaime 唧唧，这么一听你说，渣易真够贱的

[dingyaguang117]

163password.download 是不是不全啊？ 我查了没有

[dingyaguang117]

@ynyounuo 为什么还需要转码？ 邮箱密码不应该 ascii 就够了吗

[badcode]

有意思，一张图片一个小时多而已
来自 v2 的 views 就有 300 多次

[guoer]

你们都下载好了？

[jiongjionger]

只有 50 多 G ，直接丢内存得了

[soway]

类似搜索引擎的做法

[ianisme]

grep -nr 自己的邮箱啊！！ *

[ifconfig]

@ianisme grep 效率太低了，还是上 ES 搜索系统试试

[SlipStupig]

求下载地址啊

[ifconfig]

@SlipStupig v 站内就有的

[jhaohai]

索引对 like 无效

[kuzhan]

分表

[moult]

模糊查找的话，还是基于 Lucene 吧。
精确查找的话，关系型数据库也不会慢吧。或者试试看 Redis 。

[strwei]

试试文档数据库或者 Redis

[ifconfig]

@moult 这谢谢

[ifconfig]

@strwei 谢谢

[micookie1]

我忘记密码的终于找回了

[strwei]

@ifconfig 以前做 bt 搜索网站的时候用的 redis 网站 n G 数据，查找很快

[linescape]

@dingyaguang117 我查了有我的邮箱但是不是我的密码。。。

[ucaime]

http://www.03sec.com/usr/uploads/2015/04/2864323021.pdf

03sec 的老文，可以参考，用了 coreseek

[ucaime]

@jhaohai 谁说无效，正序索引 只要 like 不是%开始还是可以用的

[TemporaryID]

导入数据： http://pastebin.com/2PyKHPjn
Web 服务： http://pastebin.com/SErx0WNj

用的是 LevelDB
导入后大概 25GB
服务器在 DigitalOcean 上
楼上 @yeyeye 说的对，因为是精确匹配，所以快

还有真的不要 DDoS 我好吗，我真的不是做这个的，只是玩玩 T_T

[ffwalle]

52g 根本小菜一碟，记得加索引。

[ffwalle]

哦，看到你说做 like 查询，呵呵，如果真的要快，那做 ngram 吧。。。

[powtop]

求裤子

[xinyewdz]

刚查了，密码是四年前的。

[wyx]

歪个楼，解压密码是啥？

[ifconfig]

@wyx

[ifconfig]

@wyx baidu

[wyx]

@ifconfig 谢谢

[thanksir]

靠，我的泄露了

[soulteary]

@ynyounuo 粗筛选可以在转码前先执行 shasum 简单计算 hash ，然后再做分词。算了一下，大概重复的数据有 438 ， 38.62%左右都是重复的。

如果先转码，恐会浪费不少时间（机器多可忽略...）

[wwek]

没裤子穿,需要裤子

[ynyounuo]

@soulteary
嗯，学习了，所以大概缩下来有多大呢？

[soulteary]

mime-type 错误 & 编码可能存在问题的有 3G 左右，有空特殊处理看看。

32G 简单去重后 11G ，其实挺少的，继续筛下估计更少...

@ynyounuo

[SlipStupig]

@ifconfig 实在没找到地址

[dingyaguang117]

@ynyounuo sort -u ， 请问你内存多大呢。。。 花了几个小时？

[ifconfig]

@dingyaguang117 内存 8G ， i5 ，已经过去一个小时了， MacBook 好烫好烫好烫好烫