推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
这是一个创建于 2438 天前的主题，其中的信息可能已经有所发展或是发生改变。
爬取一个网站
1，会出现一个 5 位的 数字+字母的 干扰线验证码，请问哪里有可以学习这种识别验证码的文章或者源码。（已经百度，但是都是用 tesseract 最低级的验证码破解。我试了，识别不了）。
2，这个网站需要增量爬取。静态页面 ，页数 3w+ 怎么才能有快捷的方法实现增量呢（想到：重新爬一遍，然后和数据库对比）
3，定时爬取，（每天晚上 11 点）
 |
1
soli 2018-04-15 09:24:58 +08:00
验证码简单的话，可以试试机器学习搞。图省事儿的话，用打码平台。
|
 |
2
winsky 2018-04-15 10:00:16 +08:00  1
增量：每次从最新的开始爬，校验获取的数据是不是已经有了，如果已经存在（或者已经有的数据超过一定条数），就直接结束
|
 |
4
Rufeer 2018-04-15 10:15:16 +08:00 via iPhone
通常网站用的第三方的验证码方案，你可以看看源码里面的验证码怎么出来的，然后用这个可以生成足够的图片，参考 mnist 手写识别进行机器学习
|
 |
5
sheep3 2018-04-15 10:23:08 +08:00
1. 验证码接打码平台
2. 你这个数据量不就是判断有没有，没有就抓去插入吗 3. corntab 了解一下 |
 |
6
xuxueli 2018-04-15 10:32:56 +08:00 via Android
|
 |
7
lihongming 2018-04-15 10:49:27 +08:00 via Android
简单的验证码用开源识别算法搞定，复杂的扔给扔给打码兔之类的平台搞定。能用钱解决的问题都不要花费时间，除非你想做研究而不是用于生产
|
 |
8
lvsemi1 2018-04-15 12:51:13 +08:00 via Android
我的做法，做成交互式的，验证码识别丢给实习生
|
 |
9
alvin666 2018-04-15 13:46:49 +08:00 via Android
5 楼正解，另外如果验证码不是生成的可以全爬下来做个数据库，有新的验证码直接在数据库里面找（ 12306 的验证码识别就是这么干的）
|
 |
10
cyy564 2018-04-15 14:12:12 +08:00
图像处理之后再用 tesseract 识别
|
 |
11
golmic 2018-04-15 17:22:27 +08:00 via Android
验证码识别：
https://www.zhihu.com/answer/120141781 如果需要可以联系我，方式见微信公众号 pydatame。 增量抓取可以采用数据库对比或者本地记录爬取过的 url 等方式实现。 |
 |
12
jeffreychiu95 2018-04-15 23:55:01 +08:00 1
1. 搜索引擎、github 上面找一下是否已有关于目标网站验证码的代码实现。如果没有，可以看看有没有别的网站用同类型的验证码，再搜索。如果有研究的兴趣，学习图像处理和机器学习的相关知识。接入打码平台很便宜，同时你可以获取到标注好的数据集。之后自己训练模型去识别。
2. 如果是像微博、知乎用户动态等 feed 流的，有明显的先后顺序的，可以考虑每次取出已有的最新的 id(或者其它标识)，开始爬取，当爬到这个 id 时就停止。如果想获取像 v 站新发的帖子，新发布的网页这种的。数据量小的话，可以将已有的 url/id 读取到内存，看是否已经有。数据量大的话，Redis 了解一下~ 3. corntab |
Select Language