推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
请教 Python 爬虫，存在 js 反爬，除了 selenium 还有什么解决方案呢
dylanhu · 2019-05-22 10:56:55 +08:00 · 3128 次点击这是一个创建于 2015 天前的主题，其中的信息可能已经有所发展或是发生改变。
 |
1
linhua 2019-05-22 11:03:31 +08:00
puppeteer
|
 |
2
leebx 2019-05-22 11:05:53 +08:00
1. 很多 js 反爬 ，selenium 是解决不了的，大多需要剖析 js，执行 js 代码才能得到有效参数
2. 各种加密算法，url 中拼接的某些参数是底层算法搞出来的 |
 |
3
linvaux 2019-05-22 11:07:09 +08:00 via Android
脱裤啊
|
 |
4
mytry 2019-05-22 11:08:01 +08:00
JS 爬虫和 Python 有什么关系
|
 |
5
tikazyq 2019-05-22 11:35:00 +08:00
还有 puppeteer，也是调用 chrome 来执行 js，但是对用户比较友好。顺便介绍一下爬虫平台 Crawlab，兼容任何框架任何语言的爬虫平台，http://github.com/tikazyq/crawlab
|
 |
6
dongya 2019-05-22 11:52:17 +08:00
存在 js 反爬也有很多情况呀， 内容加密，token 生成啥的， 你的是哪种啊
|
 |
7
lusi1990 2019-05-22 12:31:10 +08:00 via Android
也有反 selenium 的
|
 |
8
danmu17 2019-05-22 18:52:44 +08:00
大部分的 js 反爬都可以通过 python 运行 js 来解决，
不过会提这种低质量的问题， 多半也不会这些基本的东西。 |
 |
11
huaerxiela6 2019-05-25 05:32:31 +08:00 via Android
cookie 加密一般来说相较与参数加密，更难找到入口点，需要很多的调试技巧，比如有时需要 hook，hook 不住的时候如何处理等等，我简书 https://www.jianshu.com/nb/14730171 的几个例子就是基于 nodejs 实现的，如何用 py 运行，只是一个调用方式的问题，不行的话还可以用 node 封装接口，重要的是如何模拟加 /解密
|
Select Language