推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
这是一个创建于 2359 天前的主题，其中的信息可能已经有所发展或是发生改变。
写了个爬虫定期抓取新浪指定用户的微博和文章,以防哪天失联了还能看备份。 GitHub: https://github.com/HubQin/sinaCrawlerV
各文件功能：
- database.py 封装了各种 mysql 操作
- post.py 抓取微博，每次抓取到上次抓取的时间为止
- article.py 抓取文章，同上
- gadget.py 用到的各种小工具
- config.py 需要用到的参数
使用：
- 创建数据表：运行 sina.sql 创建数据表
- 完善 config.py 的参数，抓取微博使用移动端的请求链接；抓取文章需要登录，这里手动登录后，查看移动端的异步请求，复制 Request Header 里面的 cookie 出来使用
- 命令行终端 cd 到 py 文件所在目录，运行 pyhton.py 和 article.py ，或修改 auto.bat 文件的 cd 路径，双击改文件开始抓取
第 1 条附言 · 2018-07-16 14:08:53 +08:00
@JohnChiu
这里使用谷歌浏览器
1. 微博列表链接获取
a. 使用微博手机端链接： https://m.weibo.cn/ ，打开页面后搜索想要抓取的用户名，如图：
b. 点击搜索到的用户，点击进入用户的主页：
c. 在页面上右键菜单选择查看（审查元素），点击 Network-->XHR, 滚动页面触发数据加载：
箭头所指的链接即该用户微博列表请求链接，即文件 config.py 中的 listUrlFormat 参数,注意结尾 page 的值替换为{}（也可以替换里面的 uid 和 container_id ）
2. 文章列表链接和 Cookie 获取：
a. 需要先登录微博账号。然后点开文章列表：
b. 按 1 中同样的方法获得文章列表请求链接
箭头所指的值即文章列表请求链接，即文件 config.py 中的 articleListUrlFormat 参数，注意结尾 page 的值替换为{}
c.点击 Header 获取 Cookie，如图：
将该 cookie 的值赋给 articleHeaders 的 Cookie
这里使用谷歌浏览器
1. 微博列表链接获取
a. 使用微博手机端链接： https://m.weibo.cn/ ，打开页面后搜索想要抓取的用户名，如图：
b. 点击搜索到的用户，点击进入用户的主页：
c. 在页面上右键菜单选择查看（审查元素），点击 Network-->XHR, 滚动页面触发数据加载：
箭头所指的链接即该用户微博列表请求链接，即文件 config.py 中的 listUrlFormat 参数,注意结尾 page 的值替换为{}（也可以替换里面的 uid 和 container_id ）
2. 文章列表链接和 Cookie 获取：
a. 需要先登录微博账号。然后点开文章列表：
b. 按 1 中同样的方法获得文章列表请求链接
箭头所指的值即文章列表请求链接，即文件 config.py 中的 articleListUrlFormat 参数，注意结尾 page 的值替换为{}
c.点击 Header 获取 Cookie，如图：
将该 cookie 的值赋给 articleHeaders 的 Cookie
 |
1
Sanko 2018-07-02 23:45:48 +08:00 via Android
支持
把微博热搜也抓一下，就能看出来哪些是用钱买的空降热搜了 |
 |
2
ACool 2018-07-02 23:53:08 +08:00 via Android
我最近也写了一个微博的爬虫，并且对微博用户信息进行了分析 https://github.com/starFalll/Spider
|
 |
3
Macuilxochitl 2018-07-03 00:02:08 +08:00 via Android
mark，正好想备份下自己微博
|
 |
4
winsky 2018-07-03 00:15:58 +08:00
以前也搞过一个类似的项目，跑的很稳定，多线程抓取
|
1
Select Language