V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  roricon  ›  全部回复第 8 页 / 共 20 页
回复总数  398
1 ... 4  5  6  7  8  9  10  11  12  13 ... 20  
@Agromania
看来我想的还是简单了。
2015-02-12 10:50:54 +08:00
回复了 moonv5 创建的主题 问与答 彻底禁用 cookies 大法,防止跟踪
浏览器指纹也能用来追踪,还是别用浏览器了……
因为担心QQ群里弹出「绅士」内容,所以必须锁屏。
2015-02-10 10:25:51 +08:00
回复了 Changyue 创建的主题 分享发现 游戏直播弱爆:他们直播写代码。
79天前我开了相同的主题
http://www.v2ex.com/t/148513#reply30
2015-02-10 10:13:34 +08:00
回复了 jyoe 创建的主题 问与答 看到大段文字就跳着读 这算阅读障碍吗?
也可能是注意力缺陷
2015-02-09 13:06:38 +08:00
回复了 shallyy 创建的主题 问与答 同一产品做工与产地的关系
国产车和进口车的区别?
2015-02-09 12:16:35 +08:00
回复了 lch21 创建的主题 互联网 请问国内有没有付费 proxy 的服务?需要 100 个 ip 做网页抓取
国内不知道,但是国外有
http://scrapinghub.com/crawlera/
把它当个反向代理直接用,反爬那些事情如限速,伪造UA,多IP等等,它都替你做了。
我目前在用,感觉还好。
2015-02-05 13:25:14 +08:00
回复了 tongle 创建的主题 Python Scrapy 爬取页面时 xpath 取到数据不正确,是不是缓存的关系?
@binux 日志发你邮箱了。
2015-02-05 13:08:37 +08:00
回复了 tongle 创建的主题 Python Scrapy 爬取页面时 xpath 取到数据不正确,是不是缓存的关系?
@binux 完全不懂CI,只看到我这边跑的很开心的功能它测试不通过。
重启时候手滑不小心 supervisorctl reload 全部重启,然后问题解决了。
@repus911 不用IDE感觉整个人都废了,忘记写self,3楼是正确的。
这种设置默认参数有什么问题?意思是应该直接用'[]'?
2015-02-05 12:59:49 +08:00
回复了 tongle 创建的主题 Python Scrapy 爬取页面时 xpath 取到数据不正确,是不是缓存的关系?
@binux 谢谢。顺便抱怨一下我的PR被Close感觉不会再爱了。T-T
2015-02-05 12:54:36 +08:00
回复了 tongle 创建的主题 Python Scrapy 爬取页面时 xpath 取到数据不正确,是不是缓存的关系?
@binux
老忘记@ 真头痛
2015-02-05 12:54:08 +08:00
回复了 tongle 创建的主题 Python Scrapy 爬取页面时 xpath 取到数据不正确,是不是缓存的关系?
我在日志里面看到on_start之后,新进来的任务直接就被ignore了。
我没重启pyspider,这个情况我是应该重启scheduler还是fetcher?或是其他组件?
2015-02-05 12:49:59 +08:00
回复了 tongle 创建的主题 Python Scrapy 爬取页面时 xpath 取到数据不正确,是不是缓存的关系?
@tongle
代理可以试下这个…… http://scrapinghub.com/crawlera/
连UA都帮你一并搞定了的一站式服务。
2015-02-05 12:47:49 +08:00
回复了 tongle 创建的主题 Python Scrapy 爬取页面时 xpath 取到数据不正确,是不是缓存的关系?
http://i.imgur.com/ZvIwpJT.png


借道问@binux pyspider里面的age是什么时候生效的呢?我设置了10天的age后来改成1天,似乎任务还是会被scheduler忽略啊……
因为你类的实例里面,没有变量保持对'songlist'的引用,所以这个列表被垃圾回收了……
试着改成这样
https://gist.github.com/anonymous/f85d63702c76f078a3c4
2015-02-04 15:51:09 +08:00
回复了 lingo233 创建的主题 Linux 看了下登陆日志真感人
限制root只能使用证书登录。
2015-01-30 16:47:45 +08:00
回复了 cruelcage 创建的主题 程序员 怎么创建一个供 mobile App 调用的登陆 API?
@cruelcage 这个设计类似于 Django restful framework 中的 TokenAuthentication
你可以看下这里 http://www.django-rest-framework.org/api-guide/authentication/
1 ... 4  5  6  7  8  9  10  11  12  13 ... 20  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   5349 人在线   最高记录 6543   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 32ms · UTC 09:32 · PVG 17:32 · LAX 02:32 · JFK 05:32
Developed with CodeLauncher
♥ Do have faith in what you're doing.