1
ho121 2019-07-03 17:46:25 +08:00 via Android
买代理不行?
|
2
webee OP @ho121 这里主要不是代理的问题,如果能简单的在后端爬取,代理当然可行。
这里的问题是对于复杂的不那么好爬取的网站使用前端爬取,解决各种后端爬取的痛点,同时实现资源共享。 |
3
qilishasha 2019-07-03 18:01:15 +08:00
在某宝有人出售肉鸡 API,便宜得很,不知道是不是有法律风险
|
4
silencefent 2019-07-04 08:59:46 +08:00
流量宝这个软件听说过吗,理论上和你这个差不多一个意思
|
5
Fcsle 2019-07-04 10:33:23 +08:00
@qilishasha 关键词是啥
|
6
qilishasha 2019-07-04 13:02:22 +08:00
@Fcsle 所有的卖代理的都有
|
7
webee OP @silencefent 流量宝还是使用自己的的服务器来做刷流量的事情,其实我想的是真实用户共享合作来分享算力和流量,和众包是一个意思。
|
8
webee OP @silencefent 不好意思,仔细了解了一下,流量宝,确实也是共享的思想。。
|
9
yangweijie 2019-07-11 17:30:48 +08:00
专利这块爬取是很麻烦的,包括天眼查 和 zf 统一信用代码 甚至用上了 极验验证码。我都奔溃了,然后搞了个和你们思路一样的人肉采集,本来想开发 像京价宝 这样的插件的,时间未允许,后来就直接书签 写动态 js 采集 并请求后端更新数据,但是 必须协议一致。https 必须也 https。然后老板嫌麻烦 买了企查查的接口。
|