看了一下，猫眼的票房是有做字体加密的，如果是第一次写爬虫的话可能有点难度；豆瓣是入门级，无难度随便爬。
“数据爬取功能需满足登录用户在系统中输入一段时间，系统能够将时间段内爬取返还给用户”这个需求的实现可以有两种方式：
1、数据实时性要求较高的
接口得到用户输入的时间段参数后再去爬，爬完格式化好了返回，缺点是速度可能较慢、容易触发反爬。
2、数据实时性要求不那么高的
爬虫和接口分开，爬虫每隔一段时间爬一次数据并存到数据库，接口得到时间段参数之后去查数据库就行了

量少没必要分布式，拿 requests 写都行

@lqh9428 #3 hhhhh

网站 url 发一下呗

周五又怎么样，明天后天还要上班的

半天没看这楼就歪成这样了

借题发挥了一下。。写了个知乎文章 https://zhuanlan.zhihu.com/p/45508079

以前在学校的时候干过从宿舍楼对面的居民楼飞一条网线到宿舍这种事。。

@zr8657 #81 天猫这种要看爬到什么程度。如果只是爬个几十万、拿点商品基础信息的话堆 IP 或者用官方接口都能做；如果爬几千万商品还要拿什么店铺信息、工商信息、营业执照之类的话就比较麻烦了。

之前碰到过一个类似的，差不多三年经验爬虫，也是说自己要熟悉，掌握了之后就会很好。
刚入职态度有点问题就不说了，熟悉了两个多星期让他写个入门级的网站的爬虫写了一个星期，还一堆问题，比如：for+range 做翻页逻辑、异步框架内直接用 requests 库发请求、正则解析 json。
然后就劝退了🙄

ADUI 就这样了 还是原生好用

还是找陪驾吧，没副驾驶刹车的情况下练车害人害己

不用刻意学，虽然用的是不同的语言但是逻辑是一样的，看着看着就懂了，不知道是干什么的函数就查一下

Gboard

你可能是想要这个？ https://aiohttp.readthedocs.io/en/stable/client_advanced.html#dummy-cookie-jar

注册需要正常手机号+注册最后一步付费验证+登陆付费可见+每天可见高清图片数量限制+图片加密后 js 渲染+隐式水印，js 高度混淆+动态生成+每次更换。
这样够复杂了吧？然而还是挡不住人家招一群实习生手动截图保存

这个确实是个问题

不觉得看视频效率很低吗

@zhijiansha 没记错的话限制 http 客户端数量可以控制住

@zhijiansha #14 tornado 的 curl 客户端碰上 https 就会有内存泄漏的问题。。