把每个请求用时打出来挨个看看, 找不到再考虑代码层面优化(比如 pysnooper), 看起来没有异常同步代码阻塞协程的地方, 该复用 Session 的地方也复用了, 所以感觉主要网速问题上...

如果同步代码还想稍微提速, 可以试试 selectolax, 测过它和 lxml 的 cssselector 比较, 快了大约一倍, 不过没做 xpath 的比较, 用惯了 css 的语义以后很少碰 xpath 了

以前也做过类似的, 把一个有 type hints 的函数转交互式命令行, 各种类型折腾的, 后来被 pydantic.parse_obj 教做人...

Gartner Hype Cycle 2020 [doge]

@azev 我就是 cdn 引用 vue 和 element, 最近想折腾 vuetify, 为了自适应... 我不是真前端, 就是不想写 GUI, 所以拿来写个交互而已(要不是某些人不喜欢 terminal UI...)

那天看到更新日志, 第一时间给爬虫换上了, CPU 四核从原来的长时间 400% 现在降低到一半都用不上. 现在启动耗时从原来的 1.4 秒骤降到 1 秒, 当然前提是每次操作完要清空用户文件夹, 不然 2 GB 的用户文件夹时候启动能给我慢到 10 几秒

平时自己使用也不知道是不是心理作用, 确实流畅多了

已经用这种 cdn 方式用了好几年的路过... 就这种引入方式加浏览器自带 JS 解释器的环境, 简直得天独厚了

访问日志识别爬虫, 然后蜜罐投毒

加班本来就容易写 bug, 第二天还晚来, 还给加班费... 带厂良心啊

哈哈哈 其实挺羡慕有正经 code review 的公司的, 现在天天赶进度文档都跟不上, 别说 review 了

PS: 听说有一种设计就是让不懂这门语言的人也能看懂你代码的, 类似于注释言简意赅地做到类似小黄鸭的程度

虽然你已经解决了, 顺嘴一提 psutil 的 cmdline 不知道能不能帮到你, 先通过 pid 拿到 Process 对象, 然后看它启动时候命令行参数里面的路径

至于多台服务器... 一般选现成的运维工具, 简单的开个 fabric / ansible 也香啊...

用了 tmux 以后... 什么复制会话再也没指望过... 我会话就没掉过

不知道 tmate 好用么

话说 ssh 可以直接捎带命令的, 我就经常那么用... 稍微复杂点的可以 fabric, 再复杂点的 ansible

至于 mysql, 直接调用 pymysql 也行吧, 需要内网挂 ssh 隧道的也能支持上

操作子进程的一般都是 subprocess.Popen

可以用 communicate 对 stdin stdout stderr 进行读写操作

总结一下然后结帖了, 一晚上这么多收藏回复... 把我的 RSS 提醒都给炸了

1. 我这次主要吐槽的不是 DoH 不好或者国内 ISP 什么的, 主要是因为 Chrome 最近新功能默认状态不是关闭而是开启, 尤其是老帐号(如果新帐号默认值开启也就算了). 直接导致了我一直就没想过我已经默认开启了新添加的 DoH 功能

2. 有些人关闭了也没有感觉, 我猜测和 #47 楼那位所说的, 只有部分联通网段才屏蔽了 1.1.1.1 的 DoH, 而电信用户或者全局代理的连接通了以后 DNS 缓存住, 不会有太明显的感觉

3. 这次的问题直接现象貌似是国内通过域名寻址时候因为连不上 ISP 提供的 DoH(默认选项), 尝试连接 1.1.1.1 家的 DoH 也超时失败, 所以很多后台 ajax 请求全都打不通, 明显的感觉就是各路 CDN 请求不通, 导致网页打不开或者视频播放不了

4. 目前遇到该问题的场景有: windows / mac 下和 Chrome 同内核的浏览器(chronium, edge, 360 等)下的非受控帐号, 其他 Blink 内核浏览器不太确定; 火狐浏览器似乎也有这种情况, 没具体体验过

结帖了... 结帖了... 结帖了... 不要回复了哈

用谎言来达成目的, 结果不一定会变好, 不如就实话实说, 买 VIP 自然是有私人文件在上面放着, 比如把手机相册同步上去了, 不方便外借就好了

很多时候别人就是随口一问, 有时候面子这种东西并不会因为一开始的拒绝而受损, 反而会因为后面复杂的社交变得混乱

别人平时顶多找我帮忙下载点东西然后用另一个网盘发给他, 后来可能因为我基本不上微信, 回复的慢了, 也就渐渐不找我了, "下载之交" 有时候还不如个 "点赞之交"

别牵扯到什么本性啊心理啊, 待人接物这种事进入社会多打拼两年不该会的也都会了