V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  ClericPy  ›  全部回复第 70 页 / 共 133 页
回复总数  2641
1 ... 66  67  68  69  70  71  72  73  74  75 ... 133  
2020-05-15 19:33:26 +08:00
回复了 qinyuyao 创建的主题 问与答 Chrome 访问网页出现 413 错误
@qinyuyao #2 刚发现你连网址都没发, 不是来忽悠我的... 遇不到这错误... 试着关了去广告也没这错误

可以考虑把请求发上来, 网址也可以带上, 413 我遇到的基本都是 post 的玩意太大了, 上上次还是 Fastapi 后端默认大小让我超了, 突然很好奇你这个情况
2020-05-15 19:11:07 +08:00
回复了 sunhk25 创建的主题 Python 通过 Python 的 pip 安装的各种包的许可协议有规范吗
@ipixeloldc #6 嗯..
主要还是看之前的交情吧

我不主动联系别人是实在不在一个圈子, 突然尬聊怕他们以为我是陷入传销了还是被盗号了... 真有交情的有事情直接说了, 交情不到的放在联系人里又不会扣钱
2020-05-15 18:56:57 +08:00
回复了 dioxide 创建的主题 问与答 你觉得哪个职业和程序员最像?
呃... 翻译?
2020-05-15 18:56:04 +08:00
回复了 qinyuyao 创建的主题 问与答 Chrome 访问网页出现 413 错误
413 前两天刚遇到过, 我自己跑去把 nginx 里的限制上传数据大小开大了就好了

至于不是你自己的网站的话... 休想忽悠我去打开 CSDN, 我跟它早就完了
2020-05-15 18:52:54 +08:00
回复了 hehheh 创建的主题 Python 现在才知道, Python 里的数字还能用下划线分开
@hehheh #4
进阶读物:
《 Python 进阶》( Intermediate Python 中文版)

流畅的 Python

Python cookbook

Python 最佳实践指南! — The Hitchhiker’s Guide to Python

稍微看了看就感觉到 Python 里面的语法糖世界多么神奇了, 各种神设计
2020-05-15 18:51:18 +08:00
回复了 sunhk25 创建的主题 Python 通过 Python 的 pip 安装的各种包的许可协议有规范吗
@sunhk25 #3 我也遇到过好几个... 圈内说法有的说无证书就无版权; 但又有的说无证书表示不可以商用, 气的我自己重新写了一个...
2020-05-15 18:02:23 +08:00
回复了 hehheh 创建的主题 Python 现在才知道, Python 里的数字还能用下划线分开
cookbook 里有提过, 其他挺多书里也有...
2020-05-15 17:50:03 +08:00
回复了 sunhk25 创建的主题 Python 通过 Python 的 pip 安装的各种包的许可协议有规范吗
有官网 Github 基本都写了吧, pypi 官网大部分左边也写了 License

不过楼上那个貌似挺不错
2020-05-14 22:11:02 +08:00
回复了 chaleaoch 创建的主题 Python Python 语法,这是哪条规则允许这样做的?
字符串本来就可以不用加号拼接

string - Wrap long lines in Python - Stack Overflow - https://stackoverflow.com/questions/3346230/wrap-long-lines-in-python

google 搜 python string too long 就行了
2020-05-14 21:12:07 +08:00
回复了 chaleaoch 创建的主题 Python Python 语法,这是哪条规则允许这样做的?
{
"canTryAgain": false,
"scope": "SECURITY",
"error": "207",
"message": "Message[AUTHENTICATION_FAILURE]: User token must be authenticated.",
"objectUser": null
}
2020-05-13 23:21:54 +08:00
回复了 jerryliang 创建的主题 Python 求助腾讯云 API 编写
文档地址你也不发, 随便答一波吧:

1. params 是给 GET 请求拼凑 query 字符串用的, 这里命名如果没错那参数提交时候可能就错了, 就我所知我上传图片都是 POST 的

2. POST 请求时候的实体主体 data 都是要编码成 bytes 的, 所以记得 encode 一下

3. params = '{"ImageBase64":"base64_data"}' 这里要塞变量进去的,

所以要么 json.dumps({"ImageBase64":base64_data})

要么就 params = '{"ImageBase64":"%s"}' % base64_data

总之别忘了 encode
2020-05-11 22:46:03 +08:00
回复了 guyskk0x0 创建的主题 Python 又被 Python 尾逗号创建 tuple 坑了一次
@RedisMasterNode #6 还真想不起来了... 似乎是有些 debug 环境以及有些库里面用的是 from .tasks import * 导致全屏飘红, 我用的 VSCODE 开了 Error Lens, 那红的吓人

@guyskk0x0 #7 暂时用的 flake8, 内置库里面 asyncio.__init__.py 里上来就是一句 # flake8: noqa, 我给它去掉可以参考下有多红...

https://i.loli.net/2020/05/11/juAQVL9HGXMY35q.png

![R@_8_C1_1@LS4V_U8_Q5192.png]( https://i.loli.net/2020/05/11/juAQVL9HGXMY35q.png)
2020-05-11 22:27:34 +08:00
回复了 guyskk0x0 创建的主题 Python 又被 Python 尾逗号创建 tuple 坑了一次
@guyskk0x0 #2

完全合格太难了... 最后在 mypy 里排除了一大些...

"python.linting.mypyArgs": [
"--ignore-missing-imports",
"--follow-imports=silent",
"--show-column-numbers",
"--no-strict-optional",
],

捂脸, 强迫症看不得满江红, 所以自戳双眼就看不见了
2020-05-11 22:15:32 +08:00
回复了 guyskk0x0 创建的主题 Python 又被 Python 尾逗号创建 tuple 坑了一次
五年前犯过, 后来就再也没犯过... 再后来 typing hints 一大片通红...
2020-05-11 19:52:05 +08:00
回复了 crella 创建的主题 Python 为什么爬虫大佬多用 re 而少用 soup、xml 来提取元素?
1. 正则熟练以后更灵活, 零宽断言什么的, 如果是 css 选择器之类的, 就没法用 Xpath 里那种 contain text 的语法

2. 没有三方依赖

3. 性能领先太多了

PS: lxml 会自动修复不完整的标签, 这点实际比正则还准确点
2020-05-11 17:08:49 +08:00
回复了 imn1 创建的主题 Python 懒,求个异步爬虫,必要需求是方便处理异常
@imn1 #11 这些自然是带的, torequests 要做的就是兼容 Requests 的参数...

req = tPool()
task = req.get('http://httpbin.org', headers={"Cookie": "agree=0;"})
resp = task.x

这些都是 Requests 库原生的参数

记录下载失败, 拿到结果以后如果是错误, FailureException 对象的 bool 都是 false 的, 而且也有 self.ok 来兼容 Requests 的响应, 所以只要判断 self.ok 就能知道请求是否成功了. Requests 的 Response.ok 判断的好像是状态码在 range(200, 300) 之间

记录下载失败, 写个 Callback 函数做变量塞上应该就够了, lambda r: r.ok or open('file.txt', 'a').write('xxx')
2020-05-11 16:36:46 +08:00
回复了 imn1 创建的主题 Python 懒,求个异步爬虫,必要需求是方便处理异常
@imn1 #9

1. FailureException 其实就是在 catch exception 的时候不抛错, 让它 Return 回来方便自省和排查, FailureException.error 实际就是原始抛出的错误

另一方面 FailureException 主要作用就是存放了 request 的 kwargs, 方便回调的时候用上

超时根据不同的依赖不一定是什么 error, 需要根据依赖来判断, aiohttp 或者 requests 里面都有很多细分, 超时也是区分了读超时和连接超时的, 所以得自己去他们源码里看看, 比如 requests.exceptions 里的 Timeout ConnectTimeout ReadTimeout, aiohttp 里面更复杂

因此, 这里面的重试的涵盖范围默认是 aiohttp 和 requests 里面的请求错误的基类, 避免 handle 一些非请求类错误 (早年间因为 handle 了 KeyboardInterrupt 导致我一个十万请求的脚本差点停不下来...

2. 没看懂自定义 Headers 是什么需求, 有个例子么. 可重用 Session 是默认的, tPool Requests 类都是只用一个 Client Session

3. 代码一开始是刚上班时候自己边学边折腾的, 实际没什么有价值的地方, 不如自己现写一个 wrapper...
2020-05-11 15:51:45 +08:00
回复了 imn1 创建的主题 Python 懒,求个异步爬虫,必要需求是方便处理异常
以前还真写过类似的... https://github.com/ClericPy/torequests

支持协程, 线程, 同步, 异步, 反正就是当年想在同步环境里享受到协程的高性能用的

和原生 aiohttp 比, 损失 10% 性能, 带上 uvloop 损失 15% ~ 20%... 损失这么多现在我都有点不想用它了...

https://paste.ubuntu.com/p/fFWsNmvVX2/ 简单的小例子
1 ... 66  67  68  69  70  71  72  73  74  75 ... 133  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2027 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 32ms · UTC 15:25 · PVG 23:25 · LAX 08:25 · JFK 11:25
Developed with CodeLauncher
♥ Do have faith in what you're doing.