V2EX › ClericPy 的所有回复 › 第 64 页 / 共 133 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

1 ... 60 61 62 63 64 65 66 67 68 69 ... 133

❮

❯

2020-09-01 23:25:22 +08:00

回复了 ClericPy 创建的主题 › Visual Studio Code › 有关 VSCODE 使用微软 LSP 时, 相对引用的库无法正常 go to definition 的问题

@chaleaoch 太久了, 就算当时 watch 了, 后来估计也取关了...

PS: 刚才在电脑上把 3.7 换到 3.8, 微软 LSP 下载太慢, 所以换了 pylance, 意外发现居然不是 pyi 了... 不知道什么情况

2020-08-30 22:04:27 +08:00

回复了 ClericPy 创建的主题 › Visual Studio Code › 有关 VSCODE 使用微软 LSP 时, 相对引用的库无法正常 go to definition 的问题

@chaleaoch pylance 刚出我就试用了... 也是跳转 pyi, 看了官方 issues, 貌似就是这么设计的... 没找到好办法跳转到原 py 文件...
至于官方 lsp 的跳转, 我删了 pyi 文件就跳过去了... 你有什么好办法推荐下么

2020-08-25 22:14:50 +08:00

回复了 jenlors 创建的主题 › 程序员 › 吐槽一下 pypi 的包名重名机制

我反而挺不喜欢太长的包名... 挺多库的名字起的都挺有意思的, loguru, pydantic, 因为太常用, 所以强行记住了, 也不怕和其他语言重名(跨语言的时候搞混库的名字真的头疼)

然后, ichrome 名字也让我抢了, 随手搜了一把, 想把名字换了... 重名的也太多了, 早知道一开始就该起一个不容易重名但是有创意的

PEP 541 -- Package Index Name Retention | Python.org - https://www.python.org/dev/peps/pep-0541/

Abandoned projects
A project is considered abandoned when ALL of the following are met:

owner not reachable (see Reachability above);
no releases within the past twelve months; and
no activity from the owner on the project's home page (or no home page listed).

2020-08-24 21:52:29 +08:00

回复了 wikinee 创建的主题 › 程序员 › 正在从印象笔记迁移到语雀，我就问问 notion 好用吗？

过年时候用语雀写博客, Markdown 导出有问题... 提了几次反馈就没下文了... 然后............. 我就不写博客了, 哈哈

2020-08-22 02:58:55 +08:00

回复了 zrp1994 创建的主题 › 游戏 › 黑神话：悟空

斗战神原班?

2020-08-16 01:46:23 +08:00

回复了 EdmondYoung 创建的主题 › 程序员 › 私企程序员到底算不算一份工作

前几年学到的一点就是, 不是什么地方都能叫"单位"...

2020-08-10 23:45:57 +08:00

回复了 livc 创建的主题 › 程序员 › 爬虫某网站最近禁止了国外 IP，想请问下有什么好的办法

这么在乎价格成本的话... 白瓢免费代理吧, 选普匿和高匿的, 然后走生产者消费者模式, 慢慢抓慢慢跑

2020-08-10 23:41:56 +08:00

回复了 HanMeiM 创建的主题 › 程序员 › 如何看待同事每日的提醒：“工程不重要，算法才重要”

是说这个同事不重要呗?

各有偏重, 除非真的算法经验和工程科班都熟悉到一定程度, 不然直接下这种定论的我一般都说句有道理然后该干嘛干嘛去

2020-08-10 23:39:03 +08:00

回复了 maryshaw 创建的主题 › 求职 › 帮公司面试，心态有点崩。

就过往经验来说, 这种情况基本就是让你自己走了...

2020-08-09 23:51:50 +08:00

回复了 ccllseven 创建的主题 › 问与答 › 记忆力贼差，才 28 岁而已，真的好苦恼。

睡眠不足各种毛病都会有的, 买本 GTD 的书看看吧

2020-08-08 19:51:30 +08:00

回复了 yifanes 创建的主题 › Linux › systemctl disable xxx 之后不起作用

一直用的 systemctl --user 倒是没遇到过, 话说不用 --user 的 config 有什么优缺点么

2020-08-08 19:47:09 +08:00

回复了 FlyerWonder 创建的主题 › 职场话题 › 学校还行，毕业半年， 0 工作经验，怎么找到第一份工作？

@fishCatcher
@czhfrank
之前看楼主不想留美... 以为回国读硕

难怪这么不想继续读书, 我又信息不对称了

2020-08-08 19:46:02 +08:00

回复了 Bkyaro 创建的主题 › 问与答 › 专业选了计科，应该往哪个方向学

每年的 Gartner 技术成熟度曲线

[狗头] 保命

2020-08-08 19:36:40 +08:00

回复了 howoldareyou2 创建的主题 › 问与答 › 百度网盘真绝啊，非会员下载速度个位数

能用钱解决的问题从来都是钱的问题, 而不是其他

简单的说, 百度的产品实在没有让我太依赖的, 也不是做的不好, 就是主观意识上不太想用, 现在百度知道上还几千财富留着帮别人下文档, 其他都在迁移

2020-08-08 19:32:39 +08:00

回复了 FlyerWonder 创建的主题 › 职场话题 › 学校还行，毕业半年， 0 工作经验，怎么找到第一份工作？

@FlyerWonder

第一份工作千万别去小作坊或者外包, 尤其是突然就创业的小团队, 就这么一句忠告, 直接影响到你未来的方向, 下一份工作的薪酬, 跳槽时候简历过审几率, 企业文化等工作习惯

既然家里面没有经济压力, 还是先观望一下, 可以自学深造积累一下基础和实践能力, 应届生面试没法问工作经历, 所以科班生会着重考察基本功和动手实践能力, 这方面多准备准备. 整个面试过程其实就是给用工方一个留你的理由

至于不想读书... 读研和读本其实天壤之别, 学士的任务几乎都是打基本功和看书学习, 而读研(硕博) 主要是科研类的方向, 是依靠之前学的东西做点成果出来, 比本科死读书的节奏好多了. 所以如果只是不想读书而不去读研, 可以换换思路, 写个爬虫把那些目标学校的硕导研究方向抓下来, 看看有没有你感兴趣的, 实在不感兴趣再放弃也不迟.

美国那边不熟悉, 认识的人在那边停工到上个月才勉强复工, 不过最近美国形势听说还是酋长拉选票或者转移注意故意做的事情, 再观望一下或者多找懂行的人了解一下比较好

综上, 信息不对称是选择恐惧症的根源之一

2020-08-08 19:15:11 +08:00

回复了 FlyerWonder 创建的主题 › 职场话题 › 学校还行，毕业半年， 0 工作经验，怎么找到第一份工作？

最近看多了水帖, 见到楼主逻辑这么清晰, 文字简练信息量大的主题居然还有点不习惯

美国现在是不是风向有点乱, 要不先等大选...? 疫情期间就业情形确实见仁见智还是慎重考虑一下, 一般成绩尚可的, 读个硕做点研究还算不错的选择, 不只是延缓就业, 可能找到自己喜欢的方向也会减掉迷茫

既然想落户上海, 就先不要着急确定工作, 对大多数人来说第一份工作对未来影响还是很大的. 几个建议就是, 你这种背景, 刚毕业不要走外包也不要盲目创业, 有华为 offer 继续找大厂问题不大, 找工作很多时候反而看的是运气, 现在的情形不好就沉住气继续找, 莽撞选择要不得

2020-08-08 19:03:25 +08:00

回复了 Te11UA 创建的主题 › Python › 多线程与协程爬虫有很大区别吗？多线程转协程能优化多少？

看到有几个回复挺反常识的, 提醒几个 Python 并发编程的常识问题吧

1. 线程开的越多, 执行起来就越快吗?

并不会.

一方面, 线程开太多, CPU 切换的成本会变高, 也就相对降低了 CPU 利用率, CPU 很多时间浪费在调度上而不是计算上. 有关怎么切换的, 可以随处找找 GIL 的文章, 不过还是不建议自己修改对应参数 setswitchinterval (旧版本的 setcheckinterval )
另一方面, 对爬虫来说, 如果连接速度靠谱的话, 有可能一个线程就跑满了带宽, 那开多线程除了让所有任务一起抢资源, 并不会降低总时长, 也就是常见场景: 为什么我开 5 线程比开 100 线程还快(或者差不多). 与普通程序不同, 爬虫程序传输数据一方面看你的带宽, 另一方面还特别看重目标服务器的负载能力.

2. 有一个比较合理的并发数量吗?

参考:
Python3 里面 ThreadPoolExecutor 的 max_workers 默认值是 (os.cpu_count() or 1) * 5
可以根据带宽使用率适当调整这个数值.
(另: 多进程 ProcessPoolExecutor 默认 max_workers 就是 os.cpu_count() or 1)

3. 不计带宽和 CPU 能力的情况下, 是不是线程开的越多, 速度越快?

也不完全是.

拿 Requests 库来举例, 它的 Session 默认连接池大小取决于 HTTPAdapter 对象的 pool_connections, 这个默认值 DEFAULT_POOLSIZE = 10
简单的说, 如果不修改 HTTPAdapter 连接池的大小, 那可能瓶颈基本限定在这里了. 至于有些人选择不用 Session 复用连接, 我举个例子算了: 之前抓某东的某数据, 复用连接的情况下速度比每次新建连接大概快了十几倍.

4. 是不是用协程就比线程快, 节省 CPU?

不一定.

协程提高的是 CPU 效率, 遇到高并发的抓取, 你会发现协程 CPU 一直 100%, 因为它真的很忙, 而多线程反而可能在 80~100% 波动. 至于速度, 简单的提个例子, falcon 那是相当擅长 Benchmark.

协程中最使我受益的并不是性能, 而是它属于随时可以 Cancel 的, 一个已经执行的线程, 想在外部杀死它简直太费劲了.

1 ... 60 61 62 63 64 65 66 67 68 69 ... 133

❮

❯