V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  ClericPy  ›  全部回复第 7 页 / 共 129 页
回复总数  2574
1 ... 3  4  5  6  7  8  9  10  11  12 ... 129  
343 天前
回复了 apostleChan 创建的主题 编程 Python 是万能的吗?
一个标题, 空内容, 仿佛回到二十年前的贴吧...
351 天前
回复了 ChenJHua 创建的主题 Python Python 内存优化问题
@ChenJHua 我之前把东西跑 hadoop 上也天天优化内存, 你这优化个 6MB 就很伪需求了... Serverless 一般最小规格都 128MB 了, pymongo 导入就这么大, 用精确导入具体对象的方式呢? 然后手动 gc.collect 什么的. 真抠啊
351 天前
回复了 ChenJHua 创建的主题 Python Python 内存优化问题
@ChenJHua 就是不直接使用 pymongo 对象, 改远程调用或者跨进程... 那个对象本来就一大堆内置方法, 内存省不了多少的, 做个 HTTP 的接口封装一下也行. 一般情况下脚本都不允许直连数据库, 你们可能要求不严格.

其实我说的就是走远程过程调用相关的事情, 有点跑题了.

你一百个脚本走一百个进程, 实际上 python 解释器运行时候 builtins 也占用 20 多 MB 了, 节省那 6MB 实际意义不大, 缓存的包你跨进程没法共享, 你说的序列化什么的实际上又新建了一遍对象. 这些脚本可以考虑从多进程转到多线程里面, 就可以共享连接池了.

现在看到一大堆脚本就头疼, 刚换的工作掉进脚本地狱里了, 所有东西都面向过程毫无抽象逻辑, 怀念有 azkaban 管理的上一份工作
351 天前
回复了 ChenJHua 创建的主题 Python Python 内存优化问题
麻烦, 自己倒腾个 ipc 算了, 就几行原生代码, 我是照抄官网的 asyncio 和 struct 自己搭个 Unix domain socket 就完事了, 你这情况都用不着这么复杂, 我那是抗上万并发用的
试试 JS 能定位么, 有时候因为内嵌 iframe 了得在内层 node 上运行 JS? 瞎猜的~ 早就不用 selenium 了
我记得 Pycharm 自动把当前项目加入路径, 还是说启动脚本的 cwd 和 vscode 不一样

简单对比就是你在最开头分别打印 sys.path 和 os.getcwd
外行表示... 你发的顺序似乎就是目前流行程度, gf 比较新但是挺多人推荐的
potplayer 就有无缝切换提前预加载... 看了需求没看懂用 python 输出成 web 还是啥...
360 天前
回复了 sapphires 创建的主题 分享发现 文心一言通过了我的申请,然而
这标题, 只有 "需要翻墙" 四个字补全毫无违和... 其他操作都不会让人感到转折

它也怕你乱问
2023-03-25 09:42:06 +08:00
回复了 idlewater 创建的主题 程序员 最近魔怔了,天天在 github 上数星星
随便写个爬虫不就好了... 何必自己点开
用了两年 Ubuntu 两年 mint 两年 manjaro... 感觉都差不多

软件还是看自己需求吧, manjaro 用啥装啥真双, 之前至少装个鼠标手势, 现在公司强制用 Windows, 坑, 在虚拟机里就没法使了

tmux 之类的就懒得提了
2023-03-19 07:42:52 +08:00
回复了 CaptainD 创建的主题 问与答 Python 脚本直接的 import 管理
1. 定时启动和手动调用, 以及分别查看运行记录和日志
1.1 airflow, azkaban, systemd
1.2 比较次的情况, APS Scheduler, sched, supervisor+plan
1.3 不推荐 crontab

2. 共享模块问题
2.1 微服务(HTTP/RPC) 最能做好一致性和统一升级以及审计等能力
2.2 云原生 Serverless 之类也不错, 打通 gateway 或者其他 invoke 方式也行
2.3 私有 pypi 或者私有 git 用 pip 安装
2.4 通过挂共享盘路径方式存放共享模块, 可以用统一的 venv, 也可以 sys.path 的方式, 包括 pip install -t /share_path/xxx 的方式带上依赖

3. 解决上面脚本地狱的正经办法还是重构, 看成本是否能够接受吧
3.1 领域驱动设计, 从头划分边界与共性
3.2 服务化改造, 只通过 HTTP 或其他远程调用的方案, 起码把手动启动的改成远程调用
3.3 调度模块按 1 里面的改造成所见即所得的模块, 而各种配置信息用专业的配置中心服务不要硬编码
学啥语言都绕不开学 JS 和 py 的吧...

要是真的只向钱看, 看你底子吧:

1. 计算机底子很好, 科班出身, 或者名校毕业, golang 起点和天花板一般都不低, 能拿到一个比较满意的薪水

2. 自学成才类型的, 走前端是产出收益比最大的选项之一了, 浏览器和小程序还有 App 生态已经成熟, 虽然有些卷, 但门槛低一些收入也足够高, 前两年算风口上的行业, 招聘需求很旺盛带着薪资也提上来了

一般情况下的开发者会先熟练掌握一门语言把它吃透, 一方面解决吃饭问题, 另一方面语言大都一门通门门通的趋势, 至于说某某语言是 XXX 不适合 XXX, 还是看个人能力水平, 毕竟以前也出现过 JS 写操作系统的大佬...

对于主力语言的选择, 还是看自己职业背景与发展方向吧
2023-03-17 20:28:31 +08:00
回复了 Lambert2022 创建的主题 Apple 为什么最近的 AI 盛宴完全没有苹果公司的身影
估计这几天 Siri 都 emo 了... AIGC 其实能让我妈别乱听营销号, 帮她老人家解答一点生活常识其实就功在当代了, 我妈眼里的小爱就是个小弱智, 早年间还能 "百度一下 XXX" 或者 "搜一下 XXX", 后来不能用了
2023-03-16 18:46:47 +08:00
回复了 LeeReamond 创建的主题 Python Fastapi web 应用生产级守护部署的方式?
@byaiu
流行云原生吧, 主要想抄个版本答案, 能达到和以前那套一样流量不丢失的就行. 我也求问啊... 现在想到的就是多实例切流量, 不然默认的实例重启会弄丢当前连接

不是专业后端, 所以想照抄个当下答案, 如果不是后端是脚本, 就随便重启了
2023-03-14 18:54:50 +08:00
回复了 LeeReamond 创建的主题 Python Fastapi web 应用生产级守护部署的方式?
@LeeReamond 大哥, 我是来等新版本云原生的答案的...
2023-03-14 18:53:35 +08:00
回复了 evemoo 创建的主题 Python windows 下多线程执行 subporcess.Popen(),但子进程无法杀死
孤儿进程吗? 杀了以后 wait 试一下
2023-03-13 21:52:47 +08:00
回复了 edis0n0 创建的主题 Python aiohttp 糊的服务端如何快速实现防阻塞?
@edis0n0 可以, run_in_executor 吧
2023-03-13 21:39:48 +08:00
回复了 edis0n0 创建的主题 Python aiohttp 糊的服务端如何快速实现防阻塞?
https://docs.python.org/zh-cn/3/library/asyncio-subprocess.html

asyncio 子进程

对协程不熟悉的话真不建议用协程, 不然会经历很多痛苦的地方: CPU 密集阻塞事件循环, 同步代码阻塞异步任务, 多线程开太多切换成本太大.....等等
2023-03-11 22:01:25 +08:00
回复了 LeeReamond 创建的主题 Python 动态载入, import 之类的有什么轮子吗?
@LeeReamond

什么啊... inspect 查看函数入参类型的, pydantic 做校验, 类型错误就不执行了

监控变化用 watchdog 看文件变化, 删掉的逻辑是你只要导入过的模块一般 sys.modules 里面 del 掉, 再导入一次就是新代码了, 不用特定命名, 只要 import path 固定一个目录, 会自动去搜模块名字的. 我那个格式是 URL 路径的格式, 不是命名格式

如果不放心害怕有篡改文件或者有人偷偷注入什么东西, 我之前还想了做对整个 .py 文件加盐哈希然后哈希值放到文件第一行, 到时候导入前先判断文件对不对
1 ... 3  4  5  6  7  8  9  10  11  12 ... 129  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   5282 人在线   最高记录 6543   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 45ms · UTC 09:29 · PVG 17:29 · LAX 02:29 · JFK 05:29
Developed with CodeLauncher
♥ Do have faith in what you're doing.