最有价值的其实是那套过滤策略(删除规则), 这东西是各种同类软件的主要竞争力, 比速度还重要... 又想干净, 又怕误删最麻烦了

前面都提过了商用带宽什么的

然后楼主主要说服务器负载不均衡导致的浪费, 其实现在云原生各种方案已经把资源浪费率降到很低了, 几个名词可以搜索了解一下

1. cdn (按需付费, 服务器并不在自己手里)
2. spot 竞价实例(一折费用, 考验运维基本功)
3. Serverless / Faas (按使用量付费, 而且可以快速伸缩解决负载拥堵与空闲)
4. K8S (一台机器可以把资源拆分成几十 MB + 几个 vcore 给应用)
5. 图床类的去重存储和秒传 (哈希表之类的, 我这边 30 TB 图片视频可以节省三分之二)
6. 其他(流计算, 各种集群, 乱七八糟的)

大致手段一般就是: 存算分离, 按量付费, 深度解耦

有没有一个自媒体多平台同步工具？ - 知乎 - https://www.zhihu.com/question/52240701

这种? 之前 V 站也有推广过的小伙伴, 懒得搜了. "貌似" 有些风险, 所以没啥正规军去做这个东西, 实际上很多博主 up 主手头都有一整套工具或者运营团队来操作多平台帐号

1. 看官方有没有提供命令行文档或者 dll 之类的动态链接库给第三方调用
2. 有些 Windows 软件可以直接操作控件, 虽然打开了 GUI, 但是可以用底层 api 把窗口直接隐藏然后后台操作空间. 并发是个问题
3. 不建议. 上面说的 Hook 一下, 不知道违法不违法, 不过当初公众号某些爬虫做的就是 Windows 上面沙盒+Hook

之前忘了看哪个人的推, 说他们也很惊讶 go 在中国这么热门...

别的没啥感觉, gost 是解决我大问题了

刚毕业那四年一直是公司发的慈铭体检

后来自己去三甲医院体检中心, 因为好处是查出幺蛾子不用再查一次. 上次慈铭查出胆囊息肉过大, 去协和一查没那么大, 排队就等了一周...

1. mongo_connect 哪来的有点陌生, 这东西不好调试的话临时闭包到 run_spider 里测试一下? 怀疑有些变量传递到进程里面有地方不太对, 多进程类似于各种并行计算的一个特点就是: 尽量无状态无副作用, 里面的各种依赖 /参数 /上下文都尽量隔离干净
2. 本地调试可以运行但线上不行的话, 可能的地方特别多(难怪虚拟化和 go 那么火了)
2.1 最大可能是网络本身就不通(防火墙规则啊, 网卡 ip 不对啊, 非局域网啊, 非开放端口啊), 但是如果关了多进程会 ok, 网络应该不是问题. 可以临时把 PoolProcessExecutor 改成多线程那个, 反正接口一样的, 而且爬虫这玩意本来就没必要多进程
2.2 Python 版本有区别, 个别底层依赖有差异, 这个少见但也遇到过
2.3 第三方依赖的版本或者 C 依赖有差异, 尽量排除这种情况, 以前我遇到过类似情况, 换个版本居然就通了
2.4 检查是不是每个进程都超时, 有一定可能是程序里面或者 mongodb 那边有奇怪的死锁

看了几个长篇大论的回复, 说的也没啥问题, 为啥遭到那么强烈的回怼...

如果是其他社区, 估计也没这么多苦口婆心反而更多幸灾乐祸 + 满嘴 YYDS 的段子手. 没必要一个个怼回去, 上士无争, 选听得进的听, 听不进的以后自己也会自然明白对错.

提个不一定有用的建议: 正视自己的自学能力, 不想放弃编程就老老实实啃那几本基础课程, 语言学多了用处不大, 写到简历上被问住反而会扣分, 精研一两门然后有目的性地做好一两件事吧. 语言或者框架学多了只是 "术" 上的专攻, 基础打牢受益终身

本身跨学科道阻且长, 把编程当兴趣力度不够, 热爱它然后趁着年轻为它拼一把

PS:
1. 特地回头搜了下 geek 这个词... 以前一直以为是 linus 那样的, 翻译让我大开眼界了.
2. 现在卷这个词已经到了滥用的地步了, 没必要一直挂在嘴边, 蓝海向红海竞争过渡都是必然趋势, 并发问题没处理好只是个借口, 主要原因还是可被替代(对方比你便宜或者其他地方比你有优势).
3. 内行看文档, 外行看教程, 尽早把习惯改一改.

ddl 估计不是我以为的那个 ddl.....

你们项目管理靠嘴么, 这都不走那就是他们给太多了吧, 忍忍算了

@7y

不算前辈... 后端日常用的不多, 已经转 fastapi 了, 喜欢原版或者折腾的可以继续 starlette, 我是怕麻烦那部分... 目前看起能一统江湖的协程 ORM 有了几个, 但是真正统一的还不太行, 各家都在努力造生态

用 starlette 的话, 他们 encode 出的兼容性都比较不错, 当年搭配他们家的 databases; fastapi 作者整了个 sqlmodel 但我看的时候 asyncio 部分文档都没写完...

其他的话, awesome-asgi 或者 Awesome fastapi 之类的里面会有一些, 反正我用过的都只算可用

以前的想不起来了, 最近会用到的是图片转 html 让我直接看文件夹里多张图, 低代码爬虫追剧 B 站追更, 某上网软件节点检测切换, 批量删除视频, 批量操作 chrome...

@ltruntu
这不都是西游记里的东西么?

别好像, 直接去医院, 大夫说我是干眼症还开了点结膜炎的眼药水, 实际上楼上们说的症状我貌似都没有, 就是偶尔有异物感

最后安排了一个月 4 次的睑脂腺按摩, 那酸爽, 第一次弄的时候说这么多... 然后莫名有一种失明后重见天日的感觉, 之后路效果没那么明显了

1. 名字要有意义
2. 名字要有创意
3. 名字要容易记

根据系统用途, 联想到各路天神的技能或者古典神话算了

日志监控系统谛听
爬虫系统千里眼
报警提醒系统顺风耳
财务系统叫财神爷
稳定不宕机的叫六道轮回
不稳定容易宕机的叫八卦炉(天天炸炉)
考勤系统五指山
信息管理系统生死簿
客户关系管理系统扫把星
进销存系统五脏庙
内网 IM 系统小雷音寺
外网 IM 系统大雷音寺

随便想想一大堆

没有太火, 上次看这名字还是在 Benchmark 上, https://web-frameworks-benchmark.netlify.app/result 性能略微优势但又没那么明显. 比速度不如同步的 falcon, 易用性和生态现在也被 fastapi 统治了

现在异步框架做来做去看起来都挺像 starlette 的, 后来一些框架更是直接拿它托底了... 如果真要搞异步以及学习, 看看这个还是挺不错的选择, 比较这个 encode 出品了不少好东西了, 生态都快砸出圈子来了

VPN 是正经出路, 早架早享受, 隧道用久了感觉太扯淡了

别人当年也劝过我别拿兴趣当饭碗... 工作年限越久转职越纠结, 因为公司可能更倾向于为你的 "工作经验" 买单, 而不是你的未来可能性

如果实在纠结, 再面几家以前没把握的试试?

go 的市场有点虚, 看似是大趋势, 但还是很吃生态, 社区生态虽然也火热, 但很多大厂还是更相信自家闭源生态, 站出来开源的不占多数, 如果运气好进了一家氛围不错的确实能成功转型, 运气不好就难说了可能前期非常吃力, 因为指望工作中掌握一门技术的要么运气极好要么满盘皆输

至于内卷这个事, 是那些刚入行没其他竞争力只能靠偏门竞争的人折腾的, 你又不跟他们在一条起跑线上怕什么

早年间用的 processon, 然后现在白瓢的 draw.io 存在 Google Drive 上