你说的这个叫代理

数据安全也是一个很大问题，训练用的数据可都是各大公司的资产，云厂商可以通过签署合同承担责任，个人用户你没法约束他而且也不稳定，而且把现在普通显卡和专业超算算力差距会越来越大，大概率得不偿失

再说吧复杂模型必须只能是大厂商巨额投入才能玩得动的，否则如何建立护城河，越是难以进入的领域就代表着越高的回报，资金对于他们来说完全不是问题，所以这个的发展方向只会是更大更贵更复杂

这事看起来没啥复杂的，就是累人，图表显示还好，既有开源系统可以用各种云厂商也有，收集数据确实麻烦，一般也不标准化，或许可以看看各种 pra 工具能不能搞搞

@ben548 本地缓存要么是很长时间不变的，比如各种 secret ，或者集群状态缓存之类不断上报的，要么是读取频率超高，比如数十毫秒过期还能有 10 比 1 命中率的，否则没啥用的价值，redis 缓存怎么也得有 4 比 1 的命中率才有用的价值吧，否则一味搞缓存真的是负优化，纯粹就是给自己找麻烦

@ben548 太脆弱，如何保证肯定不出错是个问题，有个变更事件没接到或者挂了想再一致太难，缓存的作用是在超大量的时候提高大部分效率，而不是在小流量下加速所有请求，这种没意义，本地缓存的真正价值是读取延时纳秒级，就算过期时间 10 毫秒，假如每秒 10000 次调用，其加速也是巨大的，如果每秒 10 次调用，你再怎么搞也毫无意义，redis 延时毫秒级，数据库几十毫秒，你本地缓存搞个分布式不是把纳秒级延时生生搞到毫秒级了么，这完完全全是负优化，别钻牛角尖啊

@TtTtTtT #14 通用沙箱 python 这种想对性能影响不大确实不容易，但看楼主需要似乎做的是类似 Google colab 的服务，应该是需要在调用特定算法库或者访问网络磁盘计费，这种就还好了吧，毕竟静态编译的 ast 分析分歧小但是加钩子还挺麻烦的，python 加钩子拦截可就容易的很了，安全调用和 cpu 内存限制其实放给容器或者其他通用沙箱环境就好了，没必要在 python 层面弄吧，毕竟系统层面弄这些可比 python 层面弄这些容易多了性能损失也最小

@f1ynnv2 #10 确定不是写的问题，我们十多个进程每天写入数十 G 的时候没发现有错行的问题，也这样运行好多年了，没发现啥异常

https://gist.github.com/snower/adcf300f3daff99549dbe1949982a5dc

我们项目就是重写了 doRollOver ，使用文件锁来处理，这样就算多个进程是独立创建的也没有问题，只是似乎不能在 windows 上用，而且这个函数只有在需要重新创建日志文件的时候才会调用，正常写日志的时候不会有影响，所以也没啥性能问题

如果你日志是有时许的，每个进程写单独文件，看日志的时候还不累死了，不就是时间的文件归档有问题么，修改下 doRollOver 加个锁就是了呗，也不是啥麻烦的事情

@mythjava 那我猜你需要计费的代码应该是 numpy 和 pytorch 这样重数学计算库，或者大量文件和网络请求吧，参考 gevent monkey patch 的思路做拦截计费就行吧

@mythjava 提取出来用途是啥？ python 好多都是运行起来才知道的，静态分析还是有限，如果想有限运行，那还不如搞沙箱来的容易一些

@TtTtTtT #3 加上闭包动态属性什么的一周都不一定能搞定吧

说不定还是直接运行一下然后通过 trace 追踪一下那些行被调用了实现起来更快呢，话说你干嘛呐？多余的代码就多余呗，耗点性能也无所谓吧

@julyclyde #13 是的，需要 pip install sevent

python -m sevent.helpers @arproxy -p 80 -T none @arproxy -p 443 -T none

一条命令行就可以，不但会解析 sni ，普通 http 还会解析 header 通过 HOST 字段提取域名，如果你还有上级代理得话也可以指定转发到上级代理来访问

如果你已经有代理了话，其实可以不需要再境外 VPS ，指定 hosts 后，通过 iptables 重定向流量到命令行启动的端口，然后再转发到代理就好了

或许可以更粗暴点，从 RocketMQ 收到消息通过新的交换机再次发送 RocketMQ 各个不同的数据源队列去，然后各数据源各自消费者，反正不成功消息不会从队列消息，自动就有重试

顺势顺周期，金融周期，货币周期，库存周期，信心情绪周期，科技商业周期

@MFWT #5 CA 的体系不就是你说的这个么，只不过系统都集成好了，标准的证书校验本来就是用预制 CA 来校验证书签名，你说的这个预共享的 Hash 其实就是预先安装的 CA 证书，如果不方便安装的话而且似乎大部分语言发起 TLS 的时候都能手动指定 CA 证书吧

既没人认真写，写了也不会有人认真看，这才是现实