这是一个创建于 622 天前的主题，其中的信息可能已经有所发展或是发生改变。
最近要部署一个 yolo 模型服务，这个服务需要保证上万的并发同时低延时返回模型的预测结果，我目前测试了以下方案。 1.最初尝试购买 GPU 云服务器，模型转化为 onnx,用 bentoml 这样开源框架打包镜像部署，但是发现并发高的时候就会阻塞，很多请求都等待了半分钟以上的时间才返回结果。目前我猜测是 GPU 达到了最高的并发处理数。
后来我又采用 triton 服务把模型上传到 oss 上，自己再写一个 grpc 的服务进行图片结果的预处理給 k8s 集群调用获取最终结果。这样只需要我只需要动态的增加 triton 的节点就可以保证高并发的要求。但是 k8s 进行动态扩容都需要很长的时间，根本没办法满足要求。搞了这么久发现通过增加服务器的方式根本满足了现在的需求。
又去调研了一下 google ai platform,文档里又没找到关于 pytoch,onnx 格式的支持。
就想问问你们对于这种高并发模型推理，都用什么平台和方式部署。
 |
1
lookStupiToForce 2022-08-05 18:53:51 +08:00
这是至少价值 100 万以上的解决方案，v 友们快来免费分享吧（狗头
|
 |
2
hxndg 2022-08-06 00:22:22 +08:00
高并发，低时延，然后还要 k8s 快速动态扩容感觉有点难啊。
预测能不能利用 cache 呢？ |
Select Language