BentoML - 基于 Python 的机器学习模型生产部署框架

[parano]

hi 大家好，分享我最近在做的一个开源项目 BentoML，一个基于 Python 的 machine learning model serving 框架： https://github.com/bentoml/BentoML

BentoML 是一个用于将机器学习模型生产化和部署的工具。数据科学家可以通过 BentoML，来将训练好的机器学习模型，开发成适用于生产环境的 API 服务器(mode server)。BentoML 支持绝大多数主流的机器学习框架，包括 Tensorflow, Keras, PyTorch, XGBoost, scikit-learn, fastai, 等等。

BentoML 自带一个 基于 aiohttp 和 asyncio 开发的高性能模型服务器。它支持 micro-batching，可以在做实时请求的时候，更高效地利用机器学习框架和底层硬件在处理 batch 数据时的优势，从而达到更大的 throughput 和更小的 latency 。它同时也提供离线的 batch serving 、模型管理、和自动化部署等功能。

希望对在做机器学习的朋友有帮助，有什么问题或建议欢迎指出，感谢！

相关链接：

• BentoML 简明教程： https://docs.bentoml.org/en/latest/quickstart.html
• 在线文档： http://docs.bentoml.org/
• Github Repo: https://github.com/bentoml/BentoML
• 推特：@BentoMLai

[carmark]

赞，可惜不太懂 python，要不就贡献下了。

[parano]

@carmark BentoML 里面也有一些 TypeScript/JavaScript 的 component 噢，有兴趣 contribute 的朋友欢迎加 [BentoML Slack]( https://join.slack.com/t/bentoml/shared_invite/enQtNjcyMTY3MjE4NTgzLTU3ZDc1MWM5MzQxMWQxMzJiNTc1MTJmMzYzMTYwMjQ0OGEwNDFmZDkzYWQxNzgxYWNhNjAxZjk4MzI4OGY1Yjg) 来找我聊

[carmark]

@parano 我是 golang 生态，kubeflow 那套

[dick20cm]

何必又造一遍轮子~

[parano]

@carmark 计划用 go 做 Kubernetes 的 CRD wrapper 和对应的 controller 。Btw BentoML 现在已经是 kubeflow 推荐的 model serving 工具之一了 https://www.kubeflow.org/docs/components/serving/overview/

Kubeflow & BentoML 部署文档： https://www.kubeflow.org/docs/components/serving/bentoml/

[parano]

@dick20cm 因为市场上现在找不到这样的轮子啊

[Davic1]

OP 是 BentoML 的 Founder 吗？ 这周末正参加 PyCon2023 的时候了解到了 BentoML ，20 年的帖子现在看来发展的非常好哦！