Kubernetes 该用什么开源存储

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

目前，我们公司正在使用青云的 KES ，不过尚未购买存储服务。目前采用 NFS 方案，但其性能似乎已不能满足我们的需求。因此，我们考虑进行更换，选择了 Ceph 。然而，根据一些反馈，Ceph 的运维难度较大。

因此，我想请教各位专家，是否有其他推荐的分布式存储方案？(最好是免费的，因为我们公司的预算有限。感谢大家的建议和帮助！)

第 1 条附言 · 30 天前

买的是青云的 KES,本地许可.部署在集团的 VM 机器上

29 条回复 • 2024-12-23 09:18:40 +08:00

mightybruce

31 天前

提供的信息太少，分布式存储多的很，免费还想好用，性能还不错没有这个可能性。

GeekGao

31 天前

试试 juicyfs ？

defunct9

31 天前

GlusterFS

PeiXyJ

31 天前

@GeekGao 大佬有在生产环节上用过吗?

PeiXyJ

31 天前

@mightybruce 您说的很有道理,其实就是在免费里面找一个最好的而已...

GeekGao

31 天前

@PeiXyJ 没有，我都是用公有云上的。只是之前调研过它

thet

31 天前

GlusterFS+1

tap91624

31 天前

用过 hdfs 魔改的，估计和 hdfs 差不多

joyoyao

31 天前

分布式存储最好不要上 k8s ，数据库之类的可以搞主备方案。分布式存储中网络是最大的瓶颈，如果不是自建物理集群，单独对网络进行优化，性能都不太行, 而且网络优化这一块难度比较大，设备也比较贵。如果用分布式存储的话推荐 ceph 。不过要单独搞个 10G 以上的网口给 ceph 用。主备方案可以考虑 kubeblocks 或者各种数据库 operator 。

perfectlife

31 天前

云上不是可以直接挂在云盘作为 pv 么，简单省事

hutoer

31 天前

开源里面最好的估计也就 Ceph 了。GlusterFS 小文件性能极差，不适合 k8s 中使用。

hutoer

31 天前

我们线上 10 多台存储服务器，跑 Ceph ，还行吧，平常也没啥需要运维的

COW

31 天前

我建议先从硬盘规格、网络带宽、共享协议这几个方面进行优化，然后再考虑分布式存储方案，Ceph 已经是个比较理想的选择了，运维上确实有一定门槛，而且硬件差的话运维起来会很难受。

zed1018

31 天前

mark 一下这个帖子，我们现在在用 nfs ，作为 client 的那个 node 性能指标确实很难看。

CCIEliu

31 天前

如果你想方便易用，强推 Longhorn ，甚至有 web 管理页面，全量备份，增量备份，离线备份到 S3 ，多副本，热升级，都行。用了都说好。
https://longhorn.io/

当然如果你想功能完善健壮，那还是要用 ceph+rook

sunziren

31 天前

ipfs

pckillers

31 天前

目前用腾讯云的 K8s 。貌似叫 TKE 吧。储存原来是 nfs 协议的 CFS 服务。后来跑 ai 就上了个不知啥协议的腾讯自己封装的 cfs-turbo 服务。插件里点一下，就装好对应的 storage-class 了。很方便。

COW

31 天前

@CCIEliu longhorn 是块存储设计，如果 k8s 上利用 RWX 共享卷给团队用，相当于走了 nfs + 块存储两层，而 NAS 直接走 nfs 只要走一层，同样的硬件下，性能说不定更慢了

CCIEliu

31 天前

@COW
0. Longhorn 当然是快存储设计，楼主正在寻找分布式存储，Longhorn 即为分布式快存储。
1. 楼主没说要 RWX ，目前只是已经在用 NFS 的方式提供持久化方案。
2. 楼主明确说 NFS 已经不满足读写性能，如果切换 longhorn ，楼主不至于用已经存在性能问题的 NFS 当后端。过两遍存储逻辑。
3. 也有没在回复中推荐将 NFS 作为 longhorn 的底层存储。
4. 没明白你单独拎出来这种"如果"想表达什么。

CCIEliu

31 天前

@CCIEliu *块存储

COW

30 天前 via Android

@CCIEliu 我的意思是 op 可能就不需要块存储的需求，NAS 本身主要就是用于文件共享和备份，是基于 nfs smb 这种文件级协议设计的，如果想找替代品的话，应该是倾向于类似 cephfs 这种文件级的存储方案。