这是一个创建于 609 天前的主题，其中的信息可能已经有所发展或是发生改变。
之前用的 juicefs 做存储，但是发现 iops 性能太低，不适合给数据库类型的服务提供存储，用 ceph 感觉太重了，除此之外，还有没有其他比较轻量级的方式？
 |
1
perfectlife 2023-03-29 19:17:44 +08:00 via Android
local pv 省心
|
 |
2
sniperking1234 OP @perfectlife 使用 localpv 的话，pod 一旦建出来就不能调度到其他 node 了吧，那么如果 node 挂了该怎么处理呢
|
 |
3
ysjiang4869 2023-03-29 22:01:14 +08:00 via Android
@sniperking1234 主从
|
 |
4
pmx1990 2023-03-29 22:17:26 +08:00
我记得 ceph 用起来坑也不少，之前公司 all in 容器，local 是最佳方案
做到 pod 不漂移 ip 不变等特性就好 |
 |
5
fisherwei 2023-03-29 23:38:21 +08:00
你先说说规模呀，多少个 K8S 节点的集群，规划的存储容量是多少。
|
 |
6
ExplodingFKL 2023-03-29 23:38:39 +08:00
可以试试 nfs-subdir-external-provisioner ，这个需要外部 NFS 服务器，
或者可以试试 nfs-server-provisioner ，在一个节点建 local-pv 通过 nfs 自动挂载到其他节点 但 ... 两者 IO 性能并不高 |
 |
7
drizztdu 2023-03-29 23:53:32 +08:00 via iPhone
Longhorn
|
 |
8
dayeye2006199 2023-03-30 00:42:16 +08:00 via Android
Openebs
|
 |
9
locoz 2023-03-30 01:44:28 +08:00
ceph 其实不算重，rook 已经帮你简化很多了，按着要求配置就行。但 ceph 的问题在于维护起来需要有一定的专业知识，在不了解 ceph 的架构和一些设计细节的情况下，出了问题不好解决（虽然通常都可以自动解决）。
|
 |
10
hefish 2023-03-30 08:50:37 +08:00
数据库跑到共享存储上去啊，这个注定 IO 不高吧。。。
|
 |
11
zzl22100048 2023-03-30 08:56:27 +08:00
directpv/local-path-provisioner
|
 |
12
sampeng 2023-03-30 09:06:24 +08:00
数据库你放 k8s ？是想学死字的 n 种写法吗？
云端也尽量不要放在 k8s 里啊。虽然他可以漂移。你线上环境飘一个试试看？ |
|
13
sampeng 2023-03-30 09:10:05 +08:00
ceph 真的已经是简单到爆炸了的东西。。。只要你肯大力出奇迹。就不会出问题。
比如我上一家,大力出奇迹。两台 dell 的 40T 磁阵。10 台服务器。组成一个 ceph 集群。并且是光交相连所有设备。再来 36 台的 16c64G 的服务器当 k8s 服务器。稳如泰山。2 年到我离职我都没去碰过他，全程默认值。最后一看，也就用了 10T 不到。。也就 2000 来个 pod 吧 |
 |
14
defunct9 2023-03-30 09:19:26 +08:00
glusterFS
|
|
15
sniperking1234 OP @fisherwei 规模是 5-10 个节点左右，不算是大规模，所以想找个轻量级的存储
|
|
16
sniperking1234 OP @sampeng 现在我们集群规模没有这么大，所以感觉 ceph 有点重了
|
|
17
sniperking1234 OP @sampeng 我们是私有部署 k8s ，直接一套集群交出去就行了，要是再单独找机器部署数据库，相当于是两套部署逻辑了
|
 |
18
derek80 2023-03-30 09:40:19 +08:00
这块兼顾稳定性和性能的话，商业产品还是领先一些。如果动手能力强可以用下 https://github.com/LINBIT/linstor-server
|
|
19
sniperking1234 OP @derek80 我去看下，感觉架构也是挺复杂的
|
|
20
perfectlife 2023-03-30 10:19:00 +08:00
@sniperking1234 老实讲如果是小门小户的就这几个节点，技术团队可能也不太强大，没必要有状态服务往 k8s 里扔，找个物理机器部署最安逸。至于 node 挂了该怎么处理呢，首先 node 挂的机率不大，如果是自己机房的机器，参考你日常服务器挂了咋处理。分布式存储用起来爽，出问题直接火葬场
|
 |
21
coefuqin 2023-03-30 11:57:19 +08:00
rook-ceph.
|
|
22
sniperking1234 OP @perfectlife 说的也是，先考虑用 local pv 了
|
|
23
sniperking1234 OP @ExplodingFKL 用作数据库的存储感觉就不太合适了
|
|
24
sniperking1234 OP @zzl22100048 local-path-provisioner 是不是 openebs 的 pv 类似
|
 |
25
runzhliu 2023-04-12 16:38:03 +08:00  1
我们之前的私有化方案里用的是 Longhorn+Minio ，可以参考一下
|
|
26
sniperking1234 OP @runzhliu 性能和本地存储比怎么样
|
Select Language