首页   注册   登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
SKYNE
V2EX  ›  程序员

ES 集群节点角色配比,求大佬指点一下

  •  
  •   SKYNE · 35 天前 · 560 次点击
    这是一个创建于 35 天前的主题,其中的信息可能已经有所发展或是发生改变。

    0. 背景

    a. 前面发了一个贴介绍了当前集群的一些情况,请移步之前的发帖

    b. 同时也非常感谢几位前辈的建议

    c. 现在要准备实操优化了,自己准备分两个阶段进行:

    ​ 阶段一: 集群角色和资源配置优化

    ​ 阶段二: 冷热数据分离和索引生命周期管理

    d. 下面是自己准备对阶段一的方案,希望有优化维护 ES 集群的大佬帮忙指点一下,非常感谢

    1. 原集群角色和资源配置概况

    a. 集群角色配置不合理,没有设置属性,无法做冷热数据分离,也就无法配合做索引生命周期管理

    b. 下面是具体的节点角色和资源配置情况,更详细的背景和介绍,请移步之前的发帖

    c. 上次发帖说错了一个重要事情,存储都是 固态硬盘自己给说成了机械硬盘。。。

    2. 节点角色变更

    ​ a. 准备配置 3 台 Master,8G 内存。4 台 Ingest,31G 内存。2 台 Coordinating-Only,31G 内存

    ​ b. 准备配置 34 台 Data 节点,31G 内存。24 台 Hot,8 台 Warm,2 台 Cold,比例 12:4:1

    ​ c. 因为数据节点资源配置相同,故从数据节点数量上来配比,使得资源往不同属性节点倾斜

    3. ILM 配置

    a. Hot: 使用 Rollover,max_size 超过 100G 时滚动,优先级设置为 100

    b. Warm: 超过 90 天的索引移动到 warm 节点,一个副本分片,shrink 到 4 个主分片并 ForceMerge,优先级 50

    c. Cold: 超过 240 天索引移动至 cold 节点,0 个副本并 Freeze 索引

    d. Delete: 无

    4. 其他配置

    a. 原索引模板默认 32 的主分片,一个副本分片,准备变更为 默认 16 个主分片,1 个副本分片

    ​ 依据: 节点数 = 主分片数 * ( 副本分片数 + 1) , 分片数 = 单索引大小 / 20G

    b. 关闭 Data 节点的 Http 功能

    5. 忧心忡忡

    a. Master 节点 8G 内存是否有点少

    b. Data 节点的配置比例是否合理

    c. Ingest 节点与 Coordinating-Only 节点配比是否得当

    d. 再次希望有优化维护 ES 集群的大佬帮忙指点一下,超级感谢

    3 条回复    2020-06-02 10:27:29 +08:00
    iceecream
        1
    iceecream   35 天前
    菜鸟来问问,单机多实例,是不是你的十多台机器,每台跑 4 个节点,如果掉了一台,4 个节点挂掉,岂不是要丢数据?
    SKYNE
        2
    SKYNE   35 天前
    @iceecream 嗯嗯,会存在这样的因为主机层面的原因导致四个节点同时离线,要是有虚拟化的平台就好很多了,主要是现在也无法再对主机数量进行切分,工作量太大了。
    chennqqi
        3
    chennqqi   34 天前
    @SKYNE 虚拟化平台也一样,物理机挂了还是会挂,ES 节点分配角色时无法决定分配均衡在不同的物理机上。ES 的设计是一台机器上只运行一个实例,这样他的角色分布能保证不同副本分布在不同节点上。版本 ES5,ES6 、7 是否实现了虚拟化场景下的 node 分布不清楚。我感觉 ES 的设计其实是一个 CP 系统,不是 AP 系统,不知道理解的对不对
    关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   1136 人在线   最高记录 5168   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 22ms · UTC 22:33 · PVG 06:33 · LAX 15:33 · JFK 18:33
    ♥ Do have faith in what you're doing.