V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
luozhiyun
V2EX  ›  程序员

请问自学 ElasticSearch 如何进阶

  •  
  •   luozhiyun · 2018-08-05 15:15:23 +08:00 · 3657 次点击
    这是一个创建于 2062 天前的主题,其中的信息可能已经有所发展或是发生改变。

    最近我自己一直在学习 es,看了很多资料, 把官网的资料也看的差不多了.自己在公司的实操中,也利用 es 解决了一些问题, 例如,以前公司七八台服务器想看日志都是挨个拉下来看的, 现在我利用 ELK 在测试服务器中搭建了个 ELK 进行日志的收集,避免了很多日志的查找工作,但是我觉得这远远是不够的,想要像各位大神一样利用 es 做更多的事情该怎么去做呢?

    而且我觉得这种类似于数据库的操作没有练习的话是很难成长的,请问大家是如何进一步的学习的呢?

    15 条回复    2018-08-06 14:52:36 +08:00
    pathbox
        1
    pathbox  
       2018-08-05 15:48:36 +08:00 via iPhone
    document 看一遍其实不够
    my3157
        2
    my3157  
       2018-08-05 16:05:20 +08:00   ❤️ 3
    其实具体操作倒是可以不用 care, 比如怎么去 full text search , 怎么 term search 之类的, 不会了查文档就可以,

    依照楼主的思路, 主要应用在日志这块, 可以尝试如下:

    日志收集 ==> 一般用 filebeat 收集, logstash 解析为 结构化数据, 比如 nginx 日志, 解析出 status, byte send, url path, url refer

    日志查看以及搜索, 简单的分析 ==> kibana

    日志告警 ==> 对异常状态产生的日志发送告警信息, 可以在两个点做, logstash 处理日志的时, 可以执行个脚本发送告警, 或者用第三方工具, 用游标的方式监控特定 index, 符合条件就发送告警

    高级分析, 业务分析 ==> 写程序, 出报表, 和用 RDBMS 没区别, 查询方式 /数据源 变了而已

    优化 ==> 觉得最应该做的是 ES 集群的优化, 当日志的量特别大的时候, IO 不够, 查询慢, 集群脑裂等, 另外, 基于 ES 的日志体系数据链太长, filebeat --> mq(redis/kafka) --> logstash --> es --> toos (kibana/other),任何一个点出问题都会影响整个流程, 如何保证整个数据链的健壮以及容错性


    反而楼主问的: `而且我觉得这种类似于数据库的操作没有练习的话是很难成长的,请问大家是如何进一步的学习的呢?` 不太重要
    RqPS6rhmP3Nyn3Tm
        3
    RqPS6rhmP3Nyn3Tm  
       2018-08-05 17:13:15 +08:00 via iPhone
    Grafana 我觉得比 Kibana 好用一些,报警问题完美结局
    misaka19000
        4
    misaka19000  
       2018-08-05 17:31:35 +08:00 via Android
    学习!
    luozhiyun
        5
    luozhiyun  
    OP
       2018-08-05 18:42:41 +08:00 via iPhone
    @my3157 学习了
    luozhiyun
        6
    luozhiyun  
    OP
       2018-08-05 18:43:03 +08:00 via iPhone
    @pathbox document 反复的查了好多遍了额
    SimbaPeng
        7
    SimbaPeng  
       2018-08-05 22:13:55 +08:00
    学 Lucene
    owenliang
        8
    owenliang  
       2018-08-06 08:13:33 +08:00 via Android
    解决业务需求来磨练吧。。
    luozhiyun
        9
    luozhiyun  
    OP
       2018-08-06 09:14:36 +08:00 via iPhone
    @owenliang 没业务的,日志系统都是我自己要求做的
    shaohan0228
        10
    shaohan0228  
       2018-08-06 09:29:43 +08:00
    也是刚开始用 elasticsearch,但是仅限于搭建环境+日志收集+插件查询日志,然后就是照着 metricbeat 把一部分监控数据存储也迁移到了 elasticsearch。但是关于下一步就迷茫了
    WilliamYang
        11
    WilliamYang  
       2018-08-06 10:04:08 +08:00
    老实说,自学这个基本上很难进阶的,因为你没有实际的大量数据演练,除非在公司里应用,会学习得快很多
    luozhiyun
        12
    luozhiyun  
    OP
       2018-08-06 11:13:14 +08:00 via iPhone
    @WilliamYang 老铁,如果不会的话,没公司会让你去做的,也得不到训练,这是一个矛盾点
    smallpath
        13
    smallpath  
       2018-08-06 11:13:28 +08:00
    三周前发布的 Grafana 5.2 版本支持了 Elasticsearch 告警,不查详细日志的话没必要用 kibana 了
    luozhiyun
        14
    luozhiyun  
    OP
       2018-08-06 11:14:28 +08:00 via iPhone
    @smallpath 我去看看
    streamo
        15
    streamo  
       2018-08-06 14:52:36 +08:00
    @luozhiyun 没这么难,其他基础比较扎实的话可以找到相关工作的。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   3228 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 26ms · UTC 12:08 · PVG 20:08 · LAX 05:08 · JFK 08:08
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.