从七牛云 CDN 日志统计的的流量, 总比计费流量多 15% - 20%, 官方说这是正常误差, 费用照常收

你可能需要的是这个 https://github.com/Rebilly/ReDoc

@wangking #29 收费的, 对象存储一般上传流量不收费, 下载和存储都收费,

扔到 s3 之类的对象存储上, 价格会稍微贵点, 一个月几百块钱吧

@also24 只缺一个程序员系列

N 个 9 的故障概率只是个数字, 发生了就是百分百, 各家云服务商的 SLA 都差不多的, 就和快递一样, 如果没有做保价, 都是按照快递费赔偿(快递费的多少倍), 而做了保价, 就由保险公司赔偿了,

如果赔偿 1kw, 那云厂商都不用做了, 光故障赔偿都能赔破产,

上家公司用的云服务比较多, 引入一家云服务的时候, 首先考虑的就是 backup , 任何一家故障, 都能快速切换到别家, 期间遇到过各种故障, 云存储, 邮件服务, 短信服务, 身份证验证服务 等等(具体厂商就不提了), 都曾发生过故障, 但对于自己线上环境, 影响非常有限, 17 年 对象存储 4h+ 的故障, 线上的影响只是改个配置文件+restart

其实具体操作倒是可以不用 care, 比如怎么去 full text search , 怎么 term search 之类的, 不会了查文档就可以,

依照楼主的思路, 主要应用在日志这块, 可以尝试如下:

日志收集 ==> 一般用 filebeat 收集, logstash 解析为 结构化数据, 比如 nginx 日志, 解析出 status, byte send, url path, url refer

日志查看以及搜索, 简单的分析 ==> kibana

日志告警 ==> 对异常状态产生的日志发送告警信息, 可以在两个点做, logstash 处理日志的时, 可以执行个脚本发送告警, 或者用第三方工具, 用游标的方式监控特定 index, 符合条件就发送告警

高级分析, 业务分析 ==> 写程序, 出报表, 和用 RDBMS 没区别, 查询方式 /数据源 变了而已

优化 ==> 觉得最应该做的是 ES 集群的优化, 当日志的量特别大的时候, IO 不够, 查询慢, 集群脑裂等, 另外, 基于 ES 的日志体系数据链太长, filebeat --> mq(redis/kafka) --> logstash --> es --> toos (kibana/other),任何一个点出问题都会影响整个流程, 如何保证整个数据链的健壮以及容错性


反而楼主问的: `而且我觉得这种类似于数据库的操作没有练习的话是很难成长的,请问大家是如何进一步的学习的呢?` 不太重要

很多 ftp client 都提供 sync 功能, 另外可以试试 rclone

说句题外话, 和 楼主 /本帖 无关

golang 目前的状态是 N 多各种框架 /库 , 但不知道什么时候就不维护了, star 多的还可以转社区维护(如 mgo, martini), star 少的 直接 GG

ui 很不错, 不知道什么协议, 想拿来改改用下

@nvhanzhi #43 阿里的磁盘 IO 是和大小有关系的, 以前遇到过 N 次 磁盘 IO 莫名飙升导致的整个 server 假死, ping 都 ping 不通的情况

@nvhanzhi #34 另外, 加下 swap, 一般云服务器都是禁用 swap, 虽然说性能会下降, 但不至于死, 内存大小的 2 倍就 OK

@nvhanzhi #34 建议, 换个稍微大点的 SSD 盘, 把数据库迁进去 , 500G 左右的, 具体看下参数, 阿里云小磁盘, iops 灰常感人, 写日志都能把磁盘 io 写满

data dir 在 Aliyun 自带的系统盘?

本来去买笔筒的, 结果买了个笔记本支架 😭

@zetary #1 小米 65w 温度喜人, 从 0 冲到 100, 时间没注意, 反正烫手, 是正的烫手, 感觉快炸了

去年还是前年, 被 ddos, 攻击 IP 有很多是阿里云的 ip, 屏蔽了之后发工单问, 回复说证实之后会处罚, 还特意在工单里面说有结果了让通知下, 后来, 工单就被关闭了

你知道 579 么

表示半年去维修点清一次灰, 去了直接说键盘异常, 摁下去谈不起来, 粘连键什么的, 一般这种会直接帮你清灰, 5min 就 OK