V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
Recommended Services
Amazon Web Services
LeanCloud
New Relic
ClearDB
qgy18
V2EX  ›  云计算

质疑阿里云 CDN 资源监控中的文件响应占比数据

  •  2
     
  •   qgy18 · 2016-04-21 00:55:34 +08:00 · 6063 次点击
    这是一个创建于 3137 天前的主题,其中的信息可能已经有所发展或是发生改变。

    首先声明,我发现这个问题后,第一时间走正常途径通过系统工单反馈(后面有截图)。

    阿里云客服给我的回复是:

    您好,我这边用测试账号测试是存在差异的,请您查看附件。
    建议您可以将时间选择多几个时间段测试下,谢谢。 
    

    但是我这边确实所有时间段都有问题,于是陷入僵局(让我想起了那个段子:测试同学提了一个 BUG ,开发同学说我这里是好的,你环境问题吧)。

    所以我发这个帖的目的是:请大家帮忙看看你们的统计是否正常,是不是只有我的帐号才有这个问题。

    问题描述

    我阿里云帐号下的 CDN 管理 -> 资源监控 -> 热点分析 -> 文件响应占比 报表中,所有时段中 >1M 和 <1M 的比例都完全一致。而且我的源站显然没有 > 1M 的资源,所以我怀疑这个统计数据有问题。

    小于 1M 的统计截图:

    大于 1M 的统计截图:

    联系客服的工单截图:

    第 1 条附言  ·  2016-04-21 15:39:48 +08:00

    此事已真相大白,见 34 楼。为阿里云的跟进速度点个赞!

    55 条回复    2017-06-07 10:54:44 +08:00
    dzxx36gyy
        1
    dzxx36gyy  
       2016-04-21 01:02:00 +08:00 via Android
    恭喜楼主保住了一千万:doge
    maskerTUI
        2
    maskerTUI  
       2016-04-21 01:03:36 +08:00
    年轻人,质疑之前要准备好一千万哟
    dzxx36gyy
        3
    dzxx36gyy  
       2016-04-21 01:05:42 +08:00 via Android
    @maskerTUI 楼主发过工单还给了截图,阿里要是这么瞎那么一千万就只能给他们买眼药水了
    Daniel65536
        4
    Daniel65536  
       2016-04-21 01:10:45 +08:00
    @dzxx36gyy 上次说阿里偷窥隐私的 po 主也有截图,你以为有图阿里就不会告你了么?改进去借 1000w ,晚了就完了(
    dzxx36gyy
        5
    dzxx36gyy  
       2016-04-21 01:11:39 +08:00 via Android
    @Daniel65536 吓死宝宝了_(:з)∠)_
    qgy18
        6
    qgy18  
    OP
       2016-04-21 01:13:13 +08:00
    截至到目前为止,没有一个人正面回答我的问题。
    先睡觉去了~ 明天早上起来再看。
    kn007
        7
    kn007  
       2016-04-21 01:18:44 +08:00 via Android
    前排关注
    lslqtz
        8
    lslqtz  
       2016-04-21 02:49:54 +08:00
    我这边用阿里云 cdn ,流量每天都有 10g 多。直接把解析挂机子上删了 cdn 每天不到 1g 。。
    reeco
        9
    reeco  
       2016-04-21 08:00:23 +08:00 via iPhone
    CinderellaCiCi
        10
    CinderellaCiCi  
       2016-04-21 09:45:05 +08:00
    据我所知,楼主已经不是学生了, 1000w 准备好了没?
    qgy18
        11
    qgy18  
    OP
       2016-04-21 09:57:37 +08:00   ❤️ 1
    @CinderellaCiCi 你这是来凑啥热闹,哈哈哈。

    首先,我发现了我正在使用的产品中的 BUG ,通过正常途径反馈之后,被答复无法复现。我试图通过论坛收集更多的信息,便于他们定位问题。

    任何一个产品出现 BUG 都很正常,我做为一个比较热心的用户,有问题都会及时反馈(我给阿里云提过很多工单,这里就不截图了)。工单不能解决的问题,我才会通过论坛来收集更多信息。例如之前反馈的这个问题: http://v2ex.com/t/251037 ,最终也得到了解决。能及时改正问题的产品,我会一直用下去。

    最后,正面回答你的问题,你咋知道我没有。
    xl0shk
        12
    xl0shk  
       2016-04-21 10:37:58 +08:00   ❤️ 1
    这么一致的曲线图...很容易猜想是有问题的。
    不过说句不好听的实话,这些厂商的客服看到反馈的问题,第一反应往往是选择推卸掉自己的责任。
    上个月,我使用的 CDN 的统计和回源出现明显的异常,跟他们客服交涉了一周,就是不承认问题,我把数据包、配置、截图、系统信息打印出来给了好几遍也不承认...
    后面我通过关系找到他们技术负责人...然后又是一天的调试,最后他们承认存在问题...不过到现在还没修复,为不影响使用,我暂时把问题绕过了。
    我其实跟屈屈就是想帮助他们解决问题,在客服那浪费了好多时间真是郁闷。

    我也不知道我想说什么,不说出来不愉快~
    loweila
        13
    loweila  
       2016-04-21 10:41:46 +08:00
    1000 万是个什么梗啊,求解答。
    shiniv
        14
    shiniv  
       2016-04-21 10:51:29 +08:00
    indust
        15
    indust  
       2016-04-21 10:58:09 +08:00   ❤️ 1

    还是有点差异的
    虽然分析了下日志发现两个值都不准.. 图表数据里大于 1M 的文件只占 33%, 我自己统计的却有 50%左右.
    qgy18
        16
    qgy18  
    OP
       2016-04-21 10:59:11 +08:00
    @xl0shk

    其实我可以肯定是他们的统计问题,因为我把这段时间的日志都下载回来(日志是他们 CDN 自己提供的),自己 awk 跑出下 response size ,根本没有 > 1M 的记录。

    但我估计就算把这些信息提交给他们客服,也是白搭!
    qgy18
        17
    qgy18  
    OP
       2016-04-21 11:00:37 +08:00
    @indust 我怀疑只有在源站完全不存在 > 1M 的资源时,才会出现这种问题,不过无法验证啊。
    lianghaijian
        18
    lianghaijian  
       2016-04-21 11:06:41 +08:00
    @lslqtz 你最好把 CDN 日志下载下来分析一下,是否真的有请求。你切回源之后没准很多请求 timeout 了。哈哈哈哈
    songjiaxin2008
        19
    songjiaxin2008  
       2016-04-21 11:10:20 +08:00 via iPhone
    难道这个统计图表的数据是写死的?...
    b821025551b
        20
    b821025551b  
       2016-04-21 11:16:59 +08:00   ❤️ 1

    看了一下确实很像,但是有一丢丢差异
    qgy18
        21
    qgy18  
    OP
       2016-04-21 11:33:35 +08:00
    @b821025551b

    请问,你的源站有 > 1M 的内容么?
    akira
        22
    akira  
       2016-04-21 12:39:59 +08:00
    图片仅供参考?
    kn007
        23
    kn007  
       2016-04-21 13:20:21 +08:00
    图片仅供参考 +1

    话说之前百度也是,提了很多 bug 和 enhancement ,然后许多等了几个月才解决。。。还好就是有承认,但未能解决。。
    qgy18
        24
    qgy18  
    OP
       2016-04-21 13:48:20 +08:00
    客服后续回复:

    售后工程师 : 您反馈的问题需要转交到后端专员,能否在明天白天工作时间处理呢
    2016-04-21 02:40:55

    售后工程师 : 您好,您的问题后端专员还在定位中,您先忙您的事情,有结果会第一时间工单反馈您。
    2016-04-21 11:33:15

    看来之前是客服内部给的答复,不被我认可之后转到技术那边查了。其实阿里的客服反映还是很及时的,也很辛苦(凌晨 2 点多还在回复),只是解决问题的能力
    lslqtz
        25
    lslqtz  
       2016-04-21 13:56:02 +08:00
    @lianghaijian 666 大晚上的可能 timeout 吗?
    lslqtz
        26
    lslqtz  
       2016-04-21 13:56:29 +08:00
    @lianghaijian 一天 pv 20 人,大晚上根本没人。仍然有流量
    b821025551b
        27
    b821025551b  
       2016-04-21 13:58:55 +08:00
    @qgy18 有,但是我感觉这两个曲线如此相似真的有点不正常(话说刚刚的图居然被压缩了)
    chousb
        28
    chousb  
       2016-04-21 14:32:49 +08:00
    .......
    zonghua
        29
    zonghua  
       2016-04-21 14:48:24 +08:00 via iPhone
    昨天就发现 ququ 的博客访问不了了
    zonghua
        30
    zonghua  
       2016-04-21 14:50:44 +08:00 via iPhone
    @b821025551b 写了个 random ?
    est
        31
    est  
       2016-04-21 14:58:45 +08:00
    > 而且我的源站显然没有 > 1M 的资源

    可能 CDN 会做一些 chunked encoding , http keepalive 之类的。把多个<1M 的资源合并到同一个连接里去响应。这样就会有统计的出入。

    一种相反的情况就是>1M 的资源会被 gzip 到 <1M
    qgy18
        32
    qgy18  
    OP
       2016-04-21 15:00:50 +08:00
    @zonghua 不是吧。。。

    为啥访问不了,现在好了么?
    qgy18
        33
    qgy18  
    OP
       2016-04-21 15:01:42 +08:00
    @lslqtz 这个很有可能吧,比如爬虫,比如被盗链了。
    shudu
        34
    shudu  
       2016-04-21 15:12:32 +08:00   ❤️ 1
    我是阿里云 CDN 研发负责人叔度,非常感谢屈大大的反馈!

    经过排查,这是我们统计代码的一个 bug 。我们的数据监控代码在统计 1M 以上响应文件时,错误的把<=1M 的文件也累加上了,所以导致用户看到的该数据是错的。

    这个 bug 会导致用户看到的 1M 以上响应监控统计是错的。但不会影响用户的计费准确性。

    我们很抱歉给屈大大和其他用户带来了这个困扰。现在代码已经修复。以往数据的清洗也会在两天内重新计算完毕。

    再次感谢屈大大的反馈,也赞一下您的细心!
    lslqtz
        35
    lslqtz  
       2016-04-21 15:14:05 +08:00
    @qgy18 爬虫的流量是有的,但偏差太大了。我接 cdn 有半个月,然后转回来后用到现在。
    shudu
        36
    shudu  
       2016-04-21 15:15:56 +08:00
    @lslqtz 您是否对照过访问日志?另外能否私信我一下您的用户名?谢谢!
    qgy18
        37
    qgy18  
    OP
       2016-04-21 15:45:19 +08:00
    @shudu

    感谢解答,原文已经 APPEND 。终于真相大白了!

    其实倒不是因为细心,我一直比较在意个人博客访问速度,无论如何也不允许有 > 1M 的图片出现在我的博客。所以看到这个统计时,一眼就感觉出不对劲。

    这个也印证了我之前的猜想(见 17 楼):我怀疑只有在源站完全不存在 > 1M 的资源时,才会出现这种问题。

    只有源站完全不存在 > 1M 文件时,这个 BUG 才会导致两条曲线完全一致,所以客服的测试帐号看不出来问题。
    qgy18
        38
    qgy18  
    OP
       2016-04-21 15:52:55 +08:00 via iPhone
    已正常。

    shudu
        39
    shudu  
       2016-04-21 16:58:28 +08:00
    @qgy18 谢谢屈大大。后续使用上碰到问题也可以私信我的新浪微博 @淘叔度 ,我看到消息会响应比较快些, V2EX 平时上得少。再次感谢!
    lslqtz
        40
    lslqtz  
       2016-04-21 17:04:38 +08:00 via iPhone
    @shudu 也是属于统计问题 扣费没有。
    shudu
        41
    shudu  
       2016-04-21 17:33:08 +08:00
    @lslqtz 能否给我一下您的用户名或者域名,我们来排查下。非常感谢!
    v2v2v2
        42
    v2v2v2  
       2016-04-21 17:44:42 +08:00
    你有 1000 万吗
    barretlee
        43
    barretlee  
       2016-04-21 17:53:43 +08:00
    @shudu 哈哈,没人 @ 你,就这么精准的看到了帖子,运气很好呀~
    qgy18
        44
    qgy18  
    OP
       2016-04-21 17:59:09 +08:00
    @barretlee 应该是客服反馈的吧。

    我昨天晚上就提过工单,然后等到快两点。
    kn007
        45
    kn007  
       2016-04-21 18:01:24 +08:00
    不错,圆满解决。
    yangzj1992
        46
    yangzj1992  
       2016-04-21 23:09:11 +08:00
    阿里响应的很及时啊.不错
    zonghua
        47
    zonghua  
       2016-04-22 16:39:48 +08:00
    @qgy18 我在教室第一次打开很慢,不知道是加载什么东西
    lslqtz
        48
    lslqtz  
       2016-04-22 20:56:12 +08:00
    @shudu 别人的号,不方便提供呢。。自己没用阿里云 cdn
    lslqtz
        49
    lslqtz  
       2016-04-22 20:56:25 +08:00
    CinderellaCiCi
        50
    CinderellaCiCi  
       2016-04-22 21:23:35 +08:00 via Android
    @qgy18 你这样暴露家产真的好么?就不怕被坏人尾随…?
    其实,对于用户提 bug 的事,我想很多产品团队都是欢迎的,这样能够帮助产品的持续改进。程序并不是万能的, bug 也一定是还有的,每个做技术的肯定都能正视这个问题。只是,在提出 bug 的同时,如果能给出完整的重现步骤、有力的必要证据和依赖环境、甚至可能的原因分析,会更受欢迎。
    很多公司开发和测试相处不和谐,都是因为理解、分析和交流不够深入所致。…
    CinderellaCiCi
        51
    CinderellaCiCi  
       2016-04-22 21:28:51 +08:00 via Android
    啊…转岗一两年了,硬是还改不掉我的测试职业病…
    tSQghkfhTtQt9mtd
        52
    tSQghkfhTtQt9mtd  
       2016-04-22 22:53:26 +08:00 via Android
    是啊所以有什么 CloudXNS 问题找 @CinderellaCiCi 就可以了((
    soto
        53
    soto  
       2016-05-30 09:51:47 +08:00   ❤️ 1
    自己造了 50M 的 synflood ,阿里高防 ip 显示 150M ,汗
    soto
        54
    soto  
       2016-05-30 09:52:58 +08:00   ❤️ 1
    @shudu 自己造了 50M 的 synflood ,阿里高防 ip 显示 150M ,汗
    wkl17
        55
    wkl17  
       2017-06-07 10:54:44 +08:00
    @soto 哈哈,现在问题是否还依旧?高防 IP 收费如何?
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   5248 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 43ms · UTC 05:59 · PVG 13:59 · LAX 21:59 · JFK 00:59
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.