V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
爱意满满的作品展示区。
nicoljiang
V2EX  ›  分享创造

用 Motomo(Piwik)自建「流量分析平台」的初步优劣总结

  •  
  •   nicoljiang · 2018-08-29 23:35:07 +08:00 · 2666 次点击
    这是一个创建于 2038 天前的主题,其中的信息可能已经有所发展或是发生改变。

    前言

    上次咨询选型的帖子: https://www.v2ex.com/t/482136

    我的统计平台的地址: https://analytics.soft.org

    我的主要需求

    1. [刚性] 支持 HTTPS ;
    2. [刚性] 大陆和全球大部分地区的都要快,数据上报端不能被墙、少漏量、低延迟(不能卡速度);
    3. [刚性] 基本功能都要齐全(实时看板、周期分析、地区分析、自定义事件、渠道分析 等);
    4. [重要] 性价比不能太低,因为有多个项目,所以收费的话最好能随时增减统计项目(别每个项目都要计费);
    5. [重要] 数据上报端不要太复杂(别引用一堆有的没的);
    6. [重要] 存储端在可靠性上要有保障,政策上也要不作恶;
    7. [中等] 数据要实时 /准实时体现,1 小时的延迟是能忍受的极限;
    8. [中等] 报表端不要被墙,速度尽可能快;
    9. [低等] 有历史口碑和名气的最好(经历过较长时间考验);

    选型比较

    1. [Baidu TongJi] 中国站长圈最有名的数据统计服务商:全球范围内的硬伤是会漏统计,并且实在卡速度;
    2. [Growing IO] GIO 是一个以移动端「黑客增长数据平台」为卖点的统计服务。有 Website 版本,收费。创始人有全球化经验。使用后但发现还是有漏统计和卡速度的问题(估计依旧是针对大陆的服务);
    3. [Google Analytics] 就全球范围内而言,GA 几乎是第一选择(用了很久,其实很不错,但为什么决定不用了,留到最后再说);
    4. [Mixpanel] 跟 GIO 的定位类似,在国外也有一定知名度,似乎许多大项目也在用。但使用下来,数据上报端容量较大,而且会引用好多东西,且延迟较高(值得一提的是,报表端 速度不错,并且界面还挺好看的);
    5. [Clicky] 不太熟悉(类似 CNZZ、51la ?),报表端速度还不错,且界面简洁舒服。是否会漏量还不好说,目前还在尝试。但数据上报端的垃圾引用比较多,而且容量不讲究(搞笑的是它还给我引用了一个 30k 的 jquery.js 和一个 CSS ......,CSS 可还行???)。

    为何放弃 Google Analytics

    1. 最近不知何故,很长一段时间,报表的数据延迟都在 2 - 3 小时以上(难道流量大了);
    2. 发现还是有轻微的漏量问题(搭建了自己的服务之后才发现);
    3. 报表端被墙多少还是会有点影响访问;

    为何自建,并选择了 Motomo

    1. 数据在自己手上,安全感较强;
    2. 可以直接使用自己已经优化好的全球访问速度的方案,包括墙内地区;
    3. 选择 Motomo 几乎是因为这几乎是唯一的选择。

    遇到哪些问题

    1. 性能不高,尤其是报表端。但采用一些官方的基本优化方案后,在 2c2g 的机器和独立的 云 Mysql (特别低配) 下目前速度已经可以接受了;
    2. 有些高级插件需要收费,价格也不算便宜(至少不是缺乏这些功能);
    3. 数据库容量占用很大,一天能有 1g,还在找问题(貌似跟日志有关);
    4. 地区数据还不太理想,默认访问太粗,免费插件中第三方方案,但结合的不是特别好,然后还在测试评估(这个问题倒不是特别大);

    项目现状 /当前指标如何

    1. 目前已经应用在 2 个自己的项目上已灰度两周,目前全量的总日 PV 在几十万级;
    2. 报表端是真的不快,希望可以找到优化办法;
    3. 数据上报端 Piwik 是很不错的,容量小,且引用的文件少,加上目前优化到比较好的全球加速,上报速度已经比较理想(比多数的产品都要快);
    4. 在亚洲主要地区(包括内地的电信、联通、移动)基本都能在 100ms 内上报成功;
    5. 欧美基本上能在 200ms 内;
    6. 内地的长城宽带、宽带通等散户及偏远国家和地区 一般也不超过 500ms。

    以后有什么想法

    1. 希望以后能有时间再进行一些更深入的优化(例如代码级的优化);
    2. 希望有机会把这部分的能力开放出来给一些好朋友使用(但应该不会公开注册);
    3. 做一些前后端的分离,且数据上报端会尽量做一些「去 Piwik 化的事情」(主要为系统安全考虑);
    4. 希望未来可以做到大洲级别的多区多活,极限优化上报速度;
    5. 希望有机会变成综合质量很棒的数据统计平台;
    6. 希望各位高手黑客大佬手下留情,有一些安全方面的问题可以联系我。请不要强行攻击它( CC / DDoS )。

    最后

    1. 如果现在有还在坚持做网站的朋友想试用,并且你的项目日 PV 在 1 ~ 10 万之间,也可以留言给我(不超过 10 个项目),我们单独联系;
    2. 不算是自己造轮子的产品,但是也花了不少资源和精力,希望发在这个节点没问题;
    3. 项目地址: https://analytics.soft.org 各位轻喷。
    第 1 条附言  ·  2018-08-30 18:33:00 +08:00
    去掉了 Clicky,因为他会强制在页面的左下角留一个小尾巴。
    1 条回复    2019-07-23 17:03:43 +08:00
    austinchou0126
        1
    austinchou0126  
       2019-07-23 17:03:43 +08:00
    谢谢分享
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   966 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 29ms · UTC 21:41 · PVG 05:41 · LAX 14:41 · JFK 17:41
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.