公司之前没有后台, 后台从 0 开始, 就我一个人.
目前服务器资源:
凌动双核 cpu 1.8g 主频,4g ddr3 800 内存, 500g 机械硬盘
亚马逊免费 rds 一台, 1c 1g 20g 空间
后台写了报文收集和简单的入库查询.
现在用户慢慢更新了应用.
每天报文量 18w+, 占用硬盘空间 20M 左右, 数据入库 60w+条, 统计的日活只有 4w 用户, 还在一直增加.
今天算了下, 按三分之一用户会更新新版来算, 这么搞很快就死了.
现在的思路是:
现在问题来了, 有没有更好的办法, 资源比较有限 或者说做 100w 日活的后台统计, 大概需要什么什么规模的计算资源, 就亚马逊的产品来说.
1
liprais 2017-05-25 17:48:08 +08:00
你想要分析啥
|
2
vus520 2017-05-25 17:53:56 +08:00
60W 日活已经是不错的量级了。
楼主,我们有类似的业务,日活几百万。产品做了两年多,基本上实现了一个友盟的常见功能。我个人准备找机会商业化,做开源的友盟也好,企业服务也好。如果楼主有兴趣,我们可以详细聊聊。 |
3
mengzhuo 2017-05-25 17:56:24 +08:00
可以统统塞到 ES 里面,以后慢慢分析
|
8
sampeng 2017-05-25 18:49:56 +08:00
没有服务器资源,一切都是聊闲天。。。。
友盟就够用了。。为何还要自己做呢。。。 |
9
liprais 2017-05-25 18:57:06 +08:00
果断申请预算上 hadoop ,以后需求会越来越复杂,现在的资源是支撑不了的
|
10
lavande 2017-05-25 22:31:23 +08:00
不太懂技术……不过直接用 google analytics 不行吗?
|
14
SlipStupig 2017-05-25 23:04:54 +08:00
分析日志 ELK,做数据聚合 spark....
|
15
echotpq 2017-05-25 23:28:56 +08:00
数据库和 web 等分离,优化表结构,mysql 和 redis 结合
|
16
snail00 OP @SlipStupig #14 这个需要服务器资源, 现在只能收集日志先存着, 以后洗数据.
|
18
ericls 2017-05-25 23:49:24 +08:00 via iPhone
扔进 elk 再说
|
19
fatpa 2017-05-26 02:02:46 +08:00
讲道理,这个数据量如果不做用户画像之类的事情,只是普通的日常用户行为统计,rsync 和 awk 基本就解决了。
痛点应该想想百万级别日活的服务器资源怎么解决吧 |
20
dangyuluo 2017-05-26 02:58:30 +08:00
Kibana,数据可视化不错。
|
21
dangyuluo 2017-05-26 03:02:12 +08:00
发现 ELK 系列真是神器啊,只要记录下来了,想做什么分析都可以。
|
23
Hozzz 2017-05-26 09:43:00 +08:00
以楼主的数据量,I/O 肯定是个瓶颈(无论如何优化)。
|
24
gamecreating 2017-05-26 09:59:05 +08:00
啥 APP...发来帮你研究下
|
25
yanzixuan 2017-05-26 11:10:30 +08:00
@snail00 es 是个好东西,但是吃内存。。少于 1 一个 g 的内存玩不动。。。我在 vps 上试了一下极限情况。1g 内存,设置 jvm 吃 500m 内存。勉强能用。再跑点别的就不行了。
|
26
jswh 2017-05-26 12:11:52 +08:00
我最后选了 Cassandra
|
27
mingyun 2017-05-28 08:39:29 +08:00
这么多人推荐 elk
|
28
firefox12 2017-05-29 08:55:25 +08:00 via iPhone
啥 app 日活 60 万?够一个人生活了吗?求 app 名字
|