V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
Aliberter
V2EX  ›  程序员

有个统计网站 UV 的后台需求,用什么技术框架实现比较好?

  •  
  •   Aliberter · 2021-10-22 10:47:34 +08:00 · 3711 次点击
    这是一个创建于 1130 天前的主题,其中的信息可能已经有所发展或是发生改变。

    如题,就是简单的接收前端的埋点上报,计数,主要是一堆文章,要记录每篇文章的推荐 UV 、浏览 UV,还能统计所有文章的 UV,最后统计展示出来,都是以日为维度,请教大佬们,用什么做? redis? mysql? elasticsearch?

    第 1 条附言  ·  2021-10-22 14:04:11 +08:00
    完了,我感觉偏了,我标题写差了,其实是 app 访问行为的统计,不是网站。app 埋点上报,后端统计,大佬们,
    34 条回复    2021-10-24 14:23:09 +08:00
    Oktfolio
        1
    Oktfolio  
       2021-10-22 10:48:15 +08:00
    ElasticSearch, MongoDB
    GM
        2
    GM  
       2021-10-22 10:50:09 +08:00   ❤️ 1
    motamo
    Aliberter
        3
    Aliberter  
    OP
       2021-10-22 10:54:46 +08:00
    @Oktfolio 多谢大佬,只怪自己这两样儿学的不精,多研究下吧
    Aliberter
        4
    Aliberter  
    OP
       2021-10-22 10:55:00 +08:00
    @GM 这个没听说过呀,大佬
    eason1874
        5
    eason1874  
       2021-10-22 10:58:08 +08:00
    PV/UV 统计的数据库好像比较流行用 PostgreSQL

    别用 matomo,开源版很吃资源,付费版不了解
    hidemyself
        6
    hidemyself  
       2021-10-22 10:58:20 +08:00
    我们之前是用 redis 做的
    Aliberter
        7
    Aliberter  
    OP
       2021-10-22 11:02:37 +08:00
    @eason1874 哦哦好的大佬,PostgreSQL 还了解点儿,matomo 不了解,那就不考虑了
    liujinayu4303
        8
    liujinayu4303  
       2021-10-22 11:04:17 +08:00
    redis hyperloglog 了解下
    Aliberter
        9
    Aliberter  
    OP
       2021-10-22 11:04:32 +08:00
    @hidemyself redis 计数很方便,但是比如我要汇总是不是比较麻烦啊,比如获取所有文章的总 UV 这种,还有按日期分组筛选这些,
    Aliberter
        10
    Aliberter  
    OP
       2021-10-22 11:06:19 +08:00
    @liujinayu4303 我还在纳闷 redis 咋做,原来是有更高级的算法,多谢大佬,我去搜搜
    feitxue
        11
    feitxue  
       2021-10-22 11:10:04 +08:00
    必须要自研吗?
    如果不是,接入三方的应该会更快。
    百度 cnzz 腾讯 谷歌 都有
    abigeater
        12
    abigeater  
       2021-10-22 11:11:20 +08:00
    redis->定时写回数据库
    Aliberter
        13
    Aliberter  
    OP
       2021-10-22 11:12:28 +08:00
    @feitxue 小公司,自己写来的快点哈哈~其实整个统计的体量也不是太大,自己写的就能扛得住,然后主要是针对一些自定义需求开发~
    kinge
        14
    kinge  
       2021-10-22 11:14:05 +08:00
    直接用现成的统计产品,自己写的统计不准确
    feitxue
        15
    feitxue  
       2021-10-22 11:16:26 +08:00
    @Aliberter 那建议别自己写了。
    feitxue
        16
    feitxue  
       2021-10-22 11:18:27 +08:00
    建议你调研一下大厂现有的统计产品的功能,再决定是否自研。
    Aliberter
        17
    Aliberter  
    OP
       2021-10-22 11:20:06 +08:00
    @feitxue 好的好的,我去研究下,跟领导商量下
    Aliberter
        18
    Aliberter  
    OP
       2021-10-22 11:20:27 +08:00
    @kinge 不准确我倒是信哈哈,技术比较渣
    thetbw
        19
    thetbw  
       2021-10-22 11:25:05 +08:00
    上家公司的是直接接入腾讯有数
    lithiumii
        20
    lithiumii  
       2021-10-22 11:34:37 +08:00 via Android
    建议接入 sass
    虽然自建 matomo 可以做
    Aliberter
        21
    Aliberter  
    OP
       2021-10-22 11:45:53 +08:00
    完了,我感觉偏了,我标题写差了,其实是 app 访问行为的统计,不是网站。app 埋点上报,后端统计,大佬们,
    hrdslin
        22
    hrdslin  
       2021-10-22 12:03:51 +08:00
    直接上友盟
    cowcomic
        23
    cowcomic  
       2021-10-22 12:38:15 +08:00
    友盟解决
    chenstor
        24
    chenstor  
       2021-10-22 12:55:35 +08:00
    友盟或者诸葛
    qq1340691923
        25
    qq1340691923  
       2021-10-22 13:12:12 +08:00
    thinkdata,神策数据,用完你会回来感谢我的
    qq1340691923
        26
    qq1340691923  
       2021-10-22 13:12:36 +08:00
    thinkingdata,神策数据,用完你会回来感谢我的
    feitxue
        27
    feitxue  
       2021-10-22 13:18:50 +08:00
    @Aliberter append 一下帖子.
    wellsc
        28
    wellsc  
       2021-10-22 13:40:40 +08:00
    redis 呗,也不是很复杂的业务
    MineDog
        29
    MineDog  
       2021-10-22 16:03:00 +08:00
    简单的 redis 的 HLL 就够了
    MineDog
        30
    MineDog  
       2021-10-22 16:03:15 +08:00
    当然 bitmap 也可以
    fuchaofather
        31
    fuchaofather  
       2021-10-22 17:24:01 +08:00
    比较麻烦。建议还是使用现成服务,业务量较大的话可能需要依赖大数据环境。说一下我们以前的整体架构:

    前端埋点 -> nginx -> tomcat 集群(简单处理解压过滤等)-> kafka -> 多应用点同时消费写到本地文件 -> 上传到 hive 日期分区表 -> spark 计算 -> 写入 hbase (用户 id 使用 bitmap) -> phoniex 查询( redis 缓存)
    ericls
        32
    ericls  
       2021-10-23 07:02:30 +08:00 via iPhone
    clickhouse
    duanqiaoyanyu
        33
    duanqiaoyanyu  
       2021-10-23 14:11:04 +08:00
    bigmap Hyperloglog
    efaun
        34
    efaun  
       2021-10-24 14:23:09 +08:00
    随机数
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   5318 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 26ms · UTC 01:15 · PVG 09:15 · LAX 17:15 · JFK 20:15
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.