问问大家 nginx 日志流量分析用什么方案？

[deqiying]

大家都用什么方案收集 nginx 日志和分项目数据统计？
现在项目的部署有点乱，头大，小白来求救了
1.每台服务器都部署有不同的项目，日志都是打到 access.log （没有按项目划分）
2.一个项目可能在不同服务器都有节点，也就是是一个项目的访问日志可能在两个 access.log 中
3.同一个项目可以通过域名或者 path 区分

这种奇怪的部署方式有方案能收集日志并按项目进行统计划分吗？小项目，方案轻量点好，AI 让引入 ELK 栈部署，比项目本身都复杂了。
小白一个，恳请各位大佬指点。

[killva4624]

如果不改配置，日志上传完之后需要在分析层根据请求路径去区分，也就是提前洗一遍。
改配置之后，不同路径（项目）的请求打到不同目录或者文件名里，上传之后就天然区分了。

[deqiying]

@killva4624 #1 感谢大佬指点，后续项目会修改日志的打印到不同的目录或文件，但是现有的日志还需要分析。
如果是日志打印到不同的目录或文件，用什么轻量的方案进行数据统计分析呢？最好有 web 页面的

[killva4624]

@deqiying 轻量级可以试试 Loki + Grafana

[fantastM]

https://goaccess.io/

[deqiying]

@killva4624 #3 好的，感谢感谢

[Dlad]

2010 年用过 awstats!
2018 用过 ELK Stack…
2025 年用过 goaccess ！！

最后这个偶尔想看下时特别方便，一行命令搞定。
用新语言写旧工具的兄弟们永远健康！

[realpg]

自己写处理脚本进行统计入库

[kekylin]

可以试试这个项目，看看能否满足需求。
NixVis 是一款基于 Go 语言开发的、开源轻量级 Nginx 日志分析工具，专为自部署场景设计。它提供直观的数据可视化和全面的统计分析功能，帮助您实时监控网站流量、访问来源和地理分布等关键指标，无需复杂配置即可快速部署使用。
https://github.com/BeyondXinXin/nixvis

[deqiying]

@Dlad #6 主要是希望能够将多台服务器的日志聚合到一个面板（ web 页面）看

[deqiying]

@kekylin #8 感谢推荐，我了解一下

[Dlad]

@deqiying
那好像可以看看 ELK stack ，功能对口，社区也大。
（ elastic search 用了多年：朝令夕改的配置，脱裤子放屁的安全救火设计，总觉一股异味。）

[pangzipp]

如果在云上。 推荐云上的日志 例如阿里云的 ilogtail -> sls 然后分析就好了

[albin504]

https://github.com/nginx/nginx-prometheus-exporter
prometheus exporter 分析日志，然后把指标发送到 prometheus ，我在生产环境打过这套服务（不是这个开源项目，思路一样），效果杠杠的

[DefoliationM]

grafana+Loki 感觉够轻量了。

[samIIsun]

nginx(json format log)-->filebeat-->es-->kibana

[spritecn]

openobserve ,存储是 apache arrow,带 ui,速度不错,不怎么吃内存,成本相对比较小

[deqiying]

@Dlad #11 似乎有点笨重了

[deqiying]

@spritecn #16 可以可以

[accelerator1]

rsyslog + loki + grafana

[yunnysunny]

我们之前是通过脚本写入 kafka 中，然后再通过 logstash 转发到 elasticsearch ，用 kiabna 进行查看。

[yunnysunny]

为了方便采集，把 ngnix 的日志输出格式改成了 json

[feixiangcode]

阿里云的日志服务就可以。