应用服务信息:
项目拆分为七个服务,每台服务器上都会部署这七个服务
其中一个服务(简称 api 服务)作为用户请求入口,通过 dubbo 对另外六个服务进行调用
问题:
项目常态下接口平均响应时间 90ms 左右, 运行一段时间后(目前是约一天左右), 会出现部分机器上的 api 服务调用 dubbo 服务耗时增长, 直至无法在超时时间内响应(超时时间配置的是 30 秒), 引起崩溃。(注:不是四台机器上的 api 调用 dubbo 服务都会超时, 其中 1 ~ 2 台, 每次崩溃的机器也不一样)
崩溃时服务器 cpu, 内存, 带宽出入均正常。
数据库 cpu, 内存, 连接数正常,没有慢查询。
dubbo 监控图显示 provider 耗时正常, consumer 耗时很高
用了无数种办法,依旧不能确定.
1
pmispig 2019-06-21 11:55:57 +08:00
手动调用调试呗
|
2
chocotan 2019-06-21 13:11:45 +08:00
看一下 consumer 的 jvm 内存和 gc 情况
|
3
limuyan44 2019-06-21 14:21:32 +08:00
项目拆分为七个服务,每台服务器上都会部署这七个服务。。。你们这微服务瞎搞啊,服务间的性能和优化需求能一样吗
|
4
limuyan44 2019-06-21 14:23:46 +08:00
崩溃拉 dump 分析,另外可以看看 dubbo 的负载规则
|
5
fengxue001 OP @limuyan44 这个目前不是重点,重点是.想找到问题...疯了都..
|
6
cs419 2019-06-21 18:42:14 +08:00
从 7 * 7 的服务部署方式看, 所谓的 [用了无数种办法,依旧不能确定] 、 [各种状态都正常] 很让人怀疑啊。
先给 dubbo 加链路追踪吧 skywalking 或 zipkin |
7
d23 2019-06-22 05:10:59 +08:00 via Android
6 楼的方法不错推荐楼主试试
|
8
fengxue001 OP @d23 谢谢,先去试试。
|
9
fengxue001 OP @cs419 谢谢!
|