GitHub 解释近期频繁宕机原因： MySQL 不堪重负

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

已注册用户请登录

这是一个创建于 749 天前的主题，其中的信息可能已经有所发展或是发生改变。

是不是在某种程度上，服务不可用的大头还是落在数据库上？

在过去的几周里，GitHub 经历了多次宕机事件，导致平台的服务降级，影响了许多用户的正常使用。GitHub 团队在解决问题的同时，近日也分享了这些事件的详细情况。

据介绍，近期 GitHub 频繁宕机主要是其 mysql1 集群的资源争夺导致，这影响了 GitHub 在负载高峰期的大量服务和功能性能。虽然在过去几年 GitHub 已经进行了许多优化，例如增加集群以支持平台的增长、对主数据库进行分区等，但这不是一劳永逸的工作，直到现在他们仍在积极解决这个问题。

官方博客链接：An update on recent service disruptions

国内资讯： GitHub 解释近期频繁宕机原因：MySQL 不堪重负

MySQL

GitHub

宕机

不堪重负

70 条回复 • 2022-03-30 13:06:40 +08:00

bthulu

2022-03-28 15:18:19 +08:00

让阿里来

magicdawn

2022-03-28 15:27:11 +08:00

让腾讯来

Maboroshii

2022-03-28 15:29:55 +08:00 via Android

让华为来

geekershared

2022-03-28 15:30:45 +08:00

让百度来

moxuanyuan

2022-03-28 15:32:11 +08:00

让楼上来。。

kidlj

2022-03-28 15:32:15 +08:00

让 PingCAP 来

kidlj

2022-03-28 15:32:37 +08:00

不对，让微软来

levon

2022-03-28 15:34:46 +08:00

我感觉是，对大部分公司来说，性能瓶颈应该都在数据库上，但现在大部分开发都在搞各种分布式上面，被大公司带歪了，人家用户量是亿级的。

BrettD

2022-03-28 15:49:41 +08:00

@kidlj GitHub 就是微软的啊……

emeab

2022-03-28 15:52:02 +08:00

@levon 搞分布式和数据库又不冲突...

0o0O0o0O0o

2022-03-28 15:53:11 +08:00 via iPhone

开 ssh ，让 @defunct9 上去看看（

cxe2v

2022-03-28 15:54:21 +08:00

上 sql server

cco

2022-03-28 16:04:32 +08:00

谁联系下 github 官方，给我 ssh 权限，我上去把 mysql 卸载了就没这问题了。这解决方案值 1000W 吗？

Mrzhs

2022-03-28 16:12:13 +08:00

@kidlj _(:з」∠)_ github 已经被微软收购了

rapperx2

2022-03-28 16:14:19 +08:00

给我开 ssh ，我上去瞧瞧

adoal

2022-03-28 16:17:54 +08:00

让 12306 来

moult

2022-03-28 16:25:19 +08:00

@0o0O0o0O0o @rapperx2 @cco
感谢诸位的毛遂自荐，我叫 Tree New Bee ，是 GitHub 的 DBA 人员。我让运维稍后给您开个堡垒机，麻烦协助看下问题。
对了，因为 GitHub 有很多企业的隐私数据，为了客户的数据安全，您需要先支付 5000 元的保证金。我们在收到保证金之后，会立即发送堡垒机密码。

qeqv

2022-03-28 16:25:40 +08:00

负载高峰期关机，不就不会宕机了吗

liangkang1436

2022-03-28 16:26:51 +08:00 via Android

我怎么老感觉阿三掌权之后，微软的所有产品都出现了或多或少的问题，之前是 window ，现在是 GitHub ，是我的错觉吗？

chengyiqun

2022-03-28 16:33:07 +08:00

@qeqv 同理, 把汽车的启动电瓶摘掉就可以省油了(

eijnix

2022-03-28 16:55:07 +08:00

@0o0O0o0O0o 老哥能麻烦科普一下这是什么梗么这么多人点赞我也想凑个热闹

hansnow

2022-03-28 17:00:28 +08:00

@eijnix #21 移步 https://www.v2ex.com/t/843322?p=1#r_11510438

pengtdyd

2022-03-28 17:02:23 +08:00

我觉的是中病毒了，请安装 360 安全卫士！！

levon

2022-03-28 17:02:43 +08:00

@emeab 问题是很多都没必要

0o0O0o0O0o

2022-03-28 17:03:21 +08:00 via iPhone

@eijnix 那是一位和善的老哥，遇到一些和服务器有关但问题总结得不够好或者很难三言两语解释清楚的求助帖子（我个人感觉是因为这样），他就会直接留言这句

felixcode

2022-03-28 17:07:11 +08:00 via Android

先关机，把处理器统统换成 m1 ultra ，开机，搞定, 十年内不用再升级！

sadfQED2

2022-03-28 17:48:26 +08:00 via Android

都被巨硬收购了，mysql 不行那当然得迁移成 sql server 啊，以后再挂也能轻松甩锅🐶

xingHI

2022-03-28 18:11:32 +08:00

让 apple 来

Xhack

2022-03-28 18:18:30 +08:00

让 gitlab 来

aptupdate

2022-03-28 18:19:59 +08:00 via iPhone

要不换 oracle 试试？

liuidetmks

2022-03-28 19:21:25 +08:00 via iPhone

github 不是应该用 sqlsever 吗

xingjue

2022-03-28 19:23:12 +08:00

让华为来

fruitscandy

2022-03-28 19:44:32 +08:00

有请 12306

461da73c

2022-03-28 19:55:43 +08:00

让我来

jousca

2022-03-28 20:05:17 +08:00

@eijnix 他 @的那个是本站的运维人员。哈哈哈。

Metre

2022-03-28 20:32:13 +08:00

让达梦来

Jinnyu

2022-03-28 21:57:32 +08:00

@adoal #16
@fruitscandy #33
12306 目前在用 Sybase15 + PG12

roundgis

2022-03-28 22:02:04 +08:00 via Android

@Jinnyu 12306 用 sybase 處理什麼業務？舊系統？

Jinnyu

2022-03-28 22:06:04 +08:00

@roundgis #38 所有核心业务 (苦笑
售票退票改签候补保险
而且是存储过程...

roundgis

2022-03-28 22:31:14 +08:00 via Android

@Jinnyu 網上找不到 12306 使用 postgres 的信息

主要用在什麼的業務？

sutra

2022-03-28 22:52:50 +08:00

「作为其中的一部分，他们正在将流量转移到其他数据库」，这里的「其他数据库」应该是「 Microsoft SQL Server 」吧。

h82258652

2022-03-28 23:12:39 +08:00

让 stackoverflow 来

ZE3kr

2022-03-28 23:15:34 +08:00 via iPhone

让 gogs 来

louchenabc

2022-03-28 23:38:06 +08:00

前阵子 Github 有一篇热门文章，说他们数据量那么大，但是并没有对数据库做水平拆分，而是按业务进行垂直拆分。

Github 还开源了一个 MySQL 在线架构迁移工具 https://github.com/github/gh-ost ，这些早已表明 MySQL 成为了 Github 的瓶颈，他们花了大量的功夫在适应 MySQL 上，可能由于用户量和数据太大，架构上不敢做太大的改动，选择了保守，期望他们给出一个好的解决方案并分享给全世界。

Jinnyu

2022-03-28 23:51:35 +08:00

@roundgis #40
旧业务在做 PG 改造
所有新业务必须上 K8s + PG

iseki

2022-03-28 23:56:32 +08:00

@Jinnyu 听说 12306 用的是 PG 的商业方案？

roundgis

2022-03-28 23:57:05 +08:00 via Android

@Jinnyu 感謝告知，12306 應該用達夢吧？

adoal

2022-03-29 00:05:19 +08:00 via iPhone

@Jinnyu 没想到 12306 在力推 PG

tunzao

2022-03-29 00:06:47 +08:00

1. 没有慢 SQL 监控？
2. 没有 Sharding ？

ericls

2022-03-29 00:07:56 +08:00 via iPhone

MySQL 的确有很多不可预知的 behavior, 后来转 PostgreSQL 了

mingl0280

2022-03-29 01:06:15 +08:00

@iseki 12306 据说是用的内存数据库，不知道是哪个产品。

adoal

2022-03-29 01:18:29 +08:00 via iPhone

@mingl0280 gemfire

wellsc

2022-03-29 01:19:32 +08:00 via Android

@levon 好像懂了，好像又没懂

Jinnyu

2022-03-29 01:23:05 +08:00

@iseki #46
不是商业方案开源的

@roundgis #47
达梦不清楚, 好像有部分组在用

@adoal #48
组内之前搞过性能测试 PG 吊打 MySQL

@mingl0280 #51
用的 Gemfire 但是很烂经常抗不住压力

GeruzoniAnsasu

2022-03-29 01:46:44 +08:00

@0o0O0o0O0o 你没抢到一楼真太可惜了

encro

2022-03-29 08:57:48 +08:00

@Jinnyu

PG 吊打 MySQL ，是指个别特种索引或者加了物化视图的吧。

不过确实如果当下做程序，推荐用 PG ，因为 MySQL 在 OLAP 领域还没起步，而基本很多业务其实都会涉及 OLAP ，特别是 PG 增量物化视图如果在能 16 版本出来，那么 SQL SERVER ，Oracle 存在意义就少很多了。