V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
dongfuye1
V2EX  ›  推广

用 Python 轻松完成一个 TCC 分布式事务,修订版

  •  1
     
  •   dongfuye1 · 2021-09-06 08:54:59 +08:00 · 3987 次点击
    这是一个创建于 1211 天前的主题,其中的信息可能已经有所发展或是发生改变。

    什么是分布式事务?银行跨行转账业务是一个典型分布式事务场景,假设 A 需要跨行转账给 B,那么就涉及两个银行的数据,无法通过一个数据库的本地事务保证转账的 ACID,只能够通过分布式事务来解决。

    分布式事务就是指事务的发起者、资源及资源管理器和事务协调者分别位于分布式系统的不同节点之上。在上述转账的业务中,用户 A-100 操作和用户 B+100 操作不是位于同一个节点上。本质上来说,分布式事务就是为了保证在分布式场景下,数据操作的正确执行。

    TCC

    什么是 TCC,TCC 是 Try 、Confirm 、Cancel 三个词语的缩写,最早是由 Pat Helland 于 2007 年发表的一篇名为《 Life beyond Distributed Transactions:an Apostate’s Opinion 》的论文提出。

    TCC 分为 3 个阶段

    • Try 阶段:尝试执行,完成所有业务检查(一致性), 预留必须业务资源(准隔离性)
    • Confirm 阶段:如果所有分支的 Try 都成功了,则走到 Confirm 阶段。Confirm 真正执行业务,不作任何业务检查,只使用 Try 阶段预留的业务资源
    • Cancel 阶段:如果所有分支的 Try 有一个失败了,则走到 Cancel 阶段。Cancel 释放 Try 阶段预留的业务资源。

    TCC 分布式事务里,有 3 个角色,与经典的 XA 分布式事务一样:

    • AP/应用程序,发起全局事务,定义全局事务包含哪些事务分支
    • RM/资源管理器,负责分支事务各项资源的管理
    • TM/事务管理器,负责协调全局事务的正确执行,包括 Confirm,Cancel 的执行,并处理网络异常

    如果我们要进行一个类似于银行跨行转账的业务,转出( TransOut )和转入( TransIn )分别在不同的微服务里,一个成功完成的 TCC 事务典型的时序图如下:

    image.png

    TCC 实践

    对于前面的跨行转账操作,最简单的做法是,在 Try 阶段调整余额,在 Cancel 阶段反向调整余额,Confirm 阶段则空操作。这么做带来的问题是,如果 A 扣款成功,金额转入 B 失败,最后回滚,把 A 的余额调整为初始值。在这个过程中如果 A 发现自己的余额被扣减了,但是收款方 B 迟迟没有收到余额,那么会对 A 造成困扰。

    更好的做法是,Try 阶段冻结 A 转账的金额,Confirm 进行实际的扣款,Cancel 进行资金解冻,这样用户在任何一个阶段,看到的数据都是清晰明了的。

    下面我们进行一个 TCC 事务的具体开发

    目前可用于 TCC 的开源框架,主要为 Java 语言,其中以 seata 为代表。我们的例子采用 Python 语言,使用的分布式事务框架为https://github.com/yedf/dtm,它对分布式事务的支持非常优雅。下面来详细讲解 TCC 的组成

    我们首先创建两张表,一张是用户余额表,一张是冻结资金表,建表语句如下:

    CREATE TABLE dtm_busi.`user_account` (
      `id` int(11) AUTO_INCREMENT PRIMARY KEY,
      `user_id` int(11) not NULL UNIQUE ,
      `balance` decimal(10,2) NOT NULL DEFAULT '0.00',
      `create_time` datetime DEFAULT now(),
      `update_time` datetime DEFAULT now()
    );
    
    CREATE TABLE dtm_busi.`user_account_trading` (
      `id` int(11) AUTO_INCREMENT PRIMARY KEY,
      `user_id` int(11) not NULL UNIQUE ,
      `trading_balance` decimal(10,2) NOT NULL DEFAULT '0.00',
      `create_time` datetime DEFAULT now(),
      `update_time` datetime DEFAULT now()
    );
    

    trading 表中,trading_balance 记录正在交易的金额。

    我们先编写核心代码,冻结 /解冻资金操作,会检查约束 balance+trading_balance >= 0,如果约束不成立,执行失败

    def tcc_adjust_trading(cursor, uid, amount):
      affected = utils.sqlexec(cursor, "update dtm_busi.user_account_trading set trading_balance=trading_balance + %d where user_id=%d and trading_balance + %d + (select balance from dtm_busi.user_account where id=%d) >= 0" % (amount, uid, amount, uid))
      if affected == 0:
        raise Exception("update error, maybe balance not enough")
    

    然后是调整余额

    def tcc_adjust_balance(cursor, uid, amount):
      utils.sqlexec(cursor, "update dtm_busi.user_account_trading set trading_balance = trading_balance+ %d where user_id=%d" %( -amount, uid))
      utils.sqlexec(cursor, "update dtm_busi.user_account set balance=balance+%d where user_id=%d" %(amount, uid))
    

    下面我们来编写具体的 Try/Confirm/Cancel 的处理函数

    @app.post("/api/TransOutTry")
    def trans_out_try():
      # 事务以及异常处理
      tcc_adjust_trading(c, out_uid, -30)
      return {"dtm_result": "SUCCESS"}
    
    @app.post("/api/TransOutConfirm")
    def trans_out_confirm():
      # 事务以及异常处理
      tcc_adjust_balance(c, out_uid, -30)
      return {"dtm_result": "SUCCESS"}
    
    @app.post("/api/TransOutCancel")
    def trans_out_cancel():
      # 事务以及异常处理
      tcc_adjust_trading(c, out_uid, 30)
      return {"dtm_result": "SUCCESS"}
    
    @app.post("/api/TransInTry")
    def trans_in_try():
      # 事务以及异常处理
      tcc_adjust_trading(c, in_uid, 30)
      return {"dtm_result": "SUCCESS"}
    
    @app.post("/api/TransInConfirm")
    def trans_in_confirm():
      # 事务以及异常处理
      tcc_adjust_balance(c, in_uid, 30)
      return {"dtm_result": "SUCCESS"}
    
    @app.post("/api/TransInCancel")
    def trans_in_cancel():
      # 事务以及异常处理
      tcc_adjust_trading(c, in_uid, -30)
      return {"dtm_result": "SUCCESS"}
    

    到此各个子事务的处理函数已经 OK 了,然后是开启 TCC 事务,进行分支调用

    @app.get("/api/fireTcc")
    def fire_tcc():
        # 发起 tcc 事务
        gid = tcc.tcc_global_transaction(dtm, utils.gen_gid(dtm), tcc_trans)
        return {"gid": gid}
    
    # tcc 事务的具体处理
    def tcc_trans(t):
        req = {"amount": 30} # 业务请求的负荷
        # 调用转出服务的 Try|Confirm|Cancel
        t.call_branch(req, svc + "/TransOutTry", svc + "/TransOutConfirm", svc + "/TransOutCancel")
        # 调用转入服务的 Try|Confirm|Cancel
        t.call_branch(req, svc + "/TransInTry", svc + "/TransInConfirm", svc + "/TransInCancel")
    

    至此,一个完整的 TCC 分布式事务编写完成。

    如果您想要完整运行一个成功的示例,那么按照 dtmcli-py-sample 项目的说明运行 tcc 的例子即可

    TCC 的回滚

    假如银行将金额准备转入用户 2 时,发现用户 2 的账户异常,返回失败,会怎么样?我们修改代码,模拟这种情况:

    @app.post("/api/TransInTry")
    def trans_in_try():
      # 事务以及异常处理
      tcc_adjust_trading(c, in_uid, 30)
      return {"dtm_result": "FAILURE"}
    

    这是事务失败交互的时序图 image.png

    这个跟成功的 TCC 差别就在于,当某个子事务返回失败后,后续就回滚全局事务,调用各个子事务的 Cancel 操作,保证全局事务全部回滚。

    TCC 网络异常

    TCC 在整个全局事务的过程中,可能发生各类网络异常情况,典型的是空回滚、幂等、悬挂,由于 TCC 的异常情况,和 SAGA 、可靠消息等事务模式有相近的地方,因此我们把所有异常的解决方案统统放在这篇文章分布式事务最经典的七种解决方案的异常处理章节进行讲解

    小结

    在这篇文章里,我们介绍了 TCC 的理论知识,也通过一个例子,完整给出了编写一个 TCC 事务的过程,涵盖了正常成功完成,以及成功回滚的情况。相信读者通过这边文章,对 TCC 已经有了深入的理解。

    关于分布式事务更多更全面的知识,请参考分布式事务最经典的七种解决方案

    文中使用的例子节选自yedf/dtm,支持多种事务模式:TCC 、SAGA 、XA 、事务消息 跨语言支持,已支持 golang 、python 、PHP 、nodejs 、Java 等语言的客户端。提供子事务屏障功能,优雅解决幂等、悬挂、空补偿等问题。

    阅读完此篇干货,欢迎大家访问https://github.com/yedf/dtm项目,给颗星星支持!

    14 条回复    2021-09-08 11:02:30 +08:00
    k9982874
        1
    k9982874  
       2021-09-06 09:06:18 +08:00
    东西是不错,不过你这推广的频率有点狠 @livid
    dongfuye1
        2
    dongfuye1  
    OP
       2021-09-06 09:16:32 +08:00
    @k9982874 抱歉抱歉,打扰了。我的每个主题都是不同的开发语言,不同的讲解内容
    gopher432109
        3
    gopher432109  
       2021-09-07 07:57:54 +08:00
    通俗易懂
    dongfuye1
        4
    dongfuye1  
    OP
       2021-09-07 08:10:27 +08:00
    @gopher432109 嘻嘻嘻嘻
    jmllx1963
        5
    jmllx1963  
       2021-09-07 08:54:33 +08:00 via iPad
    这文笔可以呀 支持一下😁
    daweibao
        6
    daweibao  
       2021-09-07 09:00:50 +08:00
    这个推广也是没得谁了 @livid
    dongfuye1
        7
    dongfuye1  
    OP
       2021-09-07 09:36:38 +08:00
    @daweibao 抱歉抱歉,没想到大家对这个这么介意,近期不发技术相关的节点了
    dongfuye1
        8
    dongfuye1  
    OP
       2021-09-07 09:36:53 +08:00
    @jmllx1963 谢谢支持
    sheltonZ
        9
    sheltonZ  
       2021-09-07 10:02:08 +08:00
    东西是好东西,对我这种小白很有帮助,从知乎,github,v2ex 的都大概看了,star 也给了,并收藏了。但是近期总是在 V2EX 看到,有点审美疲劳了,并且难道你要不同语言的实现都发一遍嘛。。。有需要的会去 github 里看 example 的。。。
    dongfuye1
        10
    dongfuye1  
    OP
       2021-09-07 10:06:59 +08:00
    @sheltonZ 抱歉抱歉,下沉了
    Livid
        11
    Livid  
    MOD
       2021-09-07 16:23:49 +08:00
    @dongfuye1 请阅读 V2EX 的节点使用指南:

    https://www.v2ex.com/help/node

    推广内容只能发到 /go/promotions 节点。

    你的推广主题现在会被移动。
    dongfuye1
        12
    dongfuye1  
    OP
       2021-09-07 17:19:20 +08:00
    @Livid 收到,后续我推广的内容发到推广节点
    Rwing
        13
    Rwing  
       2021-09-08 10:52:22 +08:00
    @dongfuye1 不错,C#版呢?
    dongfuye1
        14
    dongfuye1  
    OP
       2021-09-08 11:02:30 +08:00 via Android
    @Rwing 也有的,项目地址里面能找到
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1511 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 31ms · UTC 16:52 · PVG 00:52 · LAX 08:52 · JFK 11:52
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.