V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
scalaer
V2EX  ›  问与答

mysql 并发写快点还是 load data infile 快点?

  •  
  •   scalaer · 2021-07-15 18:31:52 +08:00 · 1094 次点击
    这是一个创建于 1261 天前的主题,其中的信息可能已经有所发展或是发生改变。

    有 v 友测过吗, 在什么数据范围内使用并发写, 在什么范围内使用 load data file 方式

    6 条回复    2021-07-15 23:21:34 +08:00
    netnr
        1
    netnr  
       2021-07-15 19:04:32 +08:00 via Android
    8 万左右的业务数据,load 快,批量事物要慢,不开事物每秒几十条更慢,c# 测试
    scalaer
        2
    scalaer  
    OP
       2021-07-15 19:27:45 +08:00
    @netnr 8w 的数据量差别不会很大吧, 我这边是 50 亿条的数据在考虑那种方式要快点
    netnr
        3
    netnr  
       2021-07-15 19:30:57 +08:00 via Android
    那肯定 load 快呀,建议分批 100 万一把
    scalaer
        4
    scalaer  
    OP
       2021-07-15 19:40:07 +08:00
    @netnr 请问下咋分批啊, 每次 load,都会覆盖之前插入的数据
    netnr
        5
    netnr  
       2021-07-15 22:32:55 +08:00 via Android
    load 是新增,为什么会覆盖
    arjen
        6
    arjen  
       2021-07-15 23:21:34 +08:00 via iPhone
    岔个话题,同一张表并发会不会比串行写更慢?
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2496 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 29ms · UTC 04:38 · PVG 12:38 · LAX 20:38 · JFK 23:38
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.