如何实现多线程下载时,同时显示多个进度条?

[rabbbit]

希望能分享点相关的代码示例或资料

开始时想用 tqdm 来着,但总有显示串行等奇怪的 bug.

相关代码大致如下:

from tqdm import tqdm
from multiprocessing.dummy import Pool

def dw(url):
    r = requests.get(url, stream=True)
    size = int(r.headers['Content-Length'])
    progress = tqdm(total=size)
    with open('file', 'wb') as f:
        for chunk in r.iter_content(1024):
            progress.update(len(chunck))
            f.write(chunck)
    progress.close()


pool = Pool(5)
for i in urls:
    pool.apply_async(dw,args=(i))
pool.close()
pool.join()

补 5 楼问题 bug 图


v2ex 总是提示这条回复无法由太新的账号发出,没办法只能挂到 APPEND 里了

相关部分代码

position = 0
def dw(url, path):
    r = requests.get(url, headers=HEADERS, proxies=PROXIES, stream=True)
    global position
    progress = tqdm(
        total=int(r.headers['Content-Length']),
        # unit='B',
        unit_scale=True,
        desc=path,
        # dynamic_ncols=True,
        position=position,
        bar_format='{desc}{percentage}',
    )
    position += 1
    with open(path, 'wb') as f:
        for chunk in r.iter_content(1024):
            progress.update(len(chunk))
            f.write(chunk)
        progress.close()


pool = Pool(10)
for i in urls:
    # i 文件链接
    # path 保存路径
    inf = pool.apply_async(dw, args=(i, path))
pool.close()
pool.join()

加了把锁,还是有错,不过比以前少多了.就这样吧,懒得弄了.
感谢各位的帮助

[mason961125]

如果用多线程下载一个文件，那么下载的只是同一个文件的不同区域，分开显示意义不大。

[rabbbit]

@mason961125 可能我表达有误,同时下载多个文件.

[NoAnyLove]

不同线程创建自己的 tqdm 实例，传递不同的 position 参数。话说，你们用库都不看文档的吗？

[rabbbit]

@NoAnyLove 试过了,还是有 bug.

[NoAnyLove]

@rabbbit 具体什么样的 bug ？

[SakuraSa]

多行的进度条大约需要 curses 来实现(win 下没有原生的 curses)

或者你可以使用别人弄好的，例如 blessings

[NoAnyLove]

@rabbbit 我觉得你需要贴张图说明是什么样的 bug。另外，多个线程可以同时向终端 print，可能会造成混乱。加个锁试试。

[rabbbit]

@NoAnyLove
i.imgur. com/90RV9G6

(没办法只能切开,v2ex 这条回复无法由太新的账号发出)
链接重复显示,实际上红圈里文件上就下载了一次

[NoAnyLove]

@rabbbit 最新的那层
https://github.com/tqdm/tqdm/issues/407

[NoAnyLove]

@rabbbit 上面给的 issue 的链接有我写的示例代码，需要对创建 tqdm、tqdm.update 和 tqdm.close 都要加锁。另外还有个 position 的小技巧，要从 1 开始