Linux 有什么好的百度网盘批量下载和 OneDrive 批量上传软件方案吗

[adasj]

楼主用的 Hetzner 德国 32tb hhd 硬盘服务器和日本 1tb ssd 硬盘服务器但都是 linux 系统

有 70tb 的资源需要备份

百度网盘开了超级会员

我的备份流程是从百度网盘/谷歌网盘 -> 下载到 -> 服务器本地硬盘 -> 上传到 -> OneDrive 海外版 5tb

目前用的 alist 上传下载小文件没什么事但大文件总是出问题

谷歌网盘还好但百度网盘用的 alist 经常出现 10gb 的文件下到本地变 8gb 然后出现文件损坏

或者出现 10gb 文件从本地上传到 OneDrive 在一半进度条时就卡死不再上传

看了一下 github.com/alist-org/alist/issues/

这两个问题都有被提到

服务器本地硬盘 -> 上传到 -> OneDrive 海外版 5tb 这个流程改用 rclone 来进行还经常会被限速到 100kbp/s ，70tb 上传到老

有什么其他好的方案吗？

[Sirius8]

onedrive 限制太大，可以当备份盘

[adasj]

@Sirius8 ，自从谷歌 workspace 不再提供无限空间才想着给自己的网盘资源换换地，od 我这边之前一直就是在当备份盘用，api 虽然经常限速但实在挡不住他有 5tb 还可以批量注册啊😂😶

[saybyetoGFW]

提问者的服务器如果是 1Gbps 的主机，大概一个月时刻不停上传的话，大概能传输 320Tb 文件。
题主假如在民主自由平等公正法治国家不应当考虑这个问题。家庭宽带 fiber 一般不管下行，准备好硬盘就可以了🤔😆

下面讨论提问者假如在某些不那么正常的国家或地区的情况，由于众所周知的原因,跨境数据传输可能不大现实。
如果只是单纯考虑备份的话，我建议你分卷压缩文件上传到 github release 上去，记得加上密码。要回滚数据的时候通过 wget 命令下载文件解压就行了。
用到的命令行工具有 7z,gh
github release 单文件不超过 2GB 就行，分卷压缩看着办。题主 70tb 的数据着实😆！应该是跑 pt 的吧。
我现在面临的问题是分卷后的压缩文件有点多，通过 gh release create 似乎只能单个上传文件，还没有找到直接上传文件夹的方法。注意此方法在朝鲜🇰🇵不适用
希望有这方面经验的大佬可以介绍一下。

[adasj]

@saybyetoGFW 70tb 不算多，随便弄弄就有了，m 头站赞助永 v ，已经不需要 pt 了🥲，我这边的网盘上除了放了一些刮削整理好的 4k 电影电视剧游戏 mod 就基本全都是 3dmax 渲染模型时弄出来的文件了，因为我每次都把渲染的质量尽量拉高导致弄出来的文件体积普遍偏大了，又舍不得删😅

拿 GitHub 当网盘用，存的东西一多，账号或者仓库应该就会容易挂掉吧，github 今年十月份就要强制每个用户都开启双因素 2fa 身份验证了😶

[saybyetoGFW]

@adasj 跨境传输的确是个问题，所以自从风向不对就提前润出来了，我记得刚出来的时候还是人民富豪的年景。
1.或许您可以再买个 hetzner 的大盘鸡,4*16tb hdd sx64 大概 85 欧元，说实话这个的确很贵，对于国内而言。hetzner 同网络区域传输免费，德国芬兰算是两地容灾了。
2.把文件夹上传到 ipfs,一般国际流量这种 p2p 的限制比较少一点，但是要注意国内要至少留一个备份，防止内容被垃圾回收，那就完犊子啦。ipfs 可以公开的内容，像这些所谓的电影电视剧可以不加密码公开，设计图这些私密内容还是要加密。
3.更次级一点的方法，批量注册 GitHub 账号呗，比如 adasj-peking,adasj-shanghai,以此类推，每个账号存个 8TB ，应该还好吧。让你上传文件到 GitHub release 又不是 GitHub 仓库。
说实话，数据量的确有点大。
好吧，用国内的眼光看问题的确有点困难。😂😆在这边，准备好硬盘就行了，哪有这么麻烦的事儿呢。
毕竟有几年没回去了，中国当前的环境到底如何了？为什么是通缩和失业率居高不下呢，我看到的是不是假新闻？