现状
目前文件数量~10M ,年新增 3M ,总容量~5TiB (年新增 1.5TiB ),单文件平均尺寸 500KiB ( stdev=900KiB ,有小的几十 KiB 的,也有几 MiB 的大文件)
目前文件存放于 qnap 的 QuObject 服务下面(可以认为是一个兼容的 S3 的商业实现)
文件存储结构是 md5 前两位+md5+扩展名 例如 e10adc3949ba59abbe56e057f20f883e.jpg 会被存储为: /e1/e10adc3949ba59abbe56e057f20f883e.jpg
算下来有 256 个文件夹,每个文件夹~40K 个文件
问题
之前选择威联通去存放,是因为这台威联通的混合式 raid ( hdd+ssd )我以为可以提高性能和存取效率,虽然用下来一年多还是挺稳定的,但是本身这台 TS-963N 还是挺弱鸡的,想迁移出去。
目前已有的设备和资源:
- windows nas, 有一个 80T raid6 SAS HDD 的磁盘
- 分区格式还没确定,exfat/ntfs 可选
- 因为这台 NAS 上还有其他服务,暂时不方便迁移到 linux
- S3 软件
- 选的是 minio
- 老版本的 minio 是支持 legacy fs ,就是文件存储的物理路径和实际路径是一致的
- 文件目录
- 目前是 1 级 hash ,可以配合业务修改为 2 级 hash
- /e1/e10adc3949ba59abbe56e057f20f883e.jpg =>
- /e1/0a/e10adc3949ba59abbe56e057f20f883e.jpg
想问下基于以上的信息还有啥好的建议么?