V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
clowwindy
V2EX  ›  问与答

大量个人数据的存储和备份,你是怎样做的?

  •  
  •   clowwindy · Jun 10, 2012 · 8991 views
    This topic created in 5073 days ago, the information mentioned may be changed or developed.
    记得很多年前的时候,我刻过十几个光盘包的光盘。刻录、读取、解压、分卷都很费时,人工为光盘“分库”“建索引”也很麻烦。而且光盘存放时间有限,隔几年就要重新刻一遍。后来硬盘越来越便宜的时候,大家就都直接用硬盘备份了。

    在硬盘容量还在增长的阶段,我每隔一年左右就要买一块更大的硬盘,然后把原来硬盘上的根目录整个拷进去。现在电影、动画、游戏的容量越来越大,单块硬盘的容量和读写速度没有很大的进步。当需要三块以上的硬盘才能装下所有数据时,硬盘也变得不方便了。

    1. 文件分散在不同硬盘上,管理起来不方便,即使用符号链接,也不能维持统一的目录结构。比方说,为了避免单块硬盘用满,可能就要在不同的硬盘上分别建 Movie01,Movie02,Movie03……机械硬盘近年来读写速度没什么进步,手工平衡容量要花很长的时间转移文件,很不方便。
    2. 如果硬盘多了,其中某块硬盘挂掉的概率会成倍增加,所以需要一个带冗余的方案。
    3. 这些数据应该能很容易的被家中的不同设备访问。

    目前找到的方案里面,似乎 Hadoop 的 DFS 能满足这几点,用 fuse 驱动或 webdav 可以挂载到操作系统里。用很便宜的配件(CPU300 + 主板300 + 机箱电源150)就能搭起来,成本基本上大部分就在硬盘上。搭起来之后,存文件的时候不用考虑哪块硬盘还有空间,加硬盘、换硬盘就再也不用手工转移数据了。即使一台机器插满了硬盘,再加一台机器就能直接扩容了。

    不知大家有没有尝试过?
    28 replies    1970-01-01 08:00:00 +08:00
    virushuo
        1
    virushuo  
       Jun 10, 2012
    试试zfs?
    binux
        2
    binux  
       Jun 10, 2012
    保存存100M的种子,而不是10T的文件
    welsmann
        3
    welsmann  
       Jun 10, 2012
    @binux +1
    clowwindy
        4
    clowwindy  
    OP
       Jun 10, 2012
    @virushuo zfs 能否像 hdfs 那样,可以设置一个 replication 数量,自动决定数据存储在哪些节点?
    virushuo
        5
    virushuo  
       Jun 10, 2012
    @clowwindy zfs应该是可以通过创建多个不同的文件系统来做这事。但和hdfs的目标是不一样的,所以应该不能直接和replication那么用。

    但zfs只要管理好存储池,划分好文件系统应该就可以解决同样问题。
    pengjiayou
        6
    pengjiayou  
       Jun 10, 2012   ❤️ 1
    直接上 NAS ,推荐 Synology 和 Netgear ,尤其是前者,专业做 NAS 的。
    lyxint
        7
    lyxint  
       Jun 10, 2012
    删掉,最好的解决方案
    blueven
        8
    blueven  
       Jun 10, 2012
    @lyxint 赞!
    FreeWriting
        9
    FreeWriting  
       Jun 10, 2012
    只备份个人文档,dropbox加移动硬盘
    其它下载来的东西没了就没了,否则烦恼太多
    blacktulip
        10
    blacktulip  
       Jun 10, 2012
    真心建议删光,反正我电影从不看第二次,某种特殊类型的除外。
    akann
        11
    akann  
       Jun 11, 2012
    电影建议只保存链接,或者只保存bt种子,音乐保存在google music或者直接使用虾米等音乐网站 其他文件可以保存在网盘或者自己的硬盘。
    电影是最占硬盘的,最好不要保存。如果你非要保存电影,建议保存flv格式的电影,容量会比mpeg4格式的电影缩小很多。
    goophile
        12
    goophile  
       Jun 11, 2012
    @akann 电影当然是要么不保存,要么保存最好的版本
    yuiagain
        13
    yuiagain  
       Jul 5, 2012
    学习。。。。。
    cheshirecat
        14
    cheshirecat  
       Jul 5, 2012
    这是 Hoarding ... 得治...
    dhysum
        15
    dhysum  
       Jul 5, 2012
    可以试试LINUX集群, NFS等。
    dhysum
        16
    dhysum  
       Jul 5, 2012
    磁盘柜。
    brucmao
        17
    brucmao  
       Jul 5, 2012
    迅雷离线空间那么大,保存在上面吧,
    likuku
        18
    likuku  
       Jul 5, 2012   ❤️ 1
    zfs 轻松扩容。只要把zpool里所有的硬盘都以每次替换一块的方式换掉,然后重新加载一次,容量就增大了。
    tuita012
        19
    tuita012  
       Jul 5, 2012
    可以试试网盘的服务
    tuita012
        20
    tuita012  
       Jul 5, 2012
    可以试试网盘的服务
    qiuai
        21
    qiuai  
    PRO
       Jul 5, 2012
    我目前的解决办法.不保存电影,不保存动漫,H片看完好看的保存,不好看的直接删除,但是不管好看不好看,保留种子.电子书因为体积的关系,全部保存了,照片有单独的分区,音乐也有单独的分区,工作文档也有.
    同时,我买了115的VIP,做同步盘用.因为DB我这边速度太慢.
    pulse_me
        22
    pulse_me  
       Jul 5, 2012
    @blacktulip 什么特殊类型的呢?
    eric_q
        23
    eric_q  
       Jul 5, 2012
    MooseFS?
    heidour
        24
    heidour  
       Jul 5, 2012
    利用发展的眼光看问题的话,以后想看什么在线瞬间看,现在收藏没用。
    heidour
        25
    heidour  
       Jul 5, 2012
    利用发展的眼光看问题的话,以后想看什么在线瞬间看,现在收藏没用。
    Kvm
        26
    Kvm  
       Jul 6, 2012
    简单的干法用lvm
    huochengfang
        27
    huochengfang  
       Jul 6, 2012
    我原来是1比1备份,全挂在机子上,用库统一访问……但是当我硬盘膨胀到6T的时候。我觉悟了……走向了另一个极端。
    alexrezit
        28
    alexrezit  
       Jul 6, 2012
    看完就删, 至于那个"隔几年就要重新刻一遍"太二了, 这几年内都没有看过的话就说明没价值了直接丢掉就好了啊~
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   2416 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 78ms · UTC 04:18 · PVG 12:18 · LAX 21:18 · JFK 00:18
    ♥ Do have faith in what you're doing.