V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
Reign
V2EX  ›  机器学习

市面上 GPU 服务器都好贵,机器学习跑 model 用顶级 CPU 服务器行吗?

  •  
  •   Reign · 2017-04-28 10:05:03 +08:00 · 1971 次点击
    这是一个创建于 2759 天前的主题,其中的信息可能已经有所发展或是发生改变。

    在自己的服务器上用别人训练好的 caffemodel 来测试图片,每张图片处理平均耗时半分钟,实在太慢,当然我的服务器机器也太差,双核 ATOM 的 CPU+4G 内存,想换成 GPU 服务器,逛了逛 GPU 服务器好贵,目前就在想两种方法:

    1. 用核心数和线程数最好的 CPU 来跑 model,这样能把单张图片处理时间控制在 3 秒之内吗?
    2. 用自己的台式机 7*24 小时来跑,但台式机配置也很老了:E3-1230V3+8G+GTX770,但是个人有点强迫症,始终担心安全隐患(小时候自己研发的电气设备半夜把房子烧了,还好自己和家人一点事都没有),运行大型 3D 游戏比如使命召唤时,机箱基本就是一个火炉了,白天没人在家,始终担心安全问题。另外,自己要从国外网站抓图片来跑,电信出口带宽慢成蜗牛,也是我顾及的地方

    求好心 V 友给点意见

    第 1 条附言  ·  2017-04-28 11:27:35 +08:00
    刚刚测试了一下,vultr 的 20 美元:2cpu+4G+60G ssd,单张图片处理降低为 6 秒的样子,还是有点慢,然后用了个 caffe openblas 的 docker: https://hub.docker.com/r/travisjohnston/caffe-openblas/ 速度降为 5 秒每张,但是不知道这个 docker 里面的 caffe Makefike.config 文件在哪里配置,有好心 V 友能测试一下吗?
    26 条回复    2017-07-27 11:00:10 +08:00
    dream7758521
        1
    dream7758521  
       2017-04-28 10:08:49 +08:00 via Android
    这个你开个高配置的云服务器试一下啊
    mason961125
        2
    mason961125  
       2017-04-28 10:11:08 +08:00
    我想知道为什么你的服务器会用 Atom...
    hiboshi
        3
    hiboshi  
       2017-04-28 10:12:24 +08:00
    楼主开云主机的时候提前告诉我们是哪家。以便我们尽快转移,担心机房被烧了。
    Reign
        4
    Reign  
    OP
       2017-04-28 10:12:41 +08:00
    @mason961125 一个很普通的网站,不需要很高的配置
    Reign
        5
    Reign  
    OP
       2017-04-28 10:14:24 +08:00
    @hiboshi 机房有 UPS、空调还要监控等等,我就一台机器大夏天房子啊沙发旁边,哎,心理阴影
    mason961125
        6
    mason961125  
       2017-04-28 10:14:42 +08:00
    @Reign 不是说要多高的配置,而是现在大部分云服务商用的都是 E5 了,Atom 的性能真的跟不上。
    irainsoft
        7
    irainsoft  
       2017-04-28 10:16:03 +08:00
    想到这个月月初 ikoula 特价机最底下一个 GTX 1080 的服务器....
    c0878
        8
    c0878  
       2017-04-28 10:28:42 +08:00
    直接 AWS 上面按小时租 跑完任务释放掉 其实没多少钱
    caomaocao
        9
    caomaocao  
       2017-04-28 10:38:51 +08:00
    为啥会是 ATOM....
    Morriaty
        10
    Morriaty  
       2017-04-28 10:43:50 +08:00
    关键你是要学习还是应用,学习的话,哪怕处理时间超过半小时都能接受啊

    应用的,去找老板要钱
    ivmm
        11
    ivmm  
       2017-04-28 10:47:43 +08:00
    GPU 也得专门用来计算的,而不是游戏显卡
    denghongcai
        12
    denghongcai  
       2017-04-28 10:50:21 +08:00
    这个担心有点诡异吧…… E3 1231 v3 大奶,E5 2683 v3 二奶二十四小时开机一年多了都,总不至于电源是垃圾吧
    wangzhangup
        13
    wangzhangup  
       2017-04-28 11:03:19 +08:00 via iPhone
    @ivmm 我是深度学习从业者,非常负责任地告诉你,行业内大部分都是 gtx 系列的 gpu。
    jarlyyn
        14
    jarlyyn  
       2017-04-28 11:04:37 +08:00
    换个风扇?
    wangzhangup
        15
    wangzhangup  
       2017-04-28 11:09:40 +08:00 via iPhone   ❤️ 2
    1. 主要看你的 model 结构怎么样,比较 tiny 的网络 CPU 多线程速度也很快。但是网络复杂的话 cpu 还是吃不消的。

    2. 这个问题我从侧面回答吧。目前行业内用的比较多的 gpu 是 gtx titan x 和 1080 以及 1080ti,价格分别是 9000+,4000+,5500+。同样 model 的情况下,同价位的 gpu 要比 cpu 的速度快 30 到 50 倍。所以 gpu 服务器是必须的,但是“私搭”还是云服务就看你具体情况了
    ivmm
        16
    ivmm  
       2017-04-28 11:26:43 +08:00
    @wangzhangup
    Azure 用的是:NVIDIA Tesla
    AWS 用的是:NVIDIA Tesla
    Aliyun 用的是:AMD FirePro
    腾讯用的是 :NVIDIA Tesla

    精密计算用游戏 GPU 还是不太行的, 用 AMD 的游戏显卡在初期临时代替还行,GTX 真的是专注打磨游戏的 GPU
    29EtwXn6t5wgM3fD
        17
    29EtwXn6t5wgM3fD  
       2017-04-28 11:32:05 +08:00 via iPhone
    aws 竞价服务器
    Aliencn
        18
    Aliencn  
       2017-04-28 11:55:09 +08:00
    然而我们免费 GPU 的测试服务器分配完了。
    如果付费使用 GPU 服务器的话,你想要什么样的配置,以及什么价位你能接受
    longbye0
        19
    longbye0  
       2017-04-28 12:17:21 +08:00 via Android
    @ivmm 你需要知道双精度浮点性能和单精度,对于计算化学这类需要双精度,但是对视觉任务来说,比如楼主的跑个 caffemodel,单精度足够,所以 titan x 是最经济的
    h4x3rotab
        20
    h4x3rotab  
       2017-04-28 16:48:30 +08:00 via iPhone
    google 里经常看见人用 1000 个 cpu 跑 tensorflow,意思就是有钱的话,cpu gpu 也没什么太大关系
    RqPS6rhmP3Nyn3Tm
        21
    RqPS6rhmP3Nyn3Tm  
       2017-04-28 18:09:27 +08:00 via iPhone
    传说有人专门收二手矿卡做这事,干脆自建得了
    5UESxM1SED56K25z
        22
    5UESxM1SED56K25z  
       2017-04-28 18:48:38 +08:00
    握草,我有几万张矿卡,怎么搞 谁有需求
    likuku
        23
    likuku  
       2017-04-28 19:45:26 +08:00
    aws 现在有弹性 GPU 计算类型机器,根据程序需求可以动态申请所需的 GPU 核数量来运算,算完就释放。
    ryd994
        24
    ryd994  
       2017-04-29 08:29:58 +08:00
    wangzhangup
        25
    wangzhangup  
       2017-04-29 10:50:46 +08:00 via iPhone
    @ivmm 实际工作环境大家用的是 gtx
    q1w2e3r4470
        26
    q1w2e3r4470  
       2017-07-27 11:00:10 +08:00
    一个普通 GPU 就能比 CPU 快 20-30 倍,毕竟 GPU 都好几千核了,CPU 才几核,怎么比。
    当然了,GPU 承担的任务比 CPU 简单,所以 GPU 的核比 CPU 的简单好多
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2926 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 27ms · UTC 13:42 · PVG 21:42 · LAX 05:42 · JFK 08:42
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.