V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
zhiqiang
V2EX  ›  问与答

tensorflow predict 的 C++接口比 Python 速度还慢?

  •  
  •   zhiqiang · 2019-01-08 08:40:03 +08:00 · 3773 次点击
    这是一个创建于 1906 天前的主题,其中的信息可能已经有所发展或是发生改变。

    tensorflow 提供了 C++和 Python 接口,测试了两个接口的速度,结果发现 C++比 Python 还慢。

    为什么呢,有人来说说不?

    我们只测试了 predict。模型是事先训练好的。在计算运行时间时,只统计两边调用 predict 函数的时间。

    6 条回复    2019-01-09 09:38:58 +08:00
    luxinxin
        1
    luxinxin  
       2019-01-08 08:44:20 +08:00 via iPhone
    冷启动时间是否排除掉了,以及 cpp 和 python 接口是否用的是同样的 batch size
    zhiqiang
        2
    zhiqiang  
    OP
       2019-01-08 08:58:28 +08:00
    @luxinxin 你之前有类似的测试吗?

    我只统计了 tensorflow 的 predict 函数调用时间,tensorflow 启动和数据准备时间都被排除了。除非在 predict 函数内部的启动,这个也无法排除。

    batch size 一样。模型也一样。数据也一样。
    luxinxin
        3
    luxinxin  
       2019-01-08 09:15:55 +08:00 via iPhone
    我没做过类似的对比,要不你再试试先 predict 一千个样本,这样能把 predict 内部的启动因素也排除掉,然后再开始计时。
    zhiqiang
        4
    zhiqiang  
    OP
       2019-01-08 09:30:54 +08:00
    @luxinxin 我做了十万次然后对比的时间。。。
    glasslion
        5
    glasslion  
       2019-01-08 10:16:03 +08:00
    慢了多少? C++ 的 tensorflow 和 Python 的 tensorflow 是否完全一致(mkl 等)?
    zhiqiang
        6
    zhiqiang  
    OP
       2019-01-09 09:38:58 +08:00
    @glasslion 不多,一半到一倍吧。

    编译一致性这个我不清楚,怎么查?
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   994 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 28ms · UTC 22:16 · PVG 06:16 · LAX 15:16 · JFK 18:16
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.