V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
mushuiyu
V2EX  ›  Python

关于深度学习的输出文件

  •  
  •   mushuiyu · 2019-07-19 20:45:36 +08:00 · 2684 次点击
    这是一个创建于 1983 天前的主题,其中的信息可能已经有所发展或是发生改变。
    想问一下,我用 resnet 网络训练的 cifar-10 数据集输出的模型里面没有 pbtxt 文件,只有 meta,index,data 和 checkpoint 文件。cifar-10 应该也是图像分类数据集吧,那要怎么得到它分类的 pbtxt 文件啊。
    item {
    id: 1
    name: 'Cat'
    }
    就是一个如上所示分类数据的文件。
    13 条回复    2019-07-20 14:37:53 +08:00
    Yvette
        1
    Yvette  
       2019-07-19 22:25:40 +08:00
    输出里没有 pbtxt 吧,这是分类名的映射,输入的时候填的,它的路径应该在你的 pipeline.config 文件里面有写
    mushuiyu
        2
    mushuiyu  
    OP
       2019-07-20 08:48:29 +08:00
    @Yvette 我没有通过 object-detection 进行训练,没有 pipeline.config 这个文件。其实意思就是分类集合在数据集的某个文件里其实已经有了,因为训练分类的时候肯定会用到的,所以现在就是需要想办法找到并把它导出来吧。
    ipwx
        3
    ipwx  
       2019-07-20 09:14:00 +08:00
    你都不说你用的什么技术栈…… TensorFlow ?

    TF 的话你用 code + checkpoint 就能恢复模型啊,什么 pbtxt 都是没必要的。

    而且 pipeline.config 是什么鬼,用了这么久 TF 没见过这玩意。
    mushuiyu
        4
    mushuiyu  
    OP
       2019-07-20 09:34:27 +08:00
    @ipwx 是用的 tensorflow,我不是想恢复模型,我是想用训练出的模型进行图片的分类和检测,但是我看网上给出的方法都需要一个 pbtxt 的分类标签数据集,但是我训练出的模型只有 meta,index,ckpt 这些,也固化出了 frozen-graph-model.pb 文件,但是没找到只用这些文件就能检测识别的方法。
    vsitebon
        5
    vsitebon  
       2019-07-20 10:41:47 +08:00
    mushuiyu
        6
    mushuiyu  
    OP
       2019-07-20 10:45:14 +08:00
    @vsitebon thanks 我去看一下
    ipwx
        7
    ipwx  
       2019-07-20 11:12:09 +08:00
    @mushuiyu 我说的恢复模型就是载入模型。。。。

    你完全可以把你训练的时候建图用的代码再跑一遍,然后通过 whatever 方法把 variable restore 到 session 里面,然后你想干啥都行了。
    ipwx
        8
    ipwx  
       2019-07-20 11:13:07 +08:00
    @mushuiyu 顺便说一句,TF 2.0 和 PyTorch 都是动态图了,而动态图用代码 + restore variable 是最自然的方法。。。
    Yvette
        9
    Yvette  
       2019-07-20 13:35:18 +08:00 via iPhone   ❤️ 1
    @ipwx 每个人的知识边界不同,没见过很正常。我的知识可能没你全面,但我课上用过的那个确实就是 pipeline.config 文件

    https://github.com/tensorflow/models/blob/master/research/object_detection/samples/configs/faster_rcnn_resnet101_pets.config
    dafengchui
        10
    dafengchui  
       2019-07-20 13:54:52 +08:00
    @ipwx @vsitebon 方便留个联系方式么?
    mushuiyu
        11
    mushuiyu  
    OP
       2019-07-20 13:58:42 +08:00
    @Yvette 你好再问一个问题,刚才用 object-detection 试了一下,在运行 model_main.py 主程序的时候,出现了下面的问题:
    WARNING:tensorflow:Forced number of epochs for all eval validations to be 1.
    WARNING:tensorflow:Expected number of evaluation epochs is 1, but instead encountered `eval_on_train_input_config.num_epochs` = 0. Overwriting `num_epochs` to 1.
    WARNING:tensorflow:Estimator's model_fn (<function create_model_fn.<locals>.model_fn at 0x000001B0B6282F28>) includes params argument, but params are not passed to Estimator.
    出现了这三个警告后程序就自己停止了,我看了一下对应的 config 文件里面也没有 num_epochs 这个参数,我就自己在最后加了一个 num_epochs: 1,运行了还是这个问题,想请问一下这种情况是怎么回事。
    ipwx
        12
    ipwx  
       2019-07-20 14:22:24 +08:00
    @Yvette Good。事实上我没见过这种 .config
    Yvette
        13
    Yvette  
       2019-07-20 14:37:53 +08:00
    @mushuiyu 印象中没遇到过这个这种问题,我搜了一下下面这两个 issue 好像跟你遇到的问题差不多?我不太了解具体情况,可能还是得需要你自己搜一下这三个 warning 代表啥

    https://github.com/tensorflow/models/issues/5790
    https://github.com/kubeflow/examples/issues/277
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   5578 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 24ms · UTC 01:37 · PVG 09:37 · LAX 17:37 · JFK 20:37
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.