V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
Honlan
V2EX  ›  Python

深度有趣 | 02 准备工作

  •  
  •   Honlan ·
    Honlan · 2018-09-21 21:39:59 +08:00 · 1359 次点击
    这是一个创建于 2014 天前的主题,其中的信息可能已经有所发展或是发生改变。

    简介

    在个人电脑上,搭建编程所需的各项环境

    Anaconda

    一个涵盖了 Python、pip 以及常用 Python 包的软件,https://www.anaconda.com/download/,根据操作系统进行选择,并使用 Python3 对应的 Anaconda 版本

    Sublime Text

    一个简洁清爽而高颜值的编辑器,https://www.sublimetext.com/,下载并安装 Sublime Text 3

    也可以尝试其他对新手更友好的编辑器,例如 PyCharm,https://www.jetbrains.com/pycharm/

    运行代码

    运行代码的三种方法

    • 使用编辑器编写代码,并在编辑器中运行
    • 使用编辑器编写代码,并在命令行中运行
    • 使用 Jupyter Notebook 编写代码并运行

    安装包

    可以用pipconda安装 Python 包

    pip install tensorflow keras
    

    如果安装过慢,可以尝试使用国内的源,例如清华提供的源

    pip install tensorflow==1.9.0 keras==2.2.0 -i https://pypi.tuna.tsinghua.edu.cn/simple
    

    文件路径

    Windows 上的文件路径以左斜杠\拼接

    C:\Users\hlzhang\Desktop
    

    而 Mac 和 Linux 上的文件路径以右斜杠/拼接

    /Users/honlan/Desktop
    

    我习惯于后者,所以在后续代码中,如果使用字符串表示或拼接文件路径,则都是使用/

    如果在 Windows 上报错,请将/相应地改为\

    中文编码

    在 Windows 上读写文本文件时,最好指定编码为utf8,尤其是在文件中包含中文时,因为这门课所涉及的文本文件都是utf8编码

    fr = open('xyj.txt', 'r', encoding='utf8')
    

    不然可能会出现类似以下编码错误

    UnicodeDecodeError: 'gbk' codec can't decode byte 0x80 in position 2: illegal multibyte sequence
    

    深度学习框架

    TensorFlow 和 Keras 都是非常流行的深度学习框架

    TensorFlow 提供了更加底层的 API,好比木材和各种工具,自己 DIY

    Keras 封装度更高,以 Theano、TensorFlow 等底层框架为backend,好比造好的轮子

    用经典网络层搭模型时,Keras 更方便;动手实现和修改模型的细节时,TensorFlow 更灵活

    Keras 的backend可以是 Theano 或 TensorFlow,为了保持一致,将backend改为 TensorFlow

    编辑以下文件,如果是 Windows,则将$Home改为%USERPROFILE%

    $HOME/.keras/keras.json
    

    修改 backend 字段即可,改动始终有效

    {
        "image_data_format": "channels_last",
        "epsilon": 1e-07,
        "floatx": "float32",
        "backend": "tensorflow"
    }
    

    或者在代码里指定,仅对当前代码有效

    import os
    os.environ['KERAS_BACKEND'] = 'tensorflow'
    import keras
    

    关于backend的更多内容,请参考以下文档,https://keras-cn.readthedocs.io/en/latest/backend/

    GPU

    CNN 等神经网络模型使用 GPU 训练更快,有条件的话可以用 GPU,不然只能用 CPU 进行训练,相应地需要安装 tensorflow 的 gpu 版本

    pip install tensorflow-gpu
    

    如果是 Nvidia 的 GPU,那么还需要安装和配置 CUDA 和 CuDNN,http://www.shushilvshe.com/data/dl-env-build.html,并且需要注意 tensorflow 和 CUDA、CuDNN 之间的版本兼容问题

    • 在 tensorflow1.6 之前,使用 CUDA8.0 和 CuDNN8
    • 从 tensorflow1.6 开始,使用 CUDA9.0 和 CuDNN7
    • tensorflow 版本更新很快,录课开始时还是 1.4,录课结束时已经更新到了 1.10
    • 没有一成不变的配置,只有不断适应才能赶上变化

    推荐前置

    Q&A

    __MACOSX.DS_Store是 mac 文件系统自动生成的,在其他操作系统下可以忽略,或者删掉

    03 课中,在 Windows 上读取包含中文的文本文件时,如果报UnicodeDecodeError,记得在open函数中指定编码open('xyj.txt', encoding='utf8')

    13 课中,所使用的中文维基分词语料下载链接为, https://pan.baidu.com/s/1qXKIPp6,提取密码为 kade

    18 课中,在 Windows 上可能出现无法读取中文名称图片的情况,将图片名称修改成英文即可

    29 课中,main.py19 行的 split 如果报IndexError,是因为 Window 使用左斜杠为路径分隔符,所以把/改成\\即可

    视频讲解课程

    深度有趣(一)

    目前尚无回复
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   5428 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 31ms · UTC 08:49 · PVG 16:49 · LAX 01:49 · JFK 04:49
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.