V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
Neagle
V2EX  ›  Python

怎么用一个 py 文件来执行其他多个 py 文件,谢谢。

  •  
  •   Neagle · 2016-06-15 13:00:13 +08:00 · 7449 次点击
    这是一个创建于 2873 天前的主题,其中的信息可能已经有所发展或是发生改变。
    我新学习 Python ,看了两个爬虫框架,觉得对我来说太重了,也不利于继续学习基础的知识,于是准备自己先写着。
    1 、我封装好基本的 requests 库和写入数据库的文件,已完成。
    2 、有 a,b,c,d....需要爬取的网站, 我个每个网站写一个爬取文件 a.py , b.py 每个都能单独的很好运行, 从列表读取待爬取的 url ,然后存入 redis 做队列,接着从 redis 获取 url ,爬取的文档页面内容 存入 mongodb 。已完成。

    但问题是, 我每次都要逐个去运行 a.py b.py c.py.... 能不能一起运行呢?谢谢。
    9 条回复    2016-06-17 09:08:35 +08:00
    jason0916
        1
    jason0916  
       2016-06-15 13:04:18 +08:00
    map(lambda name: os.popen('python {}.py').format(name), ['a', 'b', 'c']) 这样子?感觉比较挫,坐等楼下的好办法
    just4test
        2
    just4test  
       2016-06-15 13:06:37 +08:00   ❤️ 1
    import os
    os.system('a.py')
    os.system('b.py')


    为什么不用配置文件呢?
    a.py a.config b.config c.config 。。。。。。。
    Neagle
        3
    Neagle  
    OP
       2016-06-15 13:11:32 +08:00
    @just4test 非常感谢,主要是不会用配置文件啊,我刚啃完 Python 学习手册,没见着这部分内容。 汗...
    fohnwind
        4
    fohnwind  
       2016-06-15 14:14:36 +08:00
    @Neagle parseconfig 这个库
    maowu
        5
    maowu  
       2016-06-15 23:58:19 +08:00
    用__import__()这个函数如何?把每个爬取文件作为库动态导入。
    ryanking8215
        6
    ryanking8215  
       2016-06-16 12:45:51 +08:00
    难道不是 a.py, b.py, c.py 使用 `if name==__main__'作为独立运行,再有个`all.py` import a, b, c , 调用模块接口吗?
    ZoomQuiet
        7
    ZoomQuiet  
       2016-06-16 15:06:48 +08:00
    import them all as one work line
    or just usage bash
    Neagle
        8
    Neagle  
    OP
       2016-06-16 22:48:40 +08:00
    @ryanking8215 非常感谢,麻烦再说详细点,新手,还有点看不懂,谢谢。
    ryanking8215
        9
    ryanking8215  
       2016-06-17 09:08:34 +08:00
    @Neagle 假设`a.py`里有`crawl_v2ex()`的函数, 有`if __name__=='__main__': crawl_v2ex()`,表示`a.py`文件单独运行时执行的内容。 也可以有`all.py`文件,里面`import a`, 然后就可以调用`a.crawl_v2ex()`,同理可用于 b 和 c 。


    最简单的还是用 sh 写个脚本,不就都跑起来了。

    #!/bin/sh

    python a.py
    python b.py
    python c.py
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   1418 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 26ms · UTC 17:19 · PVG 01:19 · LAX 10:19 · JFK 13:19
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.