zzxy001 最近的时间轴更新 zzxy001 最近的时间轴更新 |
zzxy001V2EX 第 60585 号会员，加入于 2014-04-17 21:05:10 +08:00 |
| 请教一下如何对多个服务器上的爬虫进行管理 Python • zzxy001 • 2020-07-02 09:26:38 AM • 最后回复来自 zzxy001 | 30 |
zzxy001 最近回复了
2020-07-02 09:26:38 +08:00 回复了 zzxy001 创建的主题 › Python › 请教一下如何对多个服务器上的爬虫进行管理 |
这个社区的大神就是多，谢谢各位。根据大家的建议我搜索了关键词，找到了一个解决办法附带了 shell 脚本代码的，目前准备先试一试。当然 git 和 webhook 我也会试一试，学习一下新技术
2020-07-01 16:51:42 +08:00 回复了 zzxy001 创建的主题 › Python › 请教一下如何对多个服务器上的爬虫进行管理 |
@MrTreasure 刚刚初步搜了一下，shell 脚本是 Linux 系统，window 可以用吗
2020-07-01 16:46:44 +08:00 回复了 zzxy001 创建的主题 › Python › 请教一下如何对多个服务器上的爬虫进行管理 |
@MrTreasure 是 shell 脚本可以完成这些步骤吗？
2020-07-01 16:43:40 +08:00 回复了 zzxy001 创建的主题 › Python › 请教一下如何对多个服务器上的爬虫进行管理 |
@lenqu 能不能稍微详细讲一下思路，我从哪里可以入手
2020-07-01 16:42:07 +08:00 回复了 zzxy001 创建的主题 › Python › 请教一下如何对多个服务器上的爬虫进行管理 |
目前是这个问题，以后项目可能需要根据任务的不同动态启动不同的 selenium 爬虫程序，让每个服务器都不会空闲。
我属于小白一个，感谢大家。大家提的建议我都会去百度学习，看看能不能实现我想要的功能
我属于小白一个，感谢大家。大家提的建议我都会去百度学习，看看能不能实现我想要的功能
2020-07-01 16:30:16 +08:00 回复了 zzxy001 创建的主题 › Python › 请教一下如何对多个服务器上的爬虫进行管理 |
还请大佬们指点迷津，百度了半天也没找到好的解决办法
Select Language