V2EX › hyc5312 的所有回复 › 第 1 页 / 共 1 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

已注册用户请登录

2020-11-19 17:31:00 +08:00

手动把 jar 改成 zip 后缀，然后再下个 zip 工具

2019-03-08 13:57:13 +08:00

scrapy 架构很清晰，本人也基于 java 写了个爬虫框架，可以试用看看~ https://github.com/heyingcai

2019-03-07 15:09:47 +08:00

py 上手快，写一个简单的爬虫也很快，适合新手上路，实际上写爬虫跟编程语言没有太多的关系，选择自己熟悉的语言都可以，爬虫重心应该在于调度，网络，反爬策略，数据清洗等等问题，本人基于 java 写了个爬虫框架，https://github.com/heyingcai/cetty 欢迎来交流~

2019-03-04 14:20:31 +08:00

@maoyun234 你说得没错，第一眼看起来确实很像 webmagic，但是实际上是站在巨人的肩膀上开发的，因为爬虫的套路都是差不多的，只是底层架构不一样，感兴趣的话可以去看看底层的源码，和 webmagic 的底层源码还是有比较大的局别的哦~