V2EX › wyan453351466 的所有回复 › 第 3 页 / 共 12 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

1 2 3 4 5 6 7 8 9 10 ... 12

❮

❯

2018-07-16 09:47:28 +08:00

回复了 showecho 创建的主题 › 程序员 › [小调查] 有多少程序员有自己的展示作品？

晒一下自己的吧

小项目: 言说 - https://www.yanshuo.me

开源项目: xcrawler 爬虫框架 - https://github.com/yan68/xcrawler

2018-06-18 12:53:42 +08:00

回复了 wyan453351466 创建的主题 › 程序员 › 可能是目前最好用的国产 PHP 爬虫框架 - XCrawler 1.0.0 版本发布

@gouchaoer nts 版本不等于不能开启多线程，好吧？选择 ts 版本还是 nts 版本主要是跟使用的服务器（ IIS、Nginx ）的不同有关系。

2018-06-18 12:46:53 +08:00

回复了 wyan453351466 创建的主题 › 程序员 › 可能是目前最好用的国产 PHP 爬虫框架 - XCrawler 1.0.0 版本发布

@wyan453351466 *如果 curl multi 不是多线程，请求速度和 curl 一致，那它存在的意义是什么？

2018-06-18 12:46:22 +08:00

回复了 wyan453351466 创建的主题 › 程序员 › 可能是目前最好用的国产 PHP 爬虫框架 - XCrawler 1.0.0 版本发布

@gouchaoer ts 版本是线程安全版本，nts 版本是线程不安全版本。这个和是不是多线程有什么关系？
如果 curl multi 不是多线程，请求速度和 curl 那它存在的意义是什么？

老哥，建议你先搞清楚 ts 版本和 nts 版本的区别:

https://blog.csdn.net/qq_31643343/article/details/48996735

2018-06-08 05:28:35 +08:00

回复了 wyan453351466 创建的主题 › 程序员 › 可能是目前最好用的国产 PHP 爬虫框架 - XCrawler 1.0.0 版本发布

@ucaime 注意关键字“可能”。

2018-06-05 01:34:06 +08:00

回复了 wyan453351466 创建的主题 › 程序员 › 可能是目前最好用的国产 PHP 爬虫框架 - XCrawler 1.0.0 版本发布

@gouchaoer

Curl multi 不是多线程，那 multi 的意义何在？
开 100 个并行请求如果和不开一样，还要这个干嘛？

我知道回调函数是串行执行的，但是在请求这个部分请您回答是不是并行。如果是并行，不是多线程，请您解释下是什么。
http://php.net/manual/zh/function.curl-multi-init.php

2018-06-04 18:35:00 +08:00

回复了 wyan453351466 创建的主题 › 程序员 › 可能是目前最好用的国产 PHP 爬虫框架 - XCrawler 1.0.0 版本发布

@gouchaoer 所以说直接用 guzzle 写爬虫不方便啊。失败重试要自己写，判断是哪个请求还要自己用数组和 index 判断。而且这个方法在请求数量很大的时候还不适用。
没听懂你说的 Guzzle 不支持多线程，多并发请求不是多线程吗

2018-06-04 18:27:42 +08:00

回复了 wyan453351466 创建的主题 › 程序员 › 可能是目前最好用的国产 PHP 爬虫框架 - XCrawler 1.0.0 版本发布

并发请求不是多线程吗

直接数组，如果请求网址多呢

2018-06-04 16:12:37 +08:00

回复了 wyan453351466 创建的主题 › 全球工单系统 › 如何评价码云的这波操作：未经许可直接搬运我的开源项目。

@happywowwow 谢谢。。回头抽空补一下

2018-06-04 16:11:06 +08:00

回复了 wyan453351466 创建的主题 › 程序员 › 可能是目前最好用的国产 PHP 爬虫框架 - XCrawler 1.0.0 版本发布

@gouchaoer 直接用 guzzle 的话，有一个主要问题是，guzzle 框架缺少请求失败重试功能，还有一个是 guzzle 多线程请求的时候，返回结果的回调函数无法得知这个结果对应的是哪个请求。

主要是有这两个小缺憾。写爬虫时可能会用到的。

2018-06-04 16:07:41 +08:00

回复了 wyan453351466 创建的主题 › 程序员 › 可能是目前最好用的国产 PHP 爬虫框架 - XCrawler 1.0.0 版本发布

@gouchaoer 这里补充一下。xcrawler 的回调函数不是异步执行的。是同步的哈。。

xcrawler 的异步并行执行，目前仅仅是在请求阶段（利用的 php 的 curl_multi 系列函数）

2018-06-04 12:22:24 +08:00

回复了 wyan453351466 创建的主题 › 程序员 › 可能是目前最好用的国产 PHP 爬虫框架 - XCrawler 1.0.0 版本发布

@xiaoz 文档的前端是使用的 hexo 官网（ GitHub 上开源的），然后用 PHP 搭一个简单的框架。引入一个 Markdown 的 composer 包就 OK 了

2018-06-04 11:01:17 +08:00

回复了 wyan453351466 创建的主题 › 程序员 › 可能是目前最好用的国产 PHP 爬虫框架 - XCrawler 1.0.0 版本发布

@gouchaoer

多线程是用的 curl_multi 系列的函数实现的。

使用 redis 主要目的是为了实现失败重试和断点续爬这两个功能

多进程的话，消耗要比多线程要大不少的吧。所以性能要逊色与多线程一些。。

1 2 3 4 5 6 7 8 9 10 ... 12

❮

❯