V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  supermoonie  ›  全部回复第 16 页 / 共 27 页
回复总数  536
1 ... 12  13  14  15  16  17  18  19  20  21 ... 27  
2020-09-21 18:56:39 +08:00
回复了 ysmood 创建的主题 分享创造 分享一个用于自动化和爬虫的库
@yejianmail java 有 cdp4j,现在好像有社区版,不过代码写的不是太好,线程管理都没有
2020-09-21 13:57:25 +08:00
回复了 ysmood 创建的主题 分享创造 分享一个用于自动化和爬虫的库
@ysmood 今天下班了我去看看你的源码,没有异步 IO 竟然可以做到只有几个 goroutine,很好奇是怎么做到的🌚
2020-09-21 12:22:17 +08:00
回复了 ysmood 创建的主题 分享创造 分享一个用于自动化和爬虫的库
@ysmood 那我换种问法,一个 Tab 需要多少个 goroutine 支持?我可能比较关注性能这块,因为 Chrome 本来就比较消耗资源😂
2020-09-21 11:37:55 +08:00
回复了 ysmood 创建的主题 分享创造 分享一个用于自动化和爬虫的库
@ysmood 用 java 实现过这个协议,因为没有用异步 io,websocket 发送一个线程,接收一个线程,事件处理也是一个线程池在支持,所以问下 go 实现的话,是不是像 node 那样基于事件处理?
2020-09-21 09:40:39 +08:00
回复了 ysmood 创建的主题 分享创造 分享一个用于自动化和爬虫的库
需要多少线程支持一个 tab ?
2020-09-19 23:44:42 +08:00
回复了 hashFantastic 创建的主题 酷工作 急聘 济南 c/c++ 的兄弟们看过来
@OneNightInCario 华为?
2020-09-16 17:20:43 +08:00
回复了 bearxsh666 创建的主题 Java 对于 Java ,请问大家平常多线程哪里用的到?
@yamasa 老哥 netty 玩的真 6
2020-09-14 18:36:42 +08:00
回复了 Untamed 创建的主题 Python 哪位大佬可以爬到美团饿了么双平台的销售数据?
上面回复的注意了,你们已经被包围了🌚
2020-09-13 22:09:50 +08:00
回复了 354123417 创建的主题 JavaScript js 逆向 获取今日头条发文_signature 值
@vagrantear 之前在丁丁群里有播过,连接找不到了...
2020-09-13 15:38:56 +08:00
回复了 354123417 创建的主题 JavaScript js 逆向 获取今日头条发文_signature 值
js 逆向比较累,而且基本不公开,即使公开也不会拿真是的网站给你讲,不过可以看下冷月的视频,他有讲 js 逆向
爬虫爬取数据是一回事,爬下来的数据也是一回事,也算是爬虫的工作吧,只不过爬虫还是更专注爬取与反爬
2020-09-11 17:27:10 +08:00
回复了 leisummer 创建的主题 Apple 长久使用 Airpods pro 导致耳道发炎
前些天熬夜熬出了中耳炎,只要熬夜就会厉害,希望楼主注意多休息,不要吃刺激性的食物,一定要按时休息
2020-09-11 12:13:53 +08:00
回复了 supermoonie 创建的主题 Java Connection: keep-alive 迷一样的东西
@monkeyWie 能拿到 FullHttpRequest 以及 FullHttpResponse 中的 content 吧,然后根据这个 content 获取 content-lenght,可还行?等我这周末测试下大的请求 /响应,看看能不能找到解决方法
2020-09-11 10:07:48 +08:00
回复了 supermoonie 创建的主题 Java Connection: keep-alive 迷一样的东西
@monkeyWie 大的请求和响应,是不是可以通过 Content-Length 判断下,然后超过一定的阈值,先序列化到本地文件中,再通过 Buffer 分块读取,这只是我的猜想,不知道可不可行🤣
2020-09-11 09:11:44 +08:00
回复了 supermoonie 创建的主题 Java Connection: keep-alive 迷一样的东西
@monkeyWie 哎呦,大佬大佬,确实是参考了你的那个项目,没想到碰到作者了,只不过我重新写了一遍,加了一些以及需要的功能,另外用 vue 写了一个抓包的界面🤣
2020-09-10 23:08:39 +08:00
回复了 supermoonie 创建的主题 Java Connection: keep-alive 迷一样的东西
@arloor 现在还没遇到过,等做完了做下各种网络测试。GlobalChannelTrafficShapingHandler 这个 handler 应该能解决很多问题,特别是请求堆积造成的内存泄漏
2020-09-10 22:51:35 +08:00
回复了 supermoonie 创建的主题 Java Connection: keep-alive 迷一样的东西
@arloor youtube 现在确实是 h2 的协议了,不过代理会对其进行降级,目前还没深入研究,后面再细细研究下 h2 。确实和那个项目差不多,不过我现在写的提供了 HttpRequest 、HttpResponse 的拦截器,动态二级代理支持,黑白名单,远程及本地映射以及即将实现的网络信息统计、自定义 DNS 、限速、vmess 协议、ss 协议等。另外基于拦截器做了一个类似 Charles 的单页面应用,基本上和 Charles 的功能一样,只不过我把请求和响应保存到 sqllite 数据库中了,可以进行查询。另外的打算可能是做插件管理,比如某盘的嗅探多线程下载插件。感觉可以做的很多。。。
@programV2 代理还是麻烦了些,可以参考下微信 PC hook,GitHub 上有个项目把微信相关的 API 做成了服务,通过调用接口就能得到一些信息,楼主可以参考下
2020-09-10 22:09:18 +08:00
回复了 supermoonie 创建的主题 Java Connection: keep-alive 迷一样的东西
@ysc3839
@est
@Mohanson
@domosekai

感谢各位,确实是代码的问题,在处理 EmptyLastHttpContent 的时候有客户端连接状态的判断,如果没建立连接的话,EmptyLastHttpContent 就会被丢弃掉,导致发送到目标服务器的请求迟迟不能结束,所以造成了客户端请求的 pending 。
1 ... 12  13  14  15  16  17  18  19  20  21 ... 27  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1098 人在线   最高记录 6543   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 27ms · UTC 22:50 · PVG 06:50 · LAX 15:50 · JFK 18:50
Developed with CodeLauncher
♥ Do have faith in what you're doing.