V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  tikazyq  ›  全部回复第 25 页 / 共 44 页
回复总数  876
1 ... 21  22  23  24  25  26  27  28  29  30 ... 44  
2020-07-16 12:52:25 +08:00
回复了 zkqiang 创建的主题 Python Crawlab Lite 发布,更轻量的爬虫管理平台
@xdeng 可以 docker 一键安装
2020-07-16 12:52:00 +08:00
回复了 tikazyq 创建的主题 分享创造 Crawlab Lite 正式发布,更轻量的爬虫管理平台
@chuanqirenwu tikazyq1
2020-07-14 22:21:35 +08:00
回复了 Te11UA 创建的主题 Python 最近爬虫遇到了一个吊诡的事情:更换 virtualenv 环境会导致反爬
上代码
2020-07-13 15:25:35 +08:00
回复了 lwp2070809 创建的主题 程序员 2020.07.13 15:00 Github 部分服务降级
500
2020-07-10 14:33:17 +08:00
回复了 wxsm 创建的主题 程序员 关于容器构建方式优劣的疑惑
一般是 1

如果是 2,可能是针对那种一个容器里跑多个轻量级应用的情况吧
2020-07-10 13:18:05 +08:00
回复了 dtgxx 创建的主题 MongoDB 使用 pymong insert_many 插入数据越来越慢
单机的话,你这个扩展起来问题会很多

几个优化点:
1. 分表( Sharding )
2. 不要创建索引
3. 选择其他技术方案,例如 Hive 、HBase

60 亿条数据,这种量级的数据应该更适合 Hive 或者 HBase 吧,做分布式储存不香么,单点来搞大数据你这不是给自己挖坑么
需要注册服务号,并交 300 元认证
2020-07-06 22:32:25 +08:00
回复了 tikazyq 创建的主题 问与答 云服务器价格为啥都这么贵?几十块的服务器基本没啥用
@wiewiewie 年费确实很贵啊
2020-07-06 22:31:46 +08:00
回复了 tikazyq 创建的主题 问与答 云服务器价格为啥都这么贵?几十块的服务器基本没啥用
@whypool 是不是很坑
2020-07-06 14:11:43 +08:00
回复了 tikazyq 创建的主题 问与答 云服务器价格为啥都这么贵?几十块的服务器基本没啥用
@wangritian 应该是通用型的
2020-07-06 13:52:09 +08:00
回复了 tikazyq 创建的主题 问与答 云服务器价格为啥都这么贵?几十块的服务器基本没啥用
@MooRider ipic 是啥?
2020-07-06 13:30:43 +08:00
回复了 tianshiyeben 创建的主题 程序员 去开源化一个月,不太顺利
现在多少人付费了?
既然都 json 了,为啥不 mongodb ?
有一些原创的东西放出来发在社区里讨论,本来是好事情,但很多人冥顽不化、固步自封、敝帚自珍,见不得一些新事物,以为自己了解的才是最好的。其实,当你用开放的心态来面对新事物,会进步得更多。

例如,之前我发了个用 Redis 套壳做 RPC,被很多人吐槽说为什么不用 gRPC 、这方案很奇葩之类的。我一笑了之。不料后来这方案成了我 6k star 开源项目的核心技术之一,而且非常稳定。

所以啊,当你没有深入了解一门新技术的时候,就要克制自己,多自我批判一下是不是自己的想法太单一了。
v2 上大佬太多,被喷正常,我之前发贴各种被喷。
后来发了一个 github 5k star 的 repo 的帖子,大家都开始支持了😂
2020-07-02 20:07:15 +08:00
回复了 loliordie 创建的主题 Python 有代码洁癖算不算是个好事
这个从流程上规范就可以了,毕竟每个人学习都有个过程
2020-07-02 20:05:39 +08:00
回复了 ysmood 创建的主题 Go 编程语言 Rod 一个为简化自动化和爬虫设计的 devtools driver
不错,试用下,如果可以的话看如何集成到 crawlab
2020-07-01 18:08:03 +08:00
回复了 zzxy001 创建的主题 Python 请教一下如何对多个服务器上的爬虫进行管理
分布式爬虫管理平台 crawlab

https://www.crawlab.cn
2020-06-30 10:48:07 +08:00
回复了 tjq 创建的主题 Java [PowerJob] 值得你拥有的新一代分布式任务调度与计算框架
有不有相关的应用场景,啥时候用 xxl-job,啥时候用 powerjob ?
2020-06-28 22:03:04 +08:00
回复了 gejun123456 创建的主题 Python 为啥 Python 爬虫这么火,相比 Java 爬虫有啥优势?
动态语言做爬虫不香?
1 ... 21  22  23  24  25  26  27  28  29  30 ... 44  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2917 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 49ms · UTC 12:11 · PVG 20:11 · LAX 04:11 · JFK 07:11
Developed with CodeLauncher
♥ Do have faith in what you're doing.