V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  milu05163614  ›  全部回复第 1 页 / 共 2 页
回复总数  26
1  2  
2017-01-16 14:25:55 +08:00
回复了 milu05163614 创建的主题 分享创造 DXC 采集,一个跨平台的数据采集软件
@wtcoder 只能有这么大,这意思是说软件太大,还是太小了。我没领会。
2017-01-14 16:07:20 +08:00
回复了 milu05163614 创建的主题 分享创造 DXC 采集,一个跨平台的数据采集软件
@milu05163614 软件即使重启,依然有效。就像你把浏览器关了,你再直接输入论坛网站,论坛不也照样认定你是已经登录状态吗?
2017-01-14 16:06:18 +08:00
回复了 milu05163614 创建的主题 分享创造 DXC 采集,一个跨平台的数据采集软件
@spice630 不需要再输入多次。就好比我登录这个论坛,这个论坛根据 cookie 判断我是否是登录状态。只要我把这个 cookie 给程序,程序就能代表我天天登录这个网站。这个网站也没叫你天天登录吧,说明 cookie 一般是长期有效的。
2017-01-14 15:58:25 +08:00
回复了 milu05163614 创建的主题 分享创造 DXC 采集,一个跨平台的数据采集软件
@yivanus 你现在还是觉得复制个 cookie 很麻烦?只需要用户在浏览器登录,然后软件自己就自动获取 cookie ,复制都不需要?还是什么,我没听明白。
2017-01-14 15:41:27 +08:00
回复了 milu05163614 创建的主题 分享创造 DXC 采集,一个跨平台的数据采集软件
@yivanus 目前软件的方式就是,用户自己在浏览器登录,然后复制 cookie 就可以采集登录可见的内容。
这个过程很简单也没有什么技术门槛。除非有更好的方式。
2017-01-14 14:51:34 +08:00
回复了 milu05163614 创建的主题 分享创造 DXC 采集,一个跨平台的数据采集软件
@yivanus 是的,首先产品会变得复杂了。你需要填用户名、密码、有时候还需要填其他东西,还得告诉程序,登陆成功的标志是什么,如果程序内置自己判断的话,后面的代码可想而知。

从程序、产品上都是成本很高的东西。手动填 cookie 没什么问题,这是最简便成本最低的方式。
2017-01-13 14:33:29 +08:00
回复了 milu05163614 创建的主题 程序员 说说小程序。
@gaobh 你这么说倒挺合理,可能我比较少遇到这类需求。
2017-01-13 14:20:55 +08:00
回复了 milu05163614 创建的主题 程序员 说说小程序。
小程序是能解决一部分的需求,但是远没有我们想象那么重要。
看见铺天盖地的热度,分析文章,一大堆程序员摩拳擦掌,跃跃欲试。
我感觉这东西 过于放大了。没多久估计又冷下来了。
2017-01-13 14:18:25 +08:00
回复了 milu05163614 创建的主题 程序员 说说小程序。
@1stlulu 就像我说的,这类程序,日常需求能有多少呢。
2017-01-13 13:54:52 +08:00
回复了 milu05163614 创建的主题 分享创造 DXC 采集,一个跨平台的数据采集软件
@taolu729099134 用的啥解压软件
2017-01-13 13:17:41 +08:00
回复了 milu05163614 创建的主题 分享创造 DXC 采集,一个跨平台的数据采集软件
@spice630 你采集什么网站,几十个都要登录才能看见内容。我接触过的采集需求,只有 5%左右需要登录可见。

拷贝 cookie 进去采集,这个没什么麻烦的,只有这个办法。除非你有更好的办法。
2017-01-13 01:26:47 +08:00
回复了 milu05163614 创建的主题 分享创造 DXC 采集,一个跨平台的数据采集软件
@spice630 说实话。很少。不是很少,是没遇到过。一个网站不可能因为一个用户频繁访问而封掉这个账号。这样做,成本很高。程序上面得写程序检测,又不能误杀什么的。这么一套东西下来,很繁琐。
至少我没有遇到这类情况。
2017-01-13 00:30:03 +08:00
回复了 milu05163614 创建的主题 分享创造 DXC 采集,一个跨平台的数据采集软件
@spice630 手动登录有什么问题吗?难道要大家输入账号密码,然后程序去登陆?想不通为啥需要这样做。
2017-01-13 00:05:43 +08:00
回复了 milu05163614 创建的主题 分享创造 DXC 采集,一个跨平台的数据采集软件
@spice630
1 、可以采集登录可见的内容,甚至可以采集一些论坛回复才能看见的内容。设置 cookie 就行了。详细教程看这里 http://www.dxcer.com/guide/cookie.html

2 、我不知道你说的什么前后端是啥。什么基于 linux 啥的,我听不懂。
2017-01-12 21:33:36 +08:00
回复了 milu05163614 创建的主题 分享创造 DXC 采集,一个跨平台的数据采集软件
@miao 目前软件可以在 linux 图形界面下面运行没问题的。不过很多服务器都是命令行。这个需要花点时间。
2017-01-12 21:28:05 +08:00
回复了 milu05163614 创建的主题 分享创造 DXC 采集,一个跨平台的数据采集软件
@miao 老夫正有此意。
2017-01-12 14:19:52 +08:00
回复了 milu05163614 创建的主题 分享创造 DXC 采集,一个跨平台的数据采集软件
@zqjilove QQ 452192831
2017-01-12 14:19:37 +08:00
回复了 milu05163614 创建的主题 分享创造 DXC 采集,一个跨平台的数据采集软件
@sharpdevelop 有些用户有这个问题,好像解压软件的问题,我在 mac 平台打包的,估计跟这个有关系。但是大部分用户都没问题。所以解决的办法,换一个解压软件试试。
2017-01-12 14:02:31 +08:00
回复了 milu05163614 创建的主题 分享创造 DXC 采集,一个跨平台的数据采集软件
回复 居然不支持 markdown 代码。

截图:<img alt="img" src="http://ww1.dxcer.com/6D3FB20A-2755-4BA0-872C-EAA51C180537.png">
提取规则:

"url":"[data]",



@zqjilove
2017-01-12 14:01:28 +08:00
回复了 milu05163614 创建的主题 分享创造 DXC 采集,一个跨平台的数据采集软件
你这个很简单。我上面给的就是例子。

<img alt="img" src="http://ww1.dxcer.com/6D3FB20A-2755-4BA0-872C-EAA51C180537.png">



>"url":"[data]",
1  2  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   3528 人在线   最高记录 6543   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 14ms · UTC 04:50 · PVG 12:50 · LAX 21:50 · JFK 00:50
Developed with CodeLauncher
♥ Do have faith in what you're doing.