V2EX › jeeyong 的所有回复 › 第 17 页 / 共 47 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

1 ... 13 14 15 16 17 18 19 20 21 22 ... 47

❮

❯

2021-10-28 00:13:45 +08:00

回复了 Cagliostro 创建的主题 › Windows › Windows10 的多桌面有什么使用场合？

桌面 1: 查资料
桌面 2: 写代码
桌面 3: 虚拟机

2021-10-27 21:02:05 +08:00

回复了 left7341 创建的主题 › 奇思妙想 › 大家买的等待最久的东西是什么

买房子, 等了 2 年

2021-10-27 16:53:30 +08:00

回复了 lidayl 创建的主题 › MacBook Pro › 12k 19 款 mbp，值嘛

@jeeyong 电池循环重放 12 次. 无划痕, 无瑕疵, 崭新. 拆开用了几天基本就是在维护

2021-10-27 16:53:06 +08:00

回复了 lidayl 创建的主题 › MacBook Pro › 12k 19 款 mbp，值嘛

19 年, 15 寸 mbp, 顶配, 除了硬盘是 1tb 的...
爱回收卖了 12k.
换了当时的 13 pro m1

2021-10-26 19:41:44 +08:00

回复了 lwldcr 创建的主题 › 宽带症候群 › 迫于上网，求推荐一个路由器

我买了个 h3c 的鲸,我觉得挺好, 替换了之前的 ac2100, 提升明显.
到现在用了 3 个月...没任何幺蛾子

2021-10-25 16:47:40 +08:00

回复了 sengxian 创建的主题 › 程序员 › 求指路淘宝爬虫姿势

@safilar vx: 646894
tel: 18621163721

老板你好

2021-10-22 22:05:32 +08:00

回复了 vsean 创建的主题 › Python › M1 芯片 Macbook 无法运行 py 程序，求帮助

选一个正确的安装方式吧...
我之前发过一个安装 brew -> pyenv -> python 的记录...
https://www.v2ex.com/t/739083#reply5

2021-10-22 19:57:16 +08:00

回复了 sengxian 创建的主题 › 程序员 › 求指路淘宝爬虫姿势

@jeeyong 小朋友吃饭去了..
除此之外, 还可以通过 crx 插件及 js 的方式去替换掉显卡的特征..
但这些做法相对比较局限, 大规模爬取的时候还是很容易被识别出来...
相对来说, 淘宝有个好处是, 他发现你是人机, 他会要求你验证..
但是像百度, 他只是在后台默默的标记上本次访问无效...这个很难受的.
还有字节, 他是直接不给你内容, 抑或是使用蜜罐类的技术防止你爬取.
有些网站甚至发现你是爬虫后, 直接给你假的, 没有意义的内容...
我想转行...有大佬收留吗?哈哈哈
相比技术, 我也挺擅长销售和管理的...

2021-10-22 19:53:20 +08:00

回复了 sengxian 创建的主题 › 程序员 › 求指路淘宝爬虫姿势

我有社交牛逼症, 我再来多 BB 几句..
首先, 我没有任何业务是爬取淘宝的. 但是从技术角度做过验证, 发现可行. 仅此而已.
本文并未透露关于爬取淘宝的任何技术细节和技术方案, 旨在讨论人机识别技术.

淘宝在人机识别方面会更深入的做技术甄别, 通过发现更多的技术特征, 从而直接进行访问阻断或验证.
比如早期的时候, 他是我接触的相对较早去获取$_cdc 变量判断是否为爬虫的.
后来发展成为通过获取更多的特征, 来判断. 这应该是属于 v8 解析 js 的时候的引擎的特性吧? 我不太懂 js, 仅限于普通的应用层面. 我贴一部分代码, 看看做爬虫的时候, 你关注了多少.

var platform = 'iPhone'
var webdriver = false
var standalone = false
var maxTouchPoints = 5
var cookieEnabled = true
var productSub = 20030107
var product = "Gecko"
var vendor = "{vendor}"
var vendorSub = ""
var onLine = true
var hardwareConcurrency = undefined
var oscpu = undefined
var cpuClass = undefined
var doNotTrack = undefined
var getBattery = undefined
var storage = undefined
var systemLanguage = undefined
var permissions = ["geolocation", "notifications"]
var bluetooth = undefined
var standalone = undefined
var userAgent = "{userAgent}"
var shanghai = {{"longitude": 0, "latitude": 0}}
var zhongshan = {{"longitude": 0, "latitude": 0}}
var hangzhou = {{"longitude": 0, "latitude": 0}}

这些变量大部分是系统内置的变量, 在你加载页面的时候他就有了...
但是改变他的时候不能直接赋值, 这个 JS 大佬应该更清楚, 我只是知道...
需要通过 Object.defineProperty 方法去改变...

小朋友太闹了...我得哄娃去了..哈哈哈

2021-10-22 19:20:37 +08:00

回复了 sengxian 创建的主题 › 程序员 › 求指路淘宝爬虫姿势

@gamexg 破坏计算机信息系统罪及非法入侵计算机信息系统罪.

2021-10-22 16:51:23 +08:00

回复了 sengxian 创建的主题 › 程序员 › 求指路淘宝爬虫姿势

首先...你要学习如何编译 chromedriver. 然后要去掉哪些特征. $_cdc 这种基本无所谓了现在.
其次, 你要学会如何用 js 去伪造和去掉很多特征, 有些原生函数还要重写.
举个例子, 当你用 https 协议(ios 必须是此协议, http 不行.)获取设备的地理位置信息时, 可以尝试观察他的变化特征.
而你用爬虫的时候, 是否注意到这个问题. 这个例子仅限于移动设备模式, pc 端貌似不用考虑.
然后才考虑到代理, 行为模式这类问题.
我说的很含糊..因为这个技术弄明白了很香啊....
网上也基本不会有关于第一, 第二条的相关知识. 都闷着自己做事呢.

2021-10-21 17:43:30 +08:00

回复了 onice 创建的主题 › 程序员 › 为什么没有一种万能且通用的编程语言呢？

那个....Python 可以做移动端..kivy

2021-10-21 16:41:35 +08:00

回复了 wlfeng 创建的主题 › 程序员 › 家里配台高性能台式机，笔记本远程连接做开发的方案，体验一段时间了，回来说说感受

@jeeyong 而且都是固态硬盘 2TB nvme SSD. 每个 2 块

2021-10-21 16:41:08 +08:00

回复了 wlfeng 创建的主题 › 程序员 › 家里配台高性能台式机，笔记本远程连接做开发的方案，体验一段时间了，回来说说感受

所以你们现在讨论好了吗?
我有 20 台他这个配置的机器...
谁想远程开发一下子?

2021-10-21 16:11:20 +08:00

回复了 zxCoder 创建的主题 › 生活 › v2 这里打工人应该不少吧，租房的应该也不少，大家会在出租屋内给自己整个台式吗，或者搞个屏幕吗

是不是等赚够了钱, 再吃好点?
是不是等赚够了钱, 再穿好点?
是不是等赚够了钱, 用的好点?
什么时候赚够钱? 也许一辈子都不能.