有偿-爬虫模拟登录问题

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 1109 天前的主题，其中的信息可能已经有所发展或是发生改变。

因公司业务需要，需要做一个网站的监控，只要监控到某个型号有上架，就微信通知业务员下单，目前卡在模拟 [登录环节] 上，寻求大神有偿协助

第 1 条附言 · 2021-11-08 20:52:37 +08:00

结贴结贴，已找到可靠的人才，v2 人才济济

有偿

模拟

监控

20 条回复 • 2022-09-04 13:45:26 +08:00

1018ji

2021-11-08 18:39:15 +08:00

你不发网址，咋给你玩

wikii

2021-11-08 18:40:20 +08:00

有会大神可以留言 base64 WX 号，我这边加了具体沟通，帐号啥的都有

wikii

2021-11-08 18:41:13 +08:00

@1018ji www.ti.com.cn

wikii

2021-11-08 18:43:57 +08:00

@1018ji 需要帐号的，如果以前做过模拟登录可以加 WX （ d2lpa2k1MjA4 ）号沟通

ch2

2021-11-08 19:10:48 +08:00

最简单的做法：买台 1 核 2G 的 windows server ，手动登录账号
写个 chrome 插件当内鬼，定期把 cookie 更新到数据库里
爬虫直接从数据库里拿凭据去爬，不要搞模拟登录啥的

waterlaw

2021-11-08 19:15:54 +08:00 via Android

selenium 分分钟搞定

playniuniu

2021-11-08 19:16:38 +08:00

想通过这种方式抢芯片的，都不会公开放出自己方案的

qionnian

2021-11-08 19:17:51 +08:00

@ch2 这个方案只适合部分网站吧，有的就算 chrome 不关闭，到时间了也会下线的

wangyongbo

2021-11-08 20:47:08 +08:00

这个网站哪个页面需要登录才能访问呀？

wikii

2021-11-08 20:51:36 +08:00

结贴结贴，已找到可靠的人才，v2 人才济济

wangyongbo

2021-11-08 21:12:34 +08:00

我测试了一下。我可以用脚本访问到 https://www.ti.com/myti/docs/updateprofile 这个页面。

它的逻辑并不复杂。

访问 https://www.ti.com/secure-link-forward/?gotoUrl=https%3A%2F%2Fwww.ti.com%2F , 被重定向到新的页面

这个新的页面，有一个 form ，使用正则表达式获取 url ，它需要三个参数

data = {
'pf.username': '',
'pf.pass': '',
'pf.adapterId': 'IDPAdapterHTMLFormCIDStandard'
}

使用 post 方法提交之后，返回的页面，又有一个新的 form ，还是使用正则表达式，获取 url ，和 2 个参数，

再次提交数据，之后访问 https://www.ti.com/myti/docs/updateprofile ，拿到的数据和登录成功是一样的。

不知道你遇到了什么问题，以及你想访问什么页面。

wikii

2021-11-08 21:49:50 +08:00

@wangyongbo 我也是按照你上面的思路做的，代码都写好了，但是拿不到 auth_session ，很奇怪