最近在做动态页面的爬虫,突然想到如果使用了 selenium 后再禁用 js,那么页面元素都固定了,此时就完全像是爬取一个静态网页。 还是说这只是一个巧合,并不是所有的网站都会在 no script 模式下给出完整的响应
1
love 2021-05-09 22:05:19 +08:00
我没用过 SSR 服务端渲染技术,听说那个就是有这效果。然而用这技术的网站肯定是少数啊,象我自己做站就只有客户端 react 渲染,禁 js 后当然一片白
|
2
ch2 2021-05-09 22:07:37 +08:00
现在都是 selenium 加载完毕后,在前端 fetch 数据渲染
|
3
jotpot 2021-05-09 22:58:59 +08:00
如果新闻、资讯类站点还好,遇到页面用 js 渲染的就废了。页面内容都是 js 渲染的,就如 1 楼说的 禁用 js 就全白了
|
4
adjusted 2021-05-09 23:51:20 +08:00
现在大多数前端渲染的页面<noscript>里面只有一句话就是"请启用 javascript"
|
5
Tink 2021-05-09 23:52:24 +08:00 via Android
不启用 js 不给看网页
|
6
supermoonie 2021-05-10 09:15:47 +08:00 via iPhone 1
那你直接 http 请求页面不就好了?干嘛还用 selenium,用这个的意图不就是因为要运行 js 吗
|