请教大佬们：我用 selemium 爬虫这个网站，打开网页就报错 403forbidden

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 196 天前的主题，其中的信息可能已经有所发展或是发生改变。

如题，大佬们

https://moscow.online.lenta.com/

这个网站，用 selemium 爬这个网站，driver.get 打开网页就报错 403forbidden

有没有大佬教教小弟，感谢

Forbidden

selemium

大佬

网页

18 条回复 • 2023-10-15 12:13:04 +08:00

youngce

196 天前

chagtgpt3.5 如是说道：

当使用 Selenium 访问网站时遇到 403 错误（禁止访问）通常是因为网站检测到了你的请求不是来自一个正常的浏览器用户，而是来自一个自动化脚本或机器人。为了解决这个问题，你可以考虑以下几种方法：

1. **使用合适的 User-Agent**：User-Agent 是 HTTP 请求头中的一部分，它描述了你所使用的浏览器和操作系统。有时候，网站会检查 User-Agent ，如果它看起来像是来自一个爬虫或机器人的话，就会拒绝访问。你可以设置 User-Agent 来模仿一个正常的浏览器请求。

```python
from selenium import webdriver
from selenium.webdriver.chrome.options import Options

options = Options()
options.add_argument("user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36")

driver = webdriver.Chrome(chrome_options=options)
```

2. **使用代理**：使用代理服务器可以隐藏你的真实 IP 地址，有时可以帮助绕过 IP 封锁或访问限制。请注意，不要违反网站的使用政策或法律法规。

3. **减慢请求速度**：有些网站可能会检测到你的请求速度过快，从而认定你是机器人。你可以在 Selenium 中添加等待时间，模拟人类的浏览行为。

```python
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

# 等待元素可见
element = WebDriverWait(driver, 10).until(
EC.presence_of_element_located((By.ID, "myElement"))
)
```

4. **使用 Selenium 的无头模式**：无头浏览器模式不会打开可见的浏览器窗口，这可能会降低被检测到的风险。

```python
from selenium import webdriver

options = webdriver.ChromeOptions()
options.add_argument('--headless')
driver = webdriver.Chrome(options=options)
```

5. **遵守网站的使用政策**：最重要的是确保你的爬虫或机器人不会滥用网站，遵守网站的使用政策和 Robots.txt 文件中的规则。

请注意，网站可以随时更改其反爬虫措施，所以你可能需要不断调整你的策略以应对这些变化。同时，确保你的爬取是合法的，不会侵犯版权或隐私等法律法规。