关于 Python 爬虫爬取网站图片

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 2359 天前的主题，其中的信息可能已经有所发展或是发生改变。

刚刚学习了爬虫，想拿一些图片网站下手，可是发现使用网站上爬取的 URL 下载下来的不是想要的图片，是统一的一张标题图片，任何图片 url 拿出来都下载不了，有个奇怪的就是将 url 放到浏览器中，第一次读取是能加载出图片，刷新后就又是标题图片了？比如一个网站，九妹图片

图片

url

网站

标题

4 条回复 • 2018-06-16 11:40:44 +08:00

Sylv

2018-06-16 02:50:32 +08:00

http headers 了解一下。

Sylv

2018-06-16 02:56:21 +08:00

"Referer" header 重点了解一下。

F1024

2018-06-16 11:09:55 +08:00

opener=urllib.request.build_opener()

opener.addheaders=[('User-Agent','Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.75 Safari/537.36')]

urllib.request.install_opener(opener)

urllib.request.urlretrieve()

apley

2018-06-16 11:40:44 +08:00

感谢！感谢！谢谢前辈指点