关于搜索引擎蜘蛛问题

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

V2EX 提问指南

这是一个创建于 931 天前的主题，其中的信息可能已经有所发展或是发生改变。

同一个 ip 既是 bing 的也是 360 的这种情况是怎么回事

Bing

蜘蛛

搜索引擎

同一个

7 条回复 • 2022-05-14 16:46:33 +08:00

Ptu2sha

2022-05-14 11:50:13 +08:00

show me the code

Tianyan

2022-05-14 11:55:36 +08:00

180.101.204.156 - - [14/May/2022:10:56:58 +0800] "GET /tag/ HTTP/1.1" 200 11560 "https://***.com/tag/" "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 Safari/537.36; 360Spider" "***.com" "text/html" "/usr/home/byu68/htdocs/index.php" 1117933

180.101.204.156 - - [14/May/2022:10:33:28 +0800] "GET /323.html HTTP/1.1" 200 10948 "-" "Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)" "***.com" "text/html" "/usr/home/byu68/htdocs/index.php" 1803641

Tianyan

2022-05-14 11:56:31 +08:00

@Ptu2sha 两个一样的 ip 不同的搜索引擎