请问大佬们， google 是不能抓取国内的网页了吗？我用的阿里云 DNS， google 一直说无法访问 robots.txt
moonlightpics · 7 天前 · 397 次点击情况就是，所有的搜索引擎都可以访问我的 robots.txt ，唯独 google 不行。提示托管有问题，网址检查都提示：Google 无法识别此网址，测试实际网址又报错：发生网站级问题，因此无法显示这个网页。。我看有人说干脆去掉 robots.txt ，我这么做了，但是还是没啥效果。 还有个诡异的情况，之前另外一个域名在同一个服务器上，没有登陆 search-console 验证之前被收录了好几千。但是我验证之后发先哗哗的掉，开始出现托管错误。。 给管理员发消息一周了也没有回复。。请各位大佬指点指点。 网址： https://yinxiao.cc
 |
1
Jesmora 7 天前
不是 404 吗
|
 |
2
moonlightpics OP @Jesmora 不是，我现在把 robots.txt 删了，所以访问 robots.txt 是 404,但是即使删除了 robots.txt ，google 还是没法抓取我的网页。
|
 |
3
Kwnthink 3 天前
我记得之前可以提交单文件的，专门提交，以及让 google 去 ping 下 robots 文件，现在后台好久没登录不知道功能有没有改
|
|
4
moonlightpics OP @Kwnthink 就是 google 没法 ping 通我的 robots 。。别的搜索都可以，所以我怀疑是不是 google 不能访问大陆 IP ？但是别的网站收录都挺好的啊，，，奇怪。
|
|
5
moonlightpics OP 而且挺搞笑的，他显示我带 www 的域名可以访问 robots ，不带 www 的却不行，，关键我带 www 的是 301 定向到不带 www 的，纳闷.
|
Select Language