上午我发了一个帖子: https://v2ex.com/t/1152823
刚刚尝试用标题搜索了下,Google 已经收录,且页面确实为主站地址(而非镜像站)
但是我明确在「是否允许搜索引擎索引我的主题」上屏蔽了搜索,期望应当也页面上标注 noindex ,nofollow 达成 Google 不爬取的效果,或者通过 robots.txt 实现。
我猜测「水深火热」节点的帖子应当是屏蔽爬取的,于是挑选了一个页面,验证正确添加了不希望被爬取的标签。
咨询下站长 @livid ,「是否允许搜索引擎索引我的主题」功能是否按计划工作?