V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
Nile20
V2EX  ›  问与答

百度可以搜索微信公众号的文章了?是有合作还是无视 robots.txt?

  •  
  •   Nile20 · 2023-08-05 11:24:25 +08:00 · 1303 次点击
    这是一个创建于 484 天前的主题,其中的信息可能已经有所发展或是发生改变。

    今天在用百度搜点内网内容的时候,发现搜索结果中有的链接标注了“微信公众平台”,试了一下,点击能打开并且跳转到的是微信公众号域名。很疑惑,我记得微信屏蔽了所有搜索引擎的抓取,只和搜狗进行了合作,没听说对百度开放了呀。

    XX 的腾讯

    与此同时,Google 仍然不能搜索。于是再去看了下 robots.txt

    User-Agent: *
    Allow: /$
    Allow: /debug/
    Allow: /qa/
    Allow: /wiki
    Allow: /cgi-bin/loginpage
    Allow: /cgi-bin/wx
    Allow: /webpoc/ruleCenter
    Disallow: /
    

    这个Disallow: /一如既往呀,那百度是怎么搞的?无视 robots.txt ?南山法院没有作为吗?

    3 条回复    2023-08-05 13:41:37 +08:00
    ijrou
        1
    ijrou  
       2023-08-05 11:40:01 +08:00
    robots.txt 就是一个单方面的要求,就算南山法院要告,也不会拿 robots 告,而是以非法侵入计算机信息系统罪告。。。
    fantathat
        2
    fantathat  
       2023-08-05 12:43:16 +08:00 via iPhone
    是呀,好奇怪呀,原来有收录,只是没有放出来,被你发现了,百度原来是偷偷干这事儿啊 😏
    googlefans
        3
    googlefans  
       2023-08-05 13:41:37 +08:00
    这是这个君子协议
    不是强制的
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2589 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 24ms · UTC 04:17 · PVG 12:17 · LAX 20:17 · JFK 23:17
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.