V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
tubowen
V2EX  ›  搜索引擎技术研究

谷歌的爬虫有点厉害啊

  •  
  •   tubowen · 2021-02-06 12:00:34 +08:00 · 4046 次点击
    这是一个创建于 547 天前的主题,其中的信息可能已经有所发展或是发生改变。

    昨晚看到一个哥们在火车上听别人讨论几个亿的项目 今天想再看一下, 但是只记得标题里面有火车 回家的关键词 就用百度搜索了一下,结果没搜到 https://imgchr.com/i/yJxlk9

    用谷歌搜索了一下却搜到了 https://imgchr.com/i/yJxR0g

    谷歌爬虫的收录速度这么快的嘛,一天前的帖子就收录了 https://imgchr.com/i/yJzCjK

    17 条回复    2021-02-07 01:58:50 +08:00
    eason1874
        1
    eason1874  
       2021-02-06 12:04:27 +08:00
    一天前已经久了,我经常搜到几十分钟前的
    ronman
        2
    ronman  
       2021-02-06 12:10:20 +08:00 via Android
    V 站权重挺高的,十多分钟的帖子我都搜到过(可能刚好爬了一番
    superrichman
        3
    superrichman  
       2021-02-06 12:42:18 +08:00 via iPhone
    你发的这贴子已经被谷歌收录了
    also24
        4
    also24  
       2021-02-06 12:44:33 +08:00   ❤️ 1
    许多网站会做相应的优化,主动提交的。(不过确定 V2 是否做了)

    http://www.google.com.hk/intl/zh-CN/submit_content.html
    tubowen
        5
    tubowen  
    OP
       2021-02-06 12:44:39 +08:00
    @ronman 还真是,我这个帖子发表之后也马上能搜索到
    also24
        6
    also24  
       2021-02-06 12:44:49 +08:00
    typo: 不过不确定 V2 是否做了
    ShinichiYao
        7
    ShinichiYao  
       2021-02-06 12:51:04 +08:00 via Android   ❤️ 3
    你还没体验过当年 Google 和 Twitter 合作的即时搜索,输入关键词然后就等着看下面搜索结果像自来水一样实时刷新出来
    S179276SP
        8
    S179276SP  
       2021-02-06 12:56:39 +08:00 via Android
    S179276SP
        9
    S179276SP  
       2021-02-06 12:57:25 +08:00 via Android   ❤️ 1
    cnrting
        10
    cnrting  
       2021-02-06 12:59:09 +08:00 via iPhone
    流量大点的站基本是秒收
    Arthur5
        11
    Arthur5  
       2021-02-06 16:12:21 +08:00   ❤️ 1
    我可是经常用 google 的快照来看被冲水的帖子,google 的爬虫比某些网站的管理员手都快
    Jooooooooo
        12
    Jooooooooo  
       2021-02-06 17:52:27 +08:00
    v2 在 google 权重很高

    基本发帖很快就能收录
    Tink
        13
    Tink  
       2021-02-06 18:46:18 +08:00 via Android
    v 站一般是十五分钟
    jjplay
        14
    jjplay  
       2021-02-06 20:10:24 +08:00
    V 站高权重,实时都是大几千人在线,页面嵌入的是 google analytics,so ...
    systemcall
        15
    systemcall  
       2021-02-06 22:01:26 +08:00
    v2ex 嵌入了 google analytics 可能是原因之一。其实 bing 也爬的快而且权重非常高
    v2ex 有 api 可以获取到最新的主题和回复,应该是隔几分钟查询一下 API,发现新帖子和回复再来爬
    memeda
        16
    memeda  
       2021-02-07 01:30:14 +08:00
    08 年时百度 Google 就都做到了啊,权重高的站更新速度都很快的
    zeni123
        17
    zeni123  
       2021-02-07 01:58:50 +08:00
    google chrome 上面有个选项是默认打开的, 那就是 “预加载网页,以便实现更快速的浏览和搜索” 这个功能

    也就是 google 应该有各个网页的 cache,而且也知道这个网站有没有收录。

    所以只要有人用 chrome 打开了这个网页,没有收录的网站就会去收录,根本就不需要爬虫慢慢爬
    关于   ·   帮助文档   ·   API   ·   FAQ   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   4056 人在线   最高记录 5497   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 29ms · UTC 03:47 · PVG 11:47 · LAX 20:47 · JFK 23:47
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.