这是一个创建于 2945 天前的主题，其中的信息可能已经有所发展或是发生改变。
如果网页 A B C D E 是相护有超链接的 那么可以很随意的爬到所有内容 可是如果 网页 Z 是一个单独的页面， 要怎么才能抓得到呢？
（就像新搭建的网站，如果不主动提交，并且不做外链，搜索引擎是怎么找到的呢？）
（就像新搭建的网站，如果不主动提交，并且不做外链，搜索引擎是怎么找到的呢？）
 |
1
v9ox 2016-10-13 06:49:29 +08:00
猜测: 爬虫会去遍历 DNS Zone?
|
 |
2
binux 2016-10-13 06:57:13 +08:00  1
如果知道 Z 存在，那么就能抓到
如果不知道 Z 存在，那么你怎么证明 Z 真实存在呢？ 所以问题不在于怎么抓到，而在于怎么知道 Z 存在。 |
 |
3
why1 2016-10-13 07:18:29 +08:00 via Android
你猜
|
 |
4
aeshfawre 2016-10-13 07:28:16 +08:00
这不就是 google 在探索的问题么，他也在想办法解决这个问题。
|
 |
5
ITOutsider 2016-10-13 07:37:29 +08:00 via iPhone
robots.txt
不让抓的不抓 其他都抓 |
 |
6
21grams 2016-10-13 07:42:42 +08:00 via Android
所以就抓不到啊，谁告诉你一定能抓到 z 的
|
 |
7
BMW 2016-10-13 08:11:40 +08:00
想多了
|
 |
8
tscat 2016-10-13 08:48:26 +08:00 via iPhone
如果一个链接整个互联网上都没有人知道。那就认为没有这个链接。
|
 |
9
qiayue 2016-10-13 08:48:50 +08:00
有的网站，上线几年了，都在搜索引擎搜索不到，因为作者只是写给自己看，除了浏览器和作者等，没人知道这个网站的存在
|
 |
10
pi1ot 2016-10-13 08:51:58 +08:00 via iPhone
360 有办法抓到
|
 |
12
cyang 2016-10-13 09:43:14 +08:00
如果找到了，你该想一下是不是自己的浏览器或是电脑中的其他软件把自己的隐私泄露了。
|
Select Language