工单节点使用指南
• 请用平和的语言准确描述你所遇到的问题
• 厂商的技术支持和你一样也是有喜怒哀乐的普通人类，尊重是相互的
• 如果是关于 V2EX 本身的问题反馈，请使用 反馈 节点
知乎、新浪微博、各种号、各大厂的人：请至少允许互联网档案馆（Internet Archive）抓你们的数据
ChineseTeacher · 2019-01-27 16:16:02 +08:00 · 20283 次点击这是一个创建于 2156 天前的主题，其中的信息可能已经有所发展或是发生改变。
今天发一个特殊一点的工单。
最近那篇在网上传得很火的黑百度的文章《搜索引擎百度已死》，指出现在百度搜索结果里大多都是“百家号”的文章。而逼百度搞“百家号”的原因，很大程度上是因为中文互联网上的资源很多集中在了微信公众号里面；而微信公众号只允许跟腾讯旗下的搜狗抓取其中内容，百度不能抓取，等同于说腾讯垄断了这些内容，百度无奈之下只能另起炉灶，搞了“百家号”。
这种现象叫“围墙花园”。腾讯通过微信公众号自己打造了自己的生态系统，让用户逃不出去、更让内容创作者逃不出去。而腾讯禁止其他搜索引擎索引的行为，保证了腾讯自己的利益，却侵害了整个互联网的内容循环。
十年前，互联网上涌现的新内容，无论是在网易新浪博客、QQ 空间、百度贴吧还是天涯论坛，所有搜索引擎都可以平等抓取。现在各种“号”把互联网禁锢住，实在让人无奈。
最近发现，知乎、新浪微博都开始对爬虫实行更严格的限制政策。知乎只允许有限的几种搜索引擎来抓资料，涵盖了大多数常用的搜索引擎的爬虫，但是一些新兴搜索引擎（比如 Duckduckgo ）的爬虫则没有包含在内。
但除了新兴搜索引擎之外，还有一个重要的爬虫也被大多数网站的 robots.txt 排除在外。它是互联网档案馆（ Internet Archive，https://archive.org ）的爬虫。
可能很多人对互联网档案馆还很陌生。他们最有名的服务是“ wayback machine ”，字面意思为“时光机”。网上一些“带你看看二十年前的互联网”之类的文章就是用的他们的截图。
除了带人们回到 20 年前之外，互联网档案馆还担负了一些其他的责任。他们的爬虫会跟搜索引擎的一样爬网站，并把爬到的信息存档下来。有很多网站因为经营不善等原因关闭，或是 URL 因为网页改版失效，而这时互联网档案馆成了能找到这些网页的唯一方法。
对于国内网站，互联网档案馆还担负了另一个重要作用：保存容易被和谐的文章。国内很多新闻网站会集体撤稿。这种撤稿行为有时非常随机，没有规律可言。至于另外一些常见网站上容易被和谐掉的内容——这点更不用多说，读到这里大家都明白。
其他也有一些存档网站（比如 archive.is ），他们可以无视 robots.txt 。但是他们的界面操作、自动化程度等远不如互联网档案馆，且互联网档案馆是唯一一个会主动派出爬虫爬网站的存档服务。互联网档案馆成立于 1996 年，“翻车”的可能性几乎为零；而其他的存档网站很有可能因为服务器不稳定或站长负担不起开销等原因停止运作。互联网档案馆是注册在美国的非营利机构，每年收支基本稳定，可见的将来是倒不下的。
除了网站存档之外，互联网档案馆还给很多其他值得珍藏的视频、图片等提供收藏服务。
希望各大网站有权限的工作人员，在 robots.txt 里面加上一句。他们爬虫的 UA 叫 archive.org_bot。谢谢各位。
 |
1
loli 2019-01-27 16:32:35 +08:00  11
对于国内网站，互联网档案馆还担负了另一个重要作用：保存容易被和谐的文章。国内很多新闻网站会集体撤稿。这种撤稿行为有时非常随机，没有规律可言。至于另外一些常见网站上容易被和谐掉的内容——这点更不用多说，读到这里大家都明白。
???????????????? 你其实是。。。 |
 |
2
BigbyWolf 2019-01-27 16:36:59 +08:00 via iPhone 2
楼主过于坦诚，/水深火热见(/ω＼)
|
 |
3
agagega 2019-01-27 16:50:31 +08:00 5
我以前看到过一个叫「自由微博」的东西，原理是不是跟它差不多？
|
 |
4
rockss 2019-01-27 16:59:15 +08:00
这事不是工作人员能做的吧
|
 |
5
rayhy 2019-01-27 17:03:01 +08:00 9
“ archive.org 可以帮忙保存易被和谐的内容”，就这一点，国内公司反而会主动屏蔽 archive.org 。
|
 |
6
suhongbo 2019-01-27 17:03:57 +08:00 via Android
主管都不一定能做主
|
 |
7
hwcj123 2019-01-27 17:08:51 +08:00 1
这就是传中说的队友吗
|
 |
8
crab 2019-01-27 17:09:40 +08:00
知乎 谷歌快照都不能正常看。
|
 |
9
asdqaz 2019-01-27 17:11:17 +08:00 via Android
搜狗什么时候变成腾讯旗下了？
我穿越了？ |
|
10
asdqaz 2019-01-27 17:12:48 +08:00 via Android
真按你说的
现场被墙 |
 |
11
baiduer123 2019-01-27 17:14:25 +08:00
@asdqaz 早就被收购了
|
 |
12
Daming 2019-01-27 17:16:14 +08:00 2
archive.org 不是已经被墙了吗？
|
 |
13
May725 2019-01-27 17:19:10 +08:00 via iPhone
第一次了解到还有这类爬虫，十分有意义。
|
 |
14
luckytanka 2019-01-27 17:19:53 +08:00 via Android
涉政......
|
 |
15
yihaomizhijia 2019-01-27 17:27:23 +08:00 via iPhone
看了一下，已经被屏蔽
|
 |
16
junjieyuanxiling 2019-01-27 17:28:44 +08:00 via Android
duck duck go 不是用的谷歌吗？怎么还需要爬虫
|
 |
17
just1 2019-01-27 17:29:05 +08:00 via Android 2
有时候会喜欢看快照，但其实就算是我自己的个人网站，我也并不愿意被存档
|
 |
18
WDD 2019-01-27 17:33:46 +08:00 via Android
我也没设置什么，但是 archive 一直不保存我网站上的内容
|
 |
19
azh7138m 2019-01-27 17:35:32 +08:00 via Android
zz 原因导致的删稿子，还想存下来，小伙子怕不是要月底加急了
|
 |
20
Hsinyao 2019-01-27 17:37:03 +08:00 via iPhone
前两天还倒回去看 apple.com.cn 以前的网页来着，很有感觉
|
 |
21
tiaod 2019-01-27 17:58:04 +08:00 via Android
这不是这些公司能决定的。
|
 |
22
gadflysu 2019-01-27 18:01:11 +08:00
无视 robots.txt 的 archive.is ( archive.fo ) 最近都无法存档他们的网页了，你开个工单就想让他们允许自动被存档？别幻想了。
|
|
23
gadflysu 2019-01-27 18:03:23 +08:00
另外，由于审查撤下的稿件，依赖 archive.org 自动抓取太慢了。这方面本来就讲究时效。
|
 |
24
CruelMoon 2019-01-27 18:04:07 +08:00
感觉楼主猪队友...archive.org 确实很不错，偶最近几年每年都响应募捐邮件捐款来着
|
 |
25
trait 2019-01-27 18:06:25 +08:00 1
反对，主动删除的东西再被检索出来很恶心，个人网站屏蔽了这些网站的机器人
|
 |
26
FInt1620 2019-01-27 18:06:43 +08:00 3
“微信公众号只允许跟腾讯旗下的搜狗抓取其中内容，百度不能抓取，等同于说腾讯垄断了这些内容，百度无奈之下只能另起炉灶，搞了‘百家号’。”
即使限制所有搜索引擎抓取，文章尚且能在未经授权的情况下被他人自由转载，更不用说文章内容随意被搜索引擎自由抓取和收录了。 如果腾讯不限制其他搜索引擎抓取公众号发表的内容，完全允许搜索引擎收录任何创作的内容，一旦有人编写出自动抓取搜索引擎收录内容的工具并将这些文章转载于其他内容创造平台，这将给内容创作者和创作平台带来不可预计的损失。不仅著作权更容易遭受侵害，网站的访问流量也将直线下滑。对于国内的搜索引擎所属企业，权益受损方尚可以起诉并要求停止侵权并索赔；但如果是国外的搜索引擎，维护自身权益就不那么容易了。 更重要的一点是，限制搜索引擎的无限制抓取，在一定意义上可以维护和提升社区的创作及互动氛围。如果任何内容都能被搜索引擎抓取并收录，访问者就不会再轻易通过内容创作平台提供的特定媒介访问这些同样有意义的不可见内容。典型例子如酷安，假如访问者在网页端就能通过某个应用页的评论轻易获取有关此应用有价值的评论信息（如评论者给出的去广告、破解版等版本评论内容），那么受损的将是酷安（网页被收录方）的根本利益。 另外，你强调 “对于国内网站，互联网档案馆还担负了另一个重要作用：保存容易被和谐的文章。国内很多新闻网站会集体撤稿。这种撤稿行为有时非常随机，没有规律可言” 一篇发布的文章被删除，它既可能是创作者本人所为，也可能是创作平台所为。但是，请你牢记：诋毁污蔑、造谣诽谤、挑唆离间、混淆是非、辱骂攻击、恶意侵害他人正当利益的行为都是绝不可被接受的。这一定律适用于任何人。如果你是一个内容创作者或在一个内容收录平台工作，你必须对你所有的创作文章或收录文章负责，并在必要时为之承担相应的一切法律责任。 @Livid 请考虑将这一主题移动至“ Chamber ”节点。 |
 |
27
laoyur 2019-01-27 18:11:31 +08:00 24
楼上有做管理员的资质
|
 |
28
Jex 2019-01-27 18:13:40 +08:00 1
有什么样的网民，就有什么样的互联网，百度最适合他们
|
 |
29
yksoft1ex 2019-01-27 18:14:41 +08:00
archive.org 现在是很多老机模拟器用的资源的避风港。被墙多年了。
|
 |
30
jacketma 2019-01-27 18:14:57 +08:00 via Android
APP 化之后，时光机也没什么大用了，Facebook twitter snapchat 包括大量音视频信息都没有办法 wayback。
|
|
31
agagega 2019-01-27 18:31:52 +08:00 via iPhone 2
破坏开放互联网的行为，商业上可以理解，但是强行从用户利益角度去洗，真是思路清奇。
另外，互联网档案馆又不是没被告过。用法律手段就行。因噎废食的道理，到这就不适用了？ |
 |
32
ryanlid 2019-01-27 18:32:40 +08:00 1
隐私权 VS 知情权
|
 |
34
dacapoday 2019-01-27 19:09:34 +08:00
互联网早就不是互联的了。
|
 |
35
whypool 2019-01-27 19:10:24 +08:00
相反，即使小网站也不会允许这玩意抓取
一旦涉及到非法信息，敏感信息，或者版权，这都是历史副本证据 |
 |
36
shyangs 2019-01-27 19:12:40 +08:00
网际网络早就不是互联的了
未来会建造墙中墙 |
 |
37
H0TSp1RnG 2019-01-27 19:16:01 +08:00 via Android
不知道你哪里来的自信 小站没什么办法就算了 大站你还想为所欲为
|
 |
39
wtdd 2019-01-27 19:19:31 +08:00 1
说实话，这股风气是 facebook 为了和 google 竞争带起的吧，然后 alibaba 和 tencent 发扬光大，已经积重难返了
|
|
42
asdqaz 2019-01-27 21:30:52 +08:00 via Android
|
 |
43
sosilver 2019-01-27 21:58:28 +08:00
"因为中文互联网上的资源很多集中在了微信公众号里面"，source ?
|
 |
44
JoostShao 2019-01-27 22:43:05 +08:00
不好意思，我带个节奏！
每天用着百毒，还想着给他们立贞洁牌坊。 是真的年轻！ |
 |
45
dongxiaozhuo 2019-01-28 01:05:46 +08:00
其实从 iPhone 的 App Store 模式开始，就已经确定了内容不共享的模式，每个 App 之间是相互独立的，顶部的流量分发就是应用商店。用户进入 App 之后就不再有机会跳转到其他地方，这当然是内容方最想要的结果了，后来有了 App 间跳转，这也不代表厂商就愿意把流量给其他 App，再后来索性某些服务干脆不提供 Web 了，这才是搜索引擎残废的原因。
现在做互联网服务的，愿意把 App 做的美如画，也不愿意做个像样的 Web 站点。 |
 |
46
kernel 2019-01-28 07:06:34 +08:00 via Android
人家微信微博用尽各种手段防止你扒人家内容，被你档案馆一索引，人家都扒档案馆了，你让人家怎么愿意
|
 |
47
Wicked 2019-01-28 07:15:51 +08:00 via iPhone
微博微信上的被重重审查过的低劣内容，不看也罢
|
 |
49
hanbing135 2019-01-28 08:36:11 +08:00 via Android
有些人给腾迅洗地简直是
|
 |
50
passerbytiny 2019-01-28 09:10:58 +08:00
我只想说，你说的哪些厂，屏蔽了最好，开放了还得想办法不去抓它。既然叫 archive/互联网档案馆，那么这些即时消费的东西，存个屁的档。
|
 |
51
MonkeyCoder 2019-01-28 09:53:59 +08:00
理想很好,情怀也好,在利益面前是根本不可能的
|
 |
52
Track13 2019-01-28 10:02:01 +08:00 via Android 2
你举例的这些我巴不得不在搜索结果里
|
 |
53
Lostars 2019-01-28 10:08:29 +08:00
互联网之子死了
|
 |
54
cyspy 2019-01-28 10:28:29 +08:00
没事，国安总能找到他们的历史资料的
|
 |
55
hoyixi 2019-01-28 10:38:45 +08:00
知不知道还是装不知道？
删了贴，这些 Archive 能同步删除吗？ |
 |
56
lyshine 2019-01-28 10:45:50 +08:00
如果百度不做那么多恶事, 我们或许会同情百度. 但是看到你的洗地, 我只能暗暗高兴, 终于百度要为自己的行为付出代价了
|
 |
57
liyuhang 2019-01-28 11:11:49 +08:00
微信公众号真是让人又爱又恨
|
 |
58
lihongjie0209 2019-01-28 11:15:41 +08:00
想多了, 这种不可控并且是国外的服务是不可能的
|
 |
59
mayorbryant 2019-01-28 11:30:02 +08:00
国内：首先要可控，不然就是白扯
|
 |
60
CRight 2019-01-28 11:45:43 +08:00 via iPhone
像自由微博这样，原作者都不能控制的保存下来，不会让原作者很烦恼吗？
|
 |
61
luoway 2019-01-28 11:51:50 +08:00
虽然有悖“互联”，但墙、暗网、APP 内建社区都是事实存在的。
苹果的万亿市值也让大家看到了实在的利益。 信息不对称衍生的商业服务，本身就是一种商品。 互联网终究还是会由早期的开放互联，走向现实的封闭社会。 |
 |
62
across 2019-01-28 11:57:14 +08:00
叫内容网站放弃内容独占，好比当面给人讲：我们给你拍照片了，你可以去死了·····
|
 |
63
Jay54520 2019-01-28 13:09:43 +08:00 via iPhone
@rayhy 扩展一下原因。因为你保存了它们想要删除的不和谐的证据。既然他们想要删除，就说明他们不想保留，所以他们不会同意这样的爬虫。
|
 |
64
est 2019-01-28 13:43:08 +08:00
幻觉和现实碰撞的帖子。2333
|
 |
66
radiolover 2019-01-28 15:00:53 +08:00 1
因为我们讲的是肥水不流外人田，IT 创始人等“大佬”追求的是独霸天下煮酒论英雄。这和西方世界有本质不同。
事实上，中国的所谓“互联网公司”其实不是互联网公司，而是基于互联网的中间商和媒体，技术只是处于从属地位。互联网公司是技术驱动型的，而不是依靠烧钱、风口、流量、公关....等一堆造出来的名词。 |
 |
67
Choooooose 2019-01-28 15:16:38 +08:00
多谢楼主，我已经把(archive.org_bot)这个 UA 加入到我的网站访问黑名单了。
才不想要哪天被别人看到黑历史呢。 |
 |
68
rizon 2019-01-28 19:17:06 +08:00 1
互联网档案馆这个名字我很喜欢，担当 档案馆这个职责的很多公益事情我觉得都是非常有价值的，也是非常感人的，比如 种质资源库、国家基因库这类的（我忘了具体的名字了）。
但是很遗憾的是很多网站出于当下的一些利益拒绝了这种被备份的行为，这虽然对企业来说是友好，但是对历史是不友好的。可是也没办法啊，就像我们现在所研究的历史一样，总会存在一些就是不想被人知道的事情。 虽然非常遗憾，但是又能如何。 |
|
69
rizon 2019-01-28 19:23:18 +08:00
 随便翻了一下 csdn 的历史，哈哈～这种看历史的感觉，真的很棒哟～～ |
 |
70
1762628386 2019-01-28 19:24:30 +08:00
不是，人家凭啥答应你抓你们的数据?
|
 |
71
charlie21 2019-01-28 20:40:33 +08:00 2
还防爬虫，搞笑
你应该知道的是如果是暴力抓取那么你的黑历史就是逃不到的 幼儿园小朋友一样，“主动删除的东西再被检索出来很恶心” 是你自己恶心自己，过去的你恶心现在的你，好吗？ |
 |
72
bzshow1 2019-01-28 21:19:02 +08:00
互联网精神被国内大厂玩坏了。
|
 |
73
zyq2280539 2019-01-28 22:22:09 +08:00
第一次听说这个网站，于是好奇的点进去查询了自己博客的几年变迁历史，那一瞬间我被惊呆了，竟有如此完整的保存了个人博客的变迁历史轨迹。。佩服佩服。。。
|
 |
74
clippit 2019-01-28 22:30:46 +08:00 1
archive.org 还是很厉害的，上次找一个 199x 年的独立游戏，一个只有几十 KB 的 exe，国内网站上都是各种添油加醋的魔改汉化版，在 archive.org 上面竟然找到了原版，而且还带着当年作者写的 changelog
|
 |
75
zappos 2019-01-28 22:43:44 +08:00 via Android
百度自己都不遵守 robots.txt ，估计他的这个文件是瞎写的。
|
|
76
zappos 2019-01-28 22:46:10 +08:00 via Android
另外有本事你就自己创建个内容站抓取他们的数据，就像 chuansong.me 一样。
|
 |
77
bravecarrot 2019-01-28 23:08:08 +08:00
现在很多人已经在抱怨自己的上网行为变成电子纹身了，楼主还要保留每一点证据。
有意思，观点和论据真是章口就来 |
 |
78
FakeLeung 2019-01-28 23:41:45 +08:00 1
2333333333.
 |
 |
79
luguanyu1234 2019-01-28 23:57:30 +08:00
qq 和 360 浏览器是不是已经针对某些网站“优化”了。
|
 |
80
snw 2019-01-29 02:44:43 +08:00 via Android 2
我完全支持网络档案馆，哪怕可能被翻出黑历史。对黑历史的恐惧其实并不源自于黑历史本身，而是黑历史被大肆曝光后的困扰。
我觉得网络档案馆应该做到如下几点（基本上是围绕中立性）： 1. 署名 必须标注网页的原始 url。如果网页标题、页脚、照片信息有作者署名，不能擦除。 2. 禁止商用 不得用于任何商业目的，包括广告。 3. 禁止演绎 必须原原本本地呈现原页面，不能截取内容、增加内容、混合内容、有损地转换。 但允许因为技术原因舍弃部分内容（例如文件过大）。 4. 禁止搜索 只能直接用原始 url 或原站的超链接访问，不能使用关键词搜索，尤其是跨站搜索。 5. 禁止索引 不能主动对相关内容或关键词制作索引目录。 6. 禁止宣传 不能诱导用户访问某个存档内容，比如维基百科首页的典范条目、你知道吗、历史上的今天等等 |
 |
81
phy25 2019-01-29 04:09:27 +08:00 via Android
这帖子下面这么多的不同意见（对遗忘权的重视），叠加上 V2EX 不对用户提供编辑删除功能的事实来看，还是挺有意思的。
|
 |
82
imn1 2019-01-29 04:20:43 +08:00 1
嗯，黑历史解决不掉，解决提出黑历史的人就对了，这样黑历史就不存在了
这思路一直指导着我们前进发展 |
 |
83
puncsky 2019-01-29 04:46:39 +08:00
支持楼主
|
 |
85
MineDog 2019-01-29 10:40:33 +08:00 via Android
大数据时代，数据就是立身之本，别幻想了
|
 |
86
ddlee 2019-01-29 23:00:54 +08:00 1
Archive.org 自己的原因陈述：
Why is the Internet Archive collecting sites from the Internet? What makes the information useful? Most societies place importance on preserving artifacts of their culture and heritage. Without such artifacts, civilization has no memory and no mechanism to learn from its successes and failures. Our culture now produces more and more artifacts in digital form. The Archive's mission is to help preserve those artifacts and create an Internet library for researchers, historians, and scholars. The Archive collaborates with institutions including the Library of Congress and the Smithsonian. （来源： https://help.archive.org/hc/en-us/articles/360004716091-Wayback-Machine-General-Information ） Wayback Machine 在抓取网址输入框下面的提示语： Capture a web page as it appears now for use as a trusted citation in the future. Only available for sites that allow crawlers. （来源： https://archive.org/web/） 希望“自己的回复能够对别人有帮助”。 |
|
87
asdqaz 2019-01-31 03:23:52 +08:00 via Android
目前无法使用了
|
Select Language