如何获得一个域名下的所有地址？比如二级域名，比如 www.a.com/a1 之类的

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

推荐学习书目

› Learn Python the Hard Way

Python Sites

› PyPI - Python Package Index

› http://diveintopython.org/toc/index.html

› Pocoo

值得关注的项目

› PyPy

› Celery

› Jinja2

› Read the Docs

› gevent

› pyenv

› virtualenv

› Stackless Python

› Beautiful Soup

› 结巴中文分词

› Green Unicorn

› Sentry

› Shovel

› Pyflakes

› pytest

Python 编程

› pep8 Checker

Styles

› PEP 8

› Google Python Style Guide

› Code Style from The Hitchhiker's Guide

这是一个创建于 3391 天前的主题，其中的信息可能已经有所发展或是发生改变。

域名

二级

比如

24 条回复 • 2015-08-31 09:50:14 +08:00

codeface

2015-08-11 11:53:15 +08:00

https://github.com/ring04h/wydomain

codeface

2015-08-11 11:56:10 +08:00

看错了，题主想说的不是二级域名而是子目录吧。。找找爬虫的代码看看就行了。

1989922yan

2015-08-11 11:57:59 +08:00

@codeface

谢谢，基本概念都有了。

没关系，我都不清楚
我去看看。

linescape

2015-08-11 11:58:43 +08:00

我藏我藏我藏藏
www.abc.com/you/will/never/know/this/url
不能被抓取的地址怎么可能知道

Slienc7

2015-08-11 12:14:16 +08:00 via Android

没有可能，除非他所有目录都开了index，否则只能用爬虫抓取部分链接指向的内容。
当然也可以一个一个用字典试404

realpg

2015-08-11 12:19:17 +08:00

首先，你需要攻破他们服务器，前提是他们最前端的服务器还不能只是个带通配符的负载均衡器……

lightforce

2015-08-11 12:19:53 +08:00

你想干嘛？

ipconfiger

2015-08-11 12:24:20 +08:00

做了范域名解析的你怎么破

imlonghao

2015-08-11 12:26:36 +08:00 via Android

无解！

1989922yan

2015-08-11 12:55:08 +08:00

@xgowex
@realpg
@lightforce
@ipconfiger
@imlonghao

哥们，我只是随便问问方案。。。
说得好像我知道了百度所有的链接，能把百度黑掉一样。。。

Slienc7

2015-08-11 13:03:20 +08:00

@1989922yan 你要能索引出來百度所有的目錄，百度確實要跪了

iamcho

2015-08-11 13:37:42 +08:00

有个在线子域名爆破
https://phpinfo.me/domain/

1989922yan

2015-08-11 13:42:31 +08:00

@xgowex
= =！哥，你赢了。
其实也都是yy了

1989922yan

2015-08-11 13:44:06 +08:00

@iamcho
貌似只是拼了常见的二级域名，然后ping一下

jugelizi

2015-08-11 13:53:09 +08:00

蛋疼的想法
要实现你只能去黑掉服务器
无他解
爬虫也只能获取放出来的链接

tdifg

2015-08-11 14:17:21 +08:00

找子域名：
1. 看看有没有dns域传送
2. 组织下常用的域名，送dns做猜解
3. bing做搜索……
找目录：
1. google
2. 爬虫
3. 猜解
4. 看看这站开不开源……
这里猜解的字典是可以结合下域名之类的信息来做的

大致就这些吧

1989922yan

2015-08-11 18:00:58 +08:00

@jugelizi

放出来的链接？
主站上面全部拔出来？

learnshare

2015-08-11 18:12:05 +08:00

爬网页中的所有连接，但无法爬到没给过链接的路径。

除非去黑服务器

zjqzxc

2015-08-12 01:18:43 +08:00

没得破。。保障网站后台安全很重要的一点就是后台程序所在文件夹一定要另类。例如http://ip/iamnotthefuckingadminpage，类似的情况如果服务器不允许列出文件的话，大概也只有暴力破解一个个试了。。万一名字再长点呢
估计直接ssh暴力破解它的root密码都比这靠谱。

invite

2015-08-12 12:50:18 +08:00

发现，某些人就是喜欢用类似 0x557.org 这类域名。

leavic

2015-08-12 17:15:12 +08:00

无解，我以前就想过研究这个，目的是找出dropbox所有子域名然后找出对应的IP翻墙用，因为dropbox很多域名内嵌在客户端里面不公开(那个时候我还不会抓包)，后来试了很多方法实在无解。

leavic

2015-08-12 17:17:10 +08:00

好吧，我也眼瞎了，是爬目录啊。
只要目录的地址是有链接可见的，用爬虫一定可以搞定

RadishWind

2015-08-13 16:08:52 +08:00

1.在各个搜索引擎以 site：域名为关键词查找将结果正则匹配
2.用爬虫爬取以上链接

1989922yan

2015-08-31 09:50:14 +08:00

@invite
域名屌爆
还可以注册点股票代码