推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
这是一个创建于 4051 天前的主题，其中的信息可能已经有所发展或是发生改变。
input: www.baidu.com
output: www.baidu.com ，百度
目前我所考虑的找到的方法：
1. http://data.alexa.com/data?cli=10&dat=snbamz&url=www.baidu.com ，通过这个借口确实能拿到不少信息，但似乎没有中文的网站名
2. 爬网页从title标签里提取，这个难点在于：如果把“百度一下，你就知道”这类的字符串总结为百度
3. http://www.alexa.cn/index.php?url=www.baidu.com 这个最有价值，但是遇到两点问题：
3.1 网站有防护，我刚爬了30多个域名，就被“Access Denied”
3.2 数据的权威性，不知道这个网站是哪家的
4. http://aws.amazon.com/cn/awis/ ，这个基本是1的收费版本，提供的信息应该差不多。
大家还有其他的方案么？
output: www.baidu.com ，百度
目前我所考虑的找到的方法：
1. http://data.alexa.com/data?cli=10&dat=snbamz&url=www.baidu.com ，通过这个借口确实能拿到不少信息，但似乎没有中文的网站名
2. 爬网页从title标签里提取，这个难点在于：如果把“百度一下，你就知道”这类的字符串总结为百度
3. http://www.alexa.cn/index.php?url=www.baidu.com 这个最有价值，但是遇到两点问题：
3.1 网站有防护，我刚爬了30多个域名，就被“Access Denied”
3.2 数据的权威性，不知道这个网站是哪家的
4. http://aws.amazon.com/cn/awis/ ，这个基本是1的收费版本，提供的信息应该差不多。
大家还有其他的方案么？
 |
1
bshu 2013-10-23 12:39:46 +08:00
国内的正规网站去遍历 icp 备案数据库
|
 |
2
qiayue 2013-10-23 12:56:26 +08:00
看你的具体需求了，如果不是需要全网所有网站的数据，而是只需要一部分有名/有流量的网站的话，手工去填都很快，数据也准确。
“世界上 95% 的网站每天只有不到30个IP的流量，里面还包括了自己及亲戚朋友的访问” |
 |
3
mengzhuo 2013-10-23 12:57:46 +08:00
whois信息里没有？
|
 |
4
shiny 2013-10-23 12:58:33 +08:00
爬网址导航或者开放目录。
|
 |
5
dongbeta 2013-10-23 13:00:45 +08:00
收集一大批网址导航站，用爬虫去爬链接提取 A 标签的相关信息。
|
 |
10
xiya 2013-12-25 17:09:29 +08:00
爬一些备案信息，定义关键字呢？
|
Select Language