Scylla——开源免费的代理 IP 池，更新到 1.1 版本：更好的验证策略、更简单的使用方式、改进的 Web UI

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

爱意满满的作品展示区。

这是一个创建于 2371 天前的主题，其中的信息可能已经有所发展或是发生改变。

banner

GitHub： https://github.com/imWildCat/scylla

几天前发布了 Scylla，感谢大家的帮助，一度冲到 GitHub Trending 前五的位置。

欢迎在贴中留下您的邮箱，我可以发送你 1.1 版本的 demo 地址（暂时不打算公开发布）。如果您想留邮箱，请注意：

可以使用 base64 编码
在您的回复的第一行或者最后一行写（含有邮箱的那一行请不要写其他东西）
也可以用 [at] 或者 # 替代 @

根据大家的在原帖里的建议，这几天又添加了如下功能（仅选重要的展示）：

1. 改进的 Web UI

2. HTTP 正向代理服务器

查看文档：https://scylla.wildcat.io/zh/stable/#http

3. 验证策略

查看文档：https://scylla.wildcat.io/zh/stable/#id9

第 1 条附言 · 2018-05-31 19:47:47 +08:00

已知一个小问题，将在 1.1.2 版本修复（ 15 分钟内）

第 2 条附言 · 2018-05-31 21:27:19 +08:00

最新版的 Docker build 有点问题，如果运行后没有任何 IP，请先用 1.0 版本：

docker run -d -p 8899:8899 -v /var/www/scylla:/var/www/scylla --name scylla wildcat/scylla:1.0

十分抱歉

第 3 条附言 · 2018-06-01 00:48:06 +08:00

Docker 问题已经完全修复，非常抱歉！

image

scylla

邮箱

Web

170 条回复 • 2018-09-23 09:54:35 +08:00

1 2

❮

❯

LeungJZ

2018-05-31 19:13:48 +08:00 via iPhone

前排资瓷。

wjm2038

2018-05-31 19:30:57 +08:00 via Android

wjm2038#gmail.com
支持一下

Anybfans

2018-05-31 19:32:59 +08:00

MzA5ODcxMjcxQHFxLmNvbQ==
支持一下谢谢啦

moack

2018-05-31 19:48:01 +08:00

dHNoZW5nQG1vYWNrLm5ldA==

谢啦

imyip

2018-05-31 19:49:35 +08:00

docker 部署失败了?自动退出?

moming87

2018-05-31 19:52:52 +08:00 via Android

MzMxNTUxQEdtYWlsLmNvbQ==
体验一下

WildCat

2018-05-31 20:08:49 +08:00

@imyip 已知一个小问题，将在 1.1.2 版本修复（ 15 分钟内）

wwek

2018-05-31 20:12:50 +08:00

@imyip 和你一样

1507265844

2018-05-31 20:21:45 +08:00 via Android

d3dlaXl1YW5kaW5nQGdtYWlsLmNvbQ==
了解一下

WildCat

2018-05-31 20:26:02 +08:00

@wwek 在修复，docker build 太慢了。。。

finely

2018-05-31 20:30:42 +08:00

MjQzNzUwNzgyQHFxLmNvbQ==
支持楼主

raychar

2018-05-31 20:46:35 +08:00

cmF5Y2hhckBhbGl5dW4uY29t
支持楼主

WildCat

2018-05-31 20:47:06 +08:00

@wwek
@imyip

已修复！

leonnadesico

2018-05-31 20:51:12 +08:00 via Android

d2FuZ2p1bjQyNDIxMUAxMjYuY29t

oIMOo

2018-05-31 20:59:52 +08:00

Ym93ZW5hY2hhdCNnbWFpbC5jb20=

WildCat

2018-05-31 21:02:21 +08:00

@wwek
@imyip

似乎还有点小问题，我找下原因。pyppeteer 这个库太坑 b 了

Backlitz

2018-05-31 21:06:10 +08:00 via Android

enl3OTcxMkBnbWFpbC5jb20=
感谢楼主

veau

2018-05-31 21:12:17 +08:00

veau#foxmail.com

感谢楼主

bSty

2018-05-31 21:19:18 +08:00

dXRlbWl0ZmtAZ21haWwuY29t
支持一下感谢

fzudust

2018-05-31 21:25:30 +08:00 via Android

zjz02936341#163.com
支持

fzudust

2018-05-31 21:27:53 +08:00 via Android

zjz02936314#163.com
刚刚邮箱打错了

maooyer

2018-05-31 21:31:46 +08:00

bWFvbWFvaGFja0BnbWFpbC5jb20=
支持支持

xxhjkl

2018-05-31 21:33:17 +08:00

eHhoamtsMUBnbWFpbC5jb20=
前排支持，求发

rails3

2018-05-31 21:40:23 +08:00

MTM0NzIwMEAxNjMuY29t

271880517

2018-05-31 21:42:51 +08:00

aXB2NC5rZXZpbkBnbWFpbC5jb20=

感谢楼主

Finch

2018-05-31 22:46:57 +08:00 via iPhone

[email protected]
感谢

wingoo

2018-05-31 22:54:15 +08:00

d2luZ29nb29AZ21haWwuY29t

感谢

whoami9894

2018-05-31 23:14:52 +08:00 via Android

d2hvYW1pOTg5NEBnbWFpbC5jb20=

感谢

sgq1128

2018-05-31 23:40:02 +08:00 via Android

ODEzODIyNzQ0QHFxLmNvbQ==
好人一生平安

crayhuang

2018-05-31 23:41:22 +08:00

cray.huang [at] gmail

warcraft1236

2018-06-01 00:51:44 +08:00

mac 不支持吗？

WildCat

2018-06-01 00:59:24 +08:00

@warcraft1236 支持，Python 3.6.5 在 Mac 上有个 bug，具体看 issues。我就是在 Mac 上开发的

WildCat

2018-06-01 01:00:04 +08:00

@crayhuang 你这个回复真的是气死我了：

1. 先是研究过滤空格
2. 然后发现智障 AI 还是不识别你这个回复是邮箱地址
3. debug 办个小时发现你没写 .com

ahbing

2018-06-01 01:01:21 +08:00 via Android

givemearainbowlife#gmail.com

vipdomain

2018-06-01 01:08:15 +08:00

v2 用户名 @vip.qq.com
thx

WildCat

2018-06-01 01:09:07 +08:00

@vipdomain 你这让我程序怎么爬你邮箱啊？天呢我一个一个手工爬么

crayhuang

2018-06-01 02:03:08 +08:00 via iPhone

@WildCat 😂 我错了! 😅 不是故意的

warcraft1236

2018-06-01 02:16:10 +08:00

@WildCat 可是我 pip install 了之后，启动不起来

warcraft1236

2018-06-01 02:17:25 +08:00

@WildCat
报错 log 如下

2018-06-01 - 02:17:02 DEBUG: create new db connection
Traceback (most recent call last):
File "/usr/local/bin/scylla", line 11, in <module>
sys.exit(app_main())
File "/usr/local/lib/python3.6/site-packages/scylla/cli.py", line 84, in app_main
sys.exit(main(sys.argv[1:]))
File "/usr/local/lib/python3.6/site-packages/scylla/cli.py", line 48, in main
from scylla.proxy import start_forward_proxy_server_non_blocking
File "/usr/local/lib/python3.6/site-packages/scylla/proxy/__init__.py", line 1, in <module>
from .server import start_forward_proxy_server_non_blocking, start_forward_proxy_server
File "/usr/local/lib/python3.6/site-packages/scylla/proxy/server.py", line 14, in <module>
httpclient.AsyncHTTPClient.configure("tornado.curl_httpclient.CurlAsyncHTTPClient")
File "/usr/local/lib/python3.6/site-packages/tornado/httpclient.py", line 302, in configure
super(AsyncHTTPClient, cls).configure(impl, **kwargs)
File "/usr/local/lib/python3.6/site-packages/tornado/util.py", line 354, in configure
impl = import_object(impl)
File "/usr/local/lib/python3.6/site-packages/tornado/util.py", line 181, in import_object
obj = __import__('.'.join(parts[:-1]), None, None, [parts[-1]], 0)
File "/usr/local/lib/python3.6/site-packages/tornado/curl_httpclient.py", line 23, in <module>
import pycurl # type: ignore
ImportError: pycurl: libcurl link-time ssl backend (openssl) is different from compile-time ssl backend (none/other)

WildCat

2018-06-01 02:30:46 +08:00

@warcraft1236 你电脑没装 lib-curl-dev，你自己 Google 去吧，不同系统不一样

HFX3389

2018-06-01 04:01:31 +08:00

Y2NjcGNjcEBxcS5jb20=
感谢楼主

xiaofengchen

2018-06-01 08:02:21 +08:00 via Android

eGllX2NhbmdAb3V0bG9vay5jb20
支持～

safilar

2018-06-01 09:01:24 +08:00

dTUyMDc1NDFAZ21haWwuY29t

HuaBeau

2018-06-01 09:07:52 +08:00

NDI5NDYwMTY1QHFxLmNvbQ==

支持楼主

80868075

2018-06-01 09:29:40 +08:00 via Android

后排支持楼主
MzE1NDk4MTYxOUBxcS5jb20=

safilar

2018-06-01 09:56:11 +08:00

@Scylla 部署好多久会有 IP 进来啊

safilar

2018-06-01 09:56:25 +08:00

@WildCat 部署好多久会有 IP 进来啊

fuckshiter

2018-06-01 10:08:08 +08:00

MzMyODk5MTVAcXEuY29t

非常感谢，支持楼主的

isin

2018-06-01 10:14:35 +08:00

aVFpZmVuZ0BIb3RtYWlsLmNvbQ==

islee

2018-06-01 10:32:51 +08:00

c2xlZS5yZXBhbGNlQGdtYWlsLmNvbQo=

gcod

2018-06-01 10:35:13 +08:00

emh1Y2VAdnYxMjM0LmNu

chi1st

2018-06-01 10:35:37 +08:00

支持支持
eXVjaDEyMzBAcXEuY29t

frozenthrone

2018-06-01 10:47:28 +08:00

bW9vbi56anVAZ21haWwuY29t

thanks

ch940621

2018-06-01 10:55:01 +08:00

Y2g5NDA2MjFAcXEuY29t
资瓷一下

ucmp0001

2018-06-01 10:57:49 +08:00

支持
bXIuZnJpZW5kbHlAMTYzLmNvbQ==

cedared

2018-06-01 10:58:25 +08:00

MzQxNDUwNkBnbWFpbC5jb20=

lingdong

2018-06-01 11:00:29 +08:00

bGluZ2Rvbmc3NTg2QGdtYWlsLmNvbQ==
支持下

woyao

2018-06-01 11:08:21 +08:00

cndkc3FjOTg1NDBAY2hhY3VvLm5ldA==
thx

gmx1234

2018-06-01 11:09:12 +08:00

Z214MTIzNEAxMjYuY29t
支持谢谢

freemagico

2018-06-01 11:09:15 +08:00

dGdseTMwN0BnbWFpbC5jb20=

赞美楼主

shore507

2018-06-01 11:11:03 +08:00 via Android

shorecw#gmail.com
支持支持

zhangchioulin

2018-06-01 11:24:45 +08:00

Z21AY29yZWhlbGwuY29t

蟹蟹

gqlxj1987

2018-06-01 11:35:16 +08:00

Z3FseGoxOTg3QGdtYWlsLmNvbQ==

谢谢

qshujun

2018-06-01 11:47:50 +08:00 via Android

cXNodWp1bkBnbWFpbC5jb20=
多谢，辛苦啦

hourann

2018-06-01 11:52:45 +08:00 via iPhone

scylla，这个命名是取自越狱吗？

azhi

2018-06-01 12:09:10 +08:00 via Android

YWlrdXVlckBnbWFpbC5jb20=

爬点小东西美滋滋

yujizmq

2018-06-01 12:15:11 +08:00

bWlrb3RvLnl1NTFAZ21haWwuY29t
thx

mutiple

2018-06-01 12:16:33 +08:00

emhhbmd4dWFucjExQDEyNi5jb20=
蟹蟹

vipwpcom

2018-06-01 12:20:53 +08:00

MjExNTE2MjEyQHFxLmNvbQ==
支持谢谢

alwayshere

2018-06-01 12:21:59 +08:00

请问你这个是爬取各大代理网站还是真正的爬取代理 ip 再来验证？

SPACELAN

2018-06-01 12:33:24 +08:00

bHloYW1uQHFxLmNvbQ==

谢谢

yuluofanchen

2018-06-01 12:37:26 +08:00

bHlubjEyOTk5QDE2My5jb20=

谢谢~

kingmo888

2018-06-01 12:37:38 +08:00

bHpoLTM5MTZAMTYzLmNvbQ==
感谢楼主，搭个车！

Asugar

2018-06-01 12:39:33 +08:00

d2hvdG9AbXNuLmNvbQ== 谢谢

Backlitz

2018-06-01 13:18:32 +08:00 via Android

zyw9712#gmail.com

不知道为什么一直没有收到，是不是之前格式错了？

2018-06-01 13:18:43 +08:00

djJleEBtYWlsaW5hdG9yLmNvbQ==

谢谢

Bisn

2018-06-01 13:22:30 +08:00

YmlzbkBxcS5jb20=

Bisn

2018-06-01 13:23:49 +08:00

请问怎么和 Scrapy 集成？
感谢！

Bisn

2018-06-01 13:25:11 +08:00

http://api.ipify.org 这个网站估计有限制，经常不成功，返回的 ip 还是原先的
http://ip.3322.net/ 换成这个网站没问题

eastrd

2018-06-01 13:29:06 +08:00

ZTB0M3J4QGdtYWlsLmNvbQ==

谢谢

PickMio

2018-06-01 13:30:05 +08:00

dHJhc2gyNTgwQDE2My5jb20K
3q

taozywu

2018-06-01 13:31:59 +08:00

taozywu#qq.com
咫尺一下

huijian222

2018-06-01 13:36:57 +08:00

bGFpamluYmFuZzIwMDlAZ21haWwuY29tCg==
3q

zxy

2018-06-01 13:38:38 +08:00

aXp4eUBsaXZlLmNvbQ==

Sin

2018-06-01 13:40:17 +08:00

c2lucnVlQGdtYWlsLmNvbQ==

mmnnyycc

2018-06-01 13:46:59 +08:00

MjYzMTMzODQ0MEBxcS5jb20=

mosliu

2018-06-01 14:01:58 +08:00

bHgwMzE5QGdtYWlsLmNvbQ==
谢谢楼主~~

ilovebaicai

2018-06-01 14:13:23 +08:00

Y2ZxdHhkMUBnbWFpbC5jb20=
好人一生平安

chinayb

2018-06-01 14:15:13 +08:00

Y24ueWJAZm94bWFpbC5jb20=

Mrkon

2018-06-01 14:15:18 +08:00

MTczMjkyNjE5QHFxLmNvbQ==
谢谢

Fechin

2018-06-01 14:31:20 +08:00

bXIuZmVjaGluQGdtYWlsLmNvbQ==
多谢

demoxu

2018-06-01 14:46:52 +08:00

ZGVtb3h1MjAwOUBnbWFpbC5jb20=

支持一下，多谢

robinlovemaggie

2018-06-01 14:48:06 +08:00

cm9iaW4ud2hrQGdtYWlsLmNvbQ==
正好需要写一个蕾丝工具，谢谢啦～～

byron

2018-06-01 15:13:21 +08:00

Ynlyb25qaWFAZ21haWwuY29t

吼啊。

warcraft1236

2018-06-01 15:27:23 +08:00

@WildCat mac 还需要装这个吗？

Caratpine

2018-06-01 15:51:09 +08:00

做开源不易，支持一下。

yyminmax

2018-06-01 15:56:21 +08:00

bWlubWF4eXlAMTYzLmNvbQo=

谢谢了～

liujunsheng

2018-06-01 15:59:31 +08:00

YUBsaXVqdW5zaGVuZy5jb20=

100

frankmdong

2018-06-01 16:00:16 +08:00

c3VwZXJmcmFua2llNjIxQGdtYWlsLmNvbQ==
感谢

1 2

❮

❯