这是一个创建于 2134 天前的主题，其中的信息可能已经有所发展或是发生改变。
单位的工作网络是专网，范围很大，有一群喜欢折腾 python 的菜逼。
想要在内网做一个 python 源，提供常见的库下载。就是把外网源选择性的下下来，放在内网做源。
目前尝试使用 bandersnatch，列表放上最近 1 年下载量前 5000 的包+最近一月下载量前 5000 的包，总共 5400 多个，再屏蔽掉 pypi 列出的 100 个占空间最大的包。抓下来这些包做成源，目测总大小 200G 左右都是可以接受的。
但是有好多问题，bandersnatch 不够好。
一是基本上只能从 pypi 官方源下载，速度太慢，经常断线，csdn 上那个改 master.py 的方法已经不好用了。
二是经常显示文件占用，mirror 好几次，也不知道到底扒下来的完整不完整。
不知道有没有已经在内网架设源，有更好的方案？比如可以从国内源拉镜像的工具，或者有人整理的近期的集合包可以直接拿来用的？
想要在内网做一个 python 源，提供常见的库下载。就是把外网源选择性的下下来，放在内网做源。
目前尝试使用 bandersnatch，列表放上最近 1 年下载量前 5000 的包+最近一月下载量前 5000 的包，总共 5400 多个，再屏蔽掉 pypi 列出的 100 个占空间最大的包。抓下来这些包做成源，目测总大小 200G 左右都是可以接受的。
但是有好多问题，bandersnatch 不够好。
一是基本上只能从 pypi 官方源下载，速度太慢，经常断线，csdn 上那个改 master.py 的方法已经不好用了。
二是经常显示文件占用，mirror 好几次，也不知道到底扒下来的完整不完整。
不知道有没有已经在内网架设源，有更好的方案？比如可以从国内源拉镜像的工具，或者有人整理的近期的集合包可以直接拿来用的？
 |
1
Septembers 2019-02-18 21:08:06 +08:00
用 Squid 做个代理和缓存说不定更好
|
 |
2
sharoue OP @Septembers 有看到一个类似的方案是 devpi。随便瞅了一眼，好像是用 devpi 可以架设一个代理，其他机器用 devpi 取代 pypi 去安装包，安装的包会自动缓存起来，时间长了就可以当作一个可靠的源了。问题是最初还是得是外网，而且还要有比较高手的团队养好一段时间才具有实用性。。。
|
 |
3
lyinfu 2019-02-18 21:21:39 +08:00  1
|
 |
4
singerll 2019-02-18 21:32:22 +08:00 via Android
rsync 直接同步清华或者中科大的 pypi 源
|
 |
5
azh7138m 2019-02-18 21:37:07 +08:00
同楼上，之前同步过几个源，直接 rsync 就行了
|
|
6
sharoue OP |
|
7
Septembers 2019-02-18 22:37:11 +08:00
@sharoue 这个问题你可能需要跟 sysadmin 讨论下威胁模型及如何处理。
彻底隔离的话实际上没太大必要，认真处理威胁模型及风险可能能够更好的处理问题。 |
|
8
azh7138m 2019-02-19 01:51:06 +08:00
|
 |
9
zhengnanlee 2019-02-19 05:08:43 +08:00 via iPhone
求邀请码呀各位大佬
|
|
10
zhengnanlee 2019-02-19 05:09:26 +08:00
@zhengnanlee sry wrong topic...
|
 |
11
rexyan 2019-02-19 08:54:42 +08:00 via iPhone
当时用 pypiserver 做了一个，专门用来放公司内部私有的包，当然公司的人的 pip 源也全改为这个地址，当内部 pypiserver 没有的时候就去豆瓣或者阿里拉下来
|
 |
12
zanzhz1101 2019-02-19 09:17:27 +08:00 1
最简单的方法是。。。开个 nginx 反代，开启缓存
|
Select Language