V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  ipwx  ›  全部回复第 153 页 / 共 195 页
回复总数  3892
1 ... 149  150  151  152  153  154  155  156  157  158 ... 195  
2018-12-03 10:32:03 +08:00
回复了 sagaxu 创建的主题 Python Python 爬虫改成 go,性能提高 5 倍?
@lxy42 单核带锁用 MySQL 确实是巨大黑点。

但是话说回来,如果你用很 advanced 的技术优化了 Python 程序(我倒也是想到了很多方案,不过没做过),那么 Python 唯一一条远好于 Go 的优势、写起来容易,不是不成立了吗?就算你作为资深 Python 程序员能够优化到这种程度,但是那也只是和 Go 平起平坐而已吧。。。

利益相关:不会 Go,Python 老手吧。。
2018-12-01 10:20:13 +08:00
回复了 RiESA 创建的主题 Wikipedia 有使用 mediawiki 1.31 的朋友吗
我是 1.26 用户。。。。

主要是因为各种配套服务好像不是很兼容最新版。比如我布了 Restbase, Mathoid, Parsoid,要升级好麻烦。。。
2018-11-30 10:17:19 +08:00
回复了 luozhiyun 创建的主题 程序员 深耕大数据还是继续深耕 Java
框架年年都有新。算法才是永恒的。
2018-11-29 13:56:28 +08:00
回复了 cccy0 创建的主题 问与答 Ubuntu 和 CentOS 哪个系统好用点
你都问这个问题了,还是选 Ubuntu 吧。
2018-11-27 15:55:03 +08:00
回复了 rizon 创建的主题 程序员 docker 镜像的用户密码的问题?
@passerbytiny 我不太理解,如果持久数据不存在计算节点上,爆空间有啥可担心的,大不了重装一下裸机呗。再说服务器好歹少说 3T 一般都是 6T 以上的,哪这么容易爆。

我反正没限制用户在 docker 容器里面 apt-get install。至于什么 -v 本机根目录然后 chroot,这种高端操作我这边用户都不会呢。再说哪怕搞坏了,参考前面说的,大不了重装一下呗。反正我有 ansible 脚本。

所以综上所述,唯一最重要的一点就是持久性的数据要存在分布式文件系统上,不要放在计算节点上。
2018-11-26 15:10:57 +08:00
回复了 rizon 创建的主题 程序员 docker 镜像的用户密码的问题?
@rizon

1. 关掉容器,删掉容器,重新建立容器。
2. MooseFS 不是类似 Hadoop HDFS 的东西。MooseFS 实现了全功能的 Posix Filesystem,可以像本地磁盘一样 mount 到本地目录上。所以可以 docker -v 挂载进容器。

你看,因为 Docker 的限制,它的用法和虚拟机是很不同的。Docker 容器的正确用法是不在容器里面放持久数据。我选择的策略就是通过 MooseFS 给用户一个跨机器能持久存储数据的“本地文件系统”,用起来和普通的本地文件系统没有区别。在此基础上,他们可以使用跨机器的 Anaconda (如果不超过 50 万个文件的配额,我特别设置的),或者使用 Docker -v 挂载。事实上我这边,用户的整个 /home 目录都是在 MooseFS 上的。
2018-11-26 09:53:13 +08:00
回复了 IvanLuo 创建的主题 问与答 医学生到底要不要读博
医学不读博,你干脆教你妹子学编程算了……
2018-11-25 14:12:09 +08:00
回复了 rizon 创建的主题 程序员 docker 镜像的用户密码的问题?
@zmj1316 其实还好,除了刚开始搭建这套系统用了不少时间,但因为用的都是尽可能鲁棒的体系,搭完之后基本不用维护 wwwww
2018-11-25 11:04:31 +08:00
回复了 rizon 创建的主题 程序员 docker 镜像的用户密码的问题?
@passerbytiny 回到正题吧。Docker 容器空间爆炸的事情?我这边是完全不考虑的。假设某台机器因为 Docker 镜像太多而磁盘占满了,大不了重装呗。再说我会不定时运行 docker system prune,不会占满的。

你和 @zmj1316 会有这个顾虑,是因为你们俩希望 Docker 对用户透明,并且在 Docker 里面开了 sshd 让用户为所欲为。这个事情很难搞,说实话。因为 Docker 设计上就不是这么用的。

而我这边就没这个顾虑,因为我一开始就教育用户,要把文件放在 MooseFS 的路径上。Docker 容器里面想用,就挂载进去用。其实只要教给他们普通用法就行了,他们一般不会出错的。更高级的用法他们可以自学,学会了自然更不会出错了。另外我还提供一项额外服务,就是给新手一个模板脚本,在 Docker 里面启动一个 Jupyter Notebook,并且正确地挂载他们的 /home。

如果不是这么一套管理方法,10+ 的 CPU 计算节点和 3 台 GPU 计算节点,我不是得管死。。。
2018-11-25 10:57:58 +08:00
回复了 rizon 创建的主题 程序员 docker 镜像的用户密码的问题?
@zmj1316 @wwhio 我一直是觉得,能够用管理的方法解决的问题就用管理的方法解决,不要什么都让技术做。所以我很强硬地推行了裸机无运行环境(包括无 CUDA )、分布式文件系统、配额,以及 Docker。配额是每个人的个人目录不超过 50 万个 inode 和不超过 2T 的数据。因为 50 万的 inode 限制,所以用 Anaconda 这种方式自己部署 Python 环境,是比较吃力的,所以他们不得不去学习 Docker 的用法。

这些措施倒是一点点来的,最后一个 Docker 化是一年前完成的。不过讲道理一开始我们这边的这套集群计算系统(计算节点和存储节点集中管理,还包括 LDAP 集中式用户系统)就是我搭起来的,也没啥太大阻力。。。目前运行良好。说实话作为用户来说,这些东西的用法都很好学,明明是计算机专业的,根本不可能学不会,不会就是懒。
2018-11-25 10:49:46 +08:00
回复了 rizon 创建的主题 程序员 docker 镜像的用户密码的问题?
@passerbytiny MooseFS 是分布式文件系统,我单独开了五台服务器,和那十几台计算节点是独立的。
2018-11-25 10:49:00 +08:00
回复了 rizon 创建的主题 程序员 docker 镜像的用户密码的问题?
@passerbytiny 我对容器没有多大限制,不过因为我们这边部署了 MooseFS,所以每个人的 /home 有配额限制。是按路径来的,不是按用户来的,所以当多人合作一篇论文的时候,哪怕都用 root 启动 docker,-v 挂载进去,配额还是在的。你总不好意思把你的文件放到别人 /home 下面不是?至于每台计算节点本身,不好意思,随时可能重装,不做备份警告。
2018-11-24 23:28:30 +08:00
回复了 miqiqi 创建的主题 程序员 求教:请问怎样将远程图片伪装成本地图片
你该不会以为 // 开头的意思是本地图片吧?
2018-11-22 20:16:47 +08:00
回复了 find456789 创建的主题 问与答 Python 如何在管理常用的公共库呢?
@find456789 pip 可以直接安装某个目录,或者某个 git repo。

比如 pip install git+https://github.com/haowen-xu/tfsnippet.git
2018-11-22 19:32:09 +08:00
回复了 find456789 创建的主题 问与答 Python 如何在管理常用的公共库呢?
添加 setup.py
然后用上 requirements.txt
2018-11-22 19:28:10 +08:00
回复了 rizon 创建的主题 程序员 docker 镜像的用户密码的问题?
@zmj1316 你这管理员对于机器的管理怎么这么弱?。。。 我这边直接怼回去,要么学,要么别用。
2018-11-22 19:26:23 +08:00
回复了 shpasspass 创建的主题 问与答 js 里, if(false){}似乎执行了,为什么?
用 let 不要用 var
2018-11-22 14:56:25 +08:00
回复了 codechaser 创建的主题 C C 语言字符串作为参数?
@fgodt 不,这可能会引起段错误,程序直接退出。
2018-11-22 14:55:56 +08:00
回复了 codechaser 创建的主题 C C 语言字符串作为参数?
你这个函数用起来太麻烦,每次还得 strncmp。。。

建议分成两个函数:

void strToLowerCaseInplace(char *string);
void strToLowerCase(const char* src, char* dest, size_t n); (@shylockhg 已经说过了)
1 ... 149  150  151  152  153  154  155  156  157  158 ... 195  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2896 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 50ms · UTC 12:35 · PVG 20:35 · LAX 05:35 · JFK 08:35
Developed with CodeLauncher
♥ Do have faith in what you're doing.