1
9hills 2015-01-18 23:05:27 +08:00
1. logging是线程安全的,但不是多进程安全的。也就是说多进程间不会有IO阻塞
2. 多进程使用logging建议是每个进程单独一个log文件,不会阻塞,会写乱。。 如果你非要多进程还要写到一个文件,那么有两种解决方案 1. 所有进程log到SocketHandler,然后有个专门的进程监听Socket写入文件,相当于日志聚合 2. 使用multiprocessing的Lock类,把写日志变成阻塞的 |
2
scys 2015-01-18 23:13:06 +08:00
多进程,直接考虑syslog的后端了。
|
3
kier 2015-01-18 23:30:21 +08:00 via iPad
多进程log同一个文件,不用锁也是可以的,每次log小于一个page大小(4096),应该是原子操作的
|
4
1989922yan OP |
5
1989922yan OP |
6
9hills 2015-01-18 23:57:59 +08:00
@1989922yan 那个追加写的原子限制是 PIPE_BUF,Linux是4096,Windows是1024
不过依赖这种限制踩坑的可能还是有的,比如打了一个大JSON出来之类。。不过不敏感的话就这么搞也可以 |
7
est 2015-01-19 00:00:56 +08:00 via Android
rsyslog
不要重复发明轮子 |
8
9hills 2015-01-19 00:08:18 +08:00
@est 刚才我放狗搜了下,发现这个地方轮子也挺多
有开Socket的,有加Queue的,有加Lock的,当然也有SyslogHandler的 Queue用的最多,不过就我个人来言,不是很喜欢自己的程序依赖系统工具,哪怕是syslog。估计是被我厂那BT的线上环境折腾习惯了,我厂的线上环境就是让你不要依赖于系统的任何东西,全部自己带。。 |
9
1989922yan OP |
10
mqingyn616 2015-01-19 12:12:04 +08:00
分端口写日志最方便。性能也最保证。
|
11
VYSE 2015-01-19 12:22:08 +08:00
如果是log输出量一般的话,不会有IO阻塞,内容直接进buf了,而且LINUX默认保证在buf范围内多进程写入同一文件的原子性。
|
12
1989922yan OP @VYSE 哦哦,这个特性第一次知道,学习了
|