Python 程序的运行过程日志，是否有轮子可以实现 C/S 或者 B/S 放出来？

[uti6770werty]

家里 homelab 的虚拟机上跑着 win ，目前是 cmd console 运行着 while true 炼丹，
日志和状态观看，全靠 rdp 远程桌面过去看，
日志的显示，全靠 logging 或者 print 输出到 console ，

请教一下大家，
有没有多种方法组合成方案实现，或者现成轮子可以把这些日志， C/S ，B/S 放出来远程浏览?
只看最近的 500 条就可以了，
看的人，只有我一个。

[julyclyde]

试试标准库 logging 里边的 syslog handler

[xiao109]

给他来一套 ELK

[zhuweiyou]

pm2 monitor

web 界面可以看内存 CPU LOG 啥的...

[Kinnice]

only python 即可
1. 把你的日志输出到一个 log 文件
2. 开一个 python 读这个 log ，每 X 行或 X 分钟，自动把新增内容推到钉钉机器人 /其他 push 服务。

[sujin190]

搞个 jenkins 之类的 job 管理器呗，然后把你这个炼丹啥的放到里边去运行就好了吧，运行状态和日志都可以看了

[Vegetable]

supervisor 完美实现你的需求，捕获标准输出、远程控制台 tail log ，尴尬的是这玩意只支持 Unix 系统

[sidegem]

直接把日志文件用 nginx 转发出来看

[liuxingdeyu]

loguru 加一个 handler ，handler 里面往丁丁飞书推就 OK 了

[ipwx]

说起炼丹我就不困了。你需要的是 jupyter notebook

https://jupyter.org/

[aikdong]

有个 tailon 工具可以试试

[caqiko]

https://docs.datalust.co/docs/using-python

[Vegetable]

@ipwx 裸奔的 jupyter notebook 非常危险，这个要提醒一下...

[zhoujinjing09]

logging 本身就有 httphandler

[starrys]

两步搞定

1. 日志输出到文件

写一个批处理，示例：

@echo off
title CoreDNS
coredns 1>> log.log 2>&1

2. 将日志文件同步到本机

可以使用 Syncthing

[vopin]

单纯炼丹有很多 monitor 工具吧，我喜欢 wandb

[subjadeites]

flask 写几十行代码启个 web 服务就行。。。写个方法读文件最后几百行

[ipwx]

@Vegetable 噗你公网暴露？这不是一个 vpn 解决内网访问码

[killva4624]

Loki

[qzwmjv]

为啥考虑换个 linux 炼丹，反正虚拟机

[Vegetable]

@ipwx 之前一个搞算法的同事就不太懂这个，部署 FATE 结果没处理 FATE 自带的 jupyter notebook ，公司服务器被人挖了一个礼拜矿

[ipwx]

@Vegetable 我觉得你司没有一个统一的 VPN 入口就有点问题。。。

[ipwx]

@Vegetable 首先网络安全大部分东西就不该是算法工程师考虑的问题。算法工程师就该考虑什么工具做实验最快。显然 Jupyter Notebook 最快。

VPN 接入应该是提供远程访问的公司最基础的设施。如果没有，那就应该全面禁止远程访问。我不能理解，随便谁都能暴露一个随便什么服务给公网的这种操作。。。

[lmshl]

以前用过一个远程日志服务，叫 https://www.papertrail.com/ ，日质量不大的时候可以托管着用。
如果量大的话就应该考虑 ELK 那种托管日志方案了，比如丢给七牛日志平台或者阿里云

[SenLief]

不放在浏览器，而是用 email 发给自己如何？

你是自己看的日志，应该用 email 发给自己看应该可以，notifiers 库。

[mijazz]

[logging handler - Python]( https://docs.python.org/3/library/logging.handlers.html)

Python 的 `logging` 有`HTTPHandler` 或者 `SMTPHandler`

按需求自己补上点缝到项目里就差不多了

[vZexc0m]

建议上一套 EFK

[xuelu520]

日志写文件，然后套 ELK 或 EFK 呗。都是有现成的东西，轮子都不用写

[tfdetang]

其实你需要的不是 看日志，需要的是记录 ML 过程？ 那难道不可以 tensorboard 吗？
或者我个人更推荐 MLflow ，基本不需要侵入太多代码，就可以把所有炼丹的过程与结果放到一个集中的平台去管理；
除了可以远程看日志，还顺带把模型版本什么的都管理起来了