Java IO 相关 Process 执行命令获取输出 输出很大该怎么读取？

[gzk329]

例如：

读 InputStream 标准输出流，输出流东西很多
发现正常读取的时候 process 已经退出了
process.waitFor()方法 等待会导致缓冲区被填满，然后阻塞
思路是在 waitFor()前，异步地去读取输出流中的内容
但是不生效

简单代码 我写一块儿了 缩进比较恶心 主要是有什么好的解决思路吗？

Process process;
try {
            process = runtime.exec(commands);
            ThreadPools.LOG_COLLECT.execute(()->{
            try (InputStream in = process.getInputStream();
             BufferedReader br = new BufferedReader(new InputStreamReader(in))) {
            String line;
            File destfile = new File(...);
            while ((line = br.readLine()) != null) {
                FileUtils.writeStringToFile(destfile, line + "\n", StandardCharsets.UTF_8, true);
            }
            } catch (IOException e) {
              //exception handler
            }
            });
            process.waitFor();
} catch (IOException | InterruptedException e) {
    //exception handler
}

[gzk329]

还有一个在这句 process = runtime.exec(commands);打一个断点就能正常获取输出流 全局或者线程断点都 OK 因为是单线程
不打断点 就拿不到输出流

[fengyiqiao]

用 ProcessBuilder 重定向输出到文件

[Pantheoon]

apache 有个封装了调用本地命令的类库可以试试

[tyrantlucifer]

@Pantheoon #3 是哪个呀，能否指点一下？

[Pantheoon]

@tyrantlucifer 你看下这个能不能满足你的需求,https://commons.apache.org/proper/commons-exec/tutorial.html

[tyrantlucifer]

@Pantheoon #5 感谢您，之前是我是自己封装了一个，但我总感觉有现成的可以用，今天又学到了新东西。

[gzk329]

@fengyiqiao java 中这些本质上都是一套吧 命令里边 1>file 或者是 processBuilder 里边重定向到文件都是 走的一套逻辑，都被缓冲区大小限制的，都不行。 命令直接在 bash 中是可以执行的

[gzk329]

@Pantheoon 谢谢，不过这个好像主要是对不同环境的命令做了自动匹配，并没有处理这个问题

[senninha]

可能是 stderr buffer 满了，stderr 也整个异步线程去读。

[gzk329]

还有一个在这句 process = runtime.exec(commands); 之前加一个线程休眠 3s 也能解决问题？有人知道这可能是什么原因吗？是在这句之前，我的理解是命令还没有开始执行呢 先休眠三 s ，就可以执行之后的 process.waitfor 然后异步消费输出流那套逻辑了，这是为啥呀？

[fengyiqiao]

缓冲区是指主进程和子进程之间的缓冲区，1>file 和 ProcessBuilder 重定向不用这个缓冲区。你可以试一下

[gzk329]

@senninha 这个我也试过 能读到 error 流，我的这个命令是获取 spark 作业的聚合日志，error 输出告诉我找不到日志。
但我这个逻辑是在作业程序结束后才会执行的 所以不应该获取不到日志输出的。
然后我开始想的是在异步读输出前先休眠，或者直接循环读，读到有结果才停止，但是不生效。

[gzk329]

@fengyiqiao 我试过 读取来的日志文件是空的

[sunjiayao]

直接 inputstream.transferTo 呢

[fengyiqiao]

@gzk329 那有可能你的输出全是 stderr ，而不是 stdout ，或者有别的问题。我之前用 ProcessBuilder 就是因为 Process 会阻塞

[xboxv]

猜测是你的 command 的问题，command 对应的输出流没有正常的结束，导致读取阻塞。command 发出来看下

[gzk329]

@xboxv 我的 command 就很简单的一句
String[] commands = {BIN_BASH, "-c", "yarn logs -applicationId " + applicationId};

[fridaycatye]

GobblerThread errorGobbler = new GobblerThread(process.getErrorStream(), "ERROR");
GobblerThread outputGobbler = new GobblerThread(process.getInputStream(), "OUTPUT");
开 2 个线程把输出流读出来就行了

[Huelse]

https://alexn.org/blog/2022/10/03/execute-shell-commands-in-java-scala-kotlin/#java

最近刚借鉴了类似实现跑 ffmpeg ，不过我是 scala ，最后没有采用他的实现

[aguesuka]

@gzk329 命令有问题, 最后一个字符串应该按照空格拆分

[aguesuka]

@aguesuka 看错了, bash -c 确实不用

[xboxv]

@gzk329 命令应该没什么问题， 进程的输出有可能在错误流，process.getInputStream();改为 getErrorStream 试试

[aguesuka]

sleep 三秒就正常的话, 感觉这段代码是能运行的, 而是执行的时机不对

[xboxv]

@aguesuka 什么代码要 sleep 三秒？代码贴一下

[quicksand]

我试了你的代码，读取一个 60M 的文本没任何异常

[gzk329]

@xboxv 不需要三秒，我之前测了一下 最少大概 500ms 有时可以 800ms 稳定可以

[gzk329]

@quicksand 我之前也怀疑 是在执行命令前 sleep 一会儿 按理说这时候命令还没有执行
但是这个方法执行的条件是 spark 作业已经进入最终态了 我怀疑是不是查到 spark 进入最终态了 然后其实它还没有执行完
yarn logs 这个命令是拿的 sparkd 的聚合日志 需要 spark 作业已经执行完
这个中间是不是有个时间差 导致的
所以我又去这个日志收集之前做了一个 sleep 好像没用 就很奇怪