要从我的python脚本启动程序，我使用以下方法:
def execute(command):
process = subprocess.Popen(command, shell=True, stdout=subprocess.PIPE, stderr=subprocess.STDOUT)
output = process.communicate()[0]
exitCode = process.returncode
if (exitCode == 0):
return output
else:
raise ProcessException(command, exitCode, output)
所以当我启动一个进程，比如进程。执行("mvn clean install")时，我的程序会一直等待，直到进程完成，只有到那时我才能得到程序的完整输出。这是恼人的，如果我正在运行一个进程，需要一段时间才能完成。
我能让我的程序一行一行地写进程输出吗，在循环结束之前轮询进程输出什么的?
我找到了这篇文章，可能与此有关。
当前回答
这个PoC不断地从进程中读取输出，并可以在需要时访问。只有最后一个结果被保留，所有其他输出都被丢弃，因此防止了PIPE的内存不足:
import subprocess
import time
import threading
import Queue
class FlushPipe(object):
def __init__(self):
self.command = ['python', './print_date.py']
self.process = None
self.process_output = Queue.LifoQueue(0)
self.capture_output = threading.Thread(target=self.output_reader)
def output_reader(self):
for line in iter(self.process.stdout.readline, b''):
self.process_output.put_nowait(line)
def start_process(self):
self.process = subprocess.Popen(self.command,
stdout=subprocess.PIPE)
self.capture_output.start()
def get_output_for_processing(self):
line = self.process_output.get()
print ">>>" + line
if __name__ == "__main__":
flush_pipe = FlushPipe()
flush_pipe.start_process()
now = time.time()
while time.time() - now < 10:
flush_pipe.get_output_for_processing()
time.sleep(2.5)
flush_pipe.capture_output.join(timeout=0.001)
flush_pipe.process.kill()
print_date.py
#!/usr/bin/env python
import time
if __name__ == "__main__":
while True:
print str(time.time())
time.sleep(0.01)
输出:你可以清楚地看到只有大约2.5s的输出间隔。
>>>1520535158.51
>>>1520535161.01
>>>1520535163.51
>>>1520535166.01
其他回答
@tokland
尝试了你的代码，并针对3.4和Windows进行了修正 dir。CMD是一个简单的dir命令，保存为CMD -file
import subprocess
c = "dir.cmd"
def execute(command):
popen = subprocess.Popen(command, stdout=subprocess.PIPE,bufsize=1)
lines_iterator = iter(popen.stdout.readline, b"")
while popen.poll() is None:
for line in lines_iterator:
nline = line.rstrip()
print(nline.decode("latin"), end = "\r\n",flush =True) # yield line
execute(c)
要回答最初的问题，IMO的最佳方法是直接将子进程stdout重定向到程序的stdout(可选地，对于stderr也可以这样做，如下例所示)
p = Popen(cmd, stdout=sys.stdout, stderr=sys.stderr)
p.communicate()
这里没有一个答案能满足我所有的需求。
没有用于标准输出的线程(也没有队列等) 非阻塞，因为我需要检查其他事情正在进行 使用PIPE，因为我需要做很多事情，例如流输出，写入日志文件，并返回输出的字符串副本。
一点背景知识:我使用ThreadPoolExecutor来管理一个线程池，每个线程启动一个子进程并并发地运行它们。(在Python2.7中，但这应该在更新的3中工作。X也是)。我不希望只使用线程来收集输出，因为我希望有尽可能多的可用线程用于其他事情(一个20个进程的池将使用40个线程来运行;1用于进程线程，1用于stdout…如果你想要stderr我猜)
我在这里剥离了很多异常，所以这是基于在生产中工作的代码。希望我没有在复制粘贴过程中破坏它。同时，非常欢迎反馈!
import time
import fcntl
import subprocess
import time
proc = subprocess.Popen(cmd, stdout=subprocess.PIPE, stderr=subprocess.STDOUT)
# Make stdout non-blocking when using read/readline
proc_stdout = proc.stdout
fl = fcntl.fcntl(proc_stdout, fcntl.F_GETFL)
fcntl.fcntl(proc_stdout, fcntl.F_SETFL, fl | os.O_NONBLOCK)
def handle_stdout(proc_stream, my_buffer, echo_streams=True, log_file=None):
"""A little inline function to handle the stdout business. """
# fcntl makes readline non-blocking so it raises an IOError when empty
try:
for s in iter(proc_stream.readline, ''): # replace '' with b'' for Python 3
my_buffer.append(s)
if echo_streams:
sys.stdout.write(s)
if log_file:
log_file.write(s)
except IOError:
pass
# The main loop while subprocess is running
stdout_parts = []
while proc.poll() is None:
handle_stdout(proc_stdout, stdout_parts)
# ...Check for other things here...
# For example, check a multiprocessor.Value('b') to proc.kill()
time.sleep(0.01)
# Not sure if this is needed, but run it again just to be sure we got it all?
handle_stdout(proc_stdout, stdout_parts)
stdout_str = "".join(stdout_parts) # Just to demo
我确信这里有额外的开销，但在我的情况下这不是一个问题。从功能上讲，它满足了我的需要。我唯一没有解决的问题是，为什么这对于日志消息非常有效，但我看到一些打印消息在稍后同时显示。
简单比复杂好。
操作系统库内置模块系统。您应该执行代码并看到输出。
import os
os.system("python --version")
# Output
"""
Python 3.8.6
0
"""
在版本之后，它也打印返回值为0。
对于试图回答这个问题并从Python脚本中获取标准输出的人来说，请注意Python会缓冲它的标准输出，因此可能需要一段时间才能看到标准输出。
这可以通过在目标脚本中的每个标准输出写入后添加以下内容来纠正:
sys.stdout.flush()
