下面是我为了并行运行最多n个进程而使用的函数(示例中n=4):

max_children=4

function parallel {
  local time1=$(date +"%H:%M:%S")
  local time2=""

  # for the sake of the example, I'm using $2 as a description, you may be interested in other description
  echo "starting $2 ($time1)..."
  "$@" && time2=$(date +"%H:%M:%S") && echo "finishing $2 ($time1 -- $time2)..." &

  local my_pid=$$
  local children=$(ps -eo ppid | grep -w $my_pid | wc -w)
  children=$((children-1))
  if [[ $children -ge $max_children ]]; then
    wait -n
  fi
}

parallel sleep 5
parallel sleep 6
parallel sleep 7
parallel sleep 8
parallel sleep 9
wait

如果max_children被设置为核数，该函数将尝试避免空闲核。

这对我来说非常有用(在这里找到):

sh -c 'command1 & command2 & command3 & wait'

它混合输出每个命令的所有日志(这是我想要的)，并使用ctrl+c杀死所有日志。

xargs -P <n>允许并行运行<n个>命令。

虽然-P是一个非标准选项，但是GNU (Linux)和macOS/BSD实现都支持它。

示例如下:

最多同时运行3个命令， 只有在先前启动的进程终止时才启动附加命令。

time xargs -P 3 -I {} sh -c 'eval "$1"' - {} <<'EOF'
sleep 1; echo 1
sleep 2; echo 2
sleep 3; echo 3
echo 4
EOF

输出如下所示:

1   # output from 1st command 
4   # output from *last* command, which started as soon as the count dropped below 3
2   # output from 2nd command
3   # output from 3rd command

real    0m3.012s
user    0m0.011s
sys 0m0.008s

计时显示这些命令是并行运行的(最后一个命令仅在最初3个命令中的第一个命令终止后启动，但执行得非常快)。

xargs命令本身在所有命令完成之前不会返回，但是您可以在后台执行它，使用控制操作符&终止它，然后使用内置的wait等待整个xargs命令完成。

{
  xargs -P 3 -I {} sh -c 'eval "$1"' - {} <<'EOF'
sleep 1; echo 1
sleep 2; echo 2
sleep 3; echo 3
echo 4
EOF
} &

# Script execution continues here while `xargs` is running 
# in the background.
echo "Waiting for commands to finish..."

# Wait for `xargs` to finish, via special variable $!, which contains
# the PID of the most recently started background process.
wait $!

注意:

BSD/macOS xargs要求您显式地指定并行运行的命令的数量，而GNU xargs允许您指定-P 0以并行运行尽可能多的命令。 并行运行的进程的输出在生成时到达，因此它将不可预测地交错。 正如Ole的回答中所提到的(大多数平台都不是标准的)，GNU并行在每个进程的基础上方便地序列化(分组)输出，并提供了许多更高级的特性。

你可以试试ppss(废弃)。PPSS非常强大——你甚至可以创建一个迷你集群。 如果您有一批令人尴尬的并行处理要做，xargs -P也很有用。

如果你想用ctrl-c轻松地运行和杀死多个进程，这是我最喜欢的方法:在一个(…)subshell中生成多个后台进程，并捕获SIGINT来执行kill 0，这将杀死subshell组中生成的所有内容:

(trap 'kill 0' SIGINT; prog1 & prog2 & prog3)

你可以有复杂的进程执行结构，所有的事情都可以用一个ctrl-c来结束(只要确保最后一个进程是在前台运行的，也就是说，在prog1.3之后不要包含&):

(trap 'kill 0' SIGINT; prog1.1 && prog1.2 & (prog2.1 | prog2.2 || prog2.3) & prog1.3)

如果最后一个命令可能会提前退出，而您希望保持其他所有命令的运行，则添加wait作为最后一个命令。在下面的例子中，sleep 2会先退出，在sleep 4结束之前杀死它;添加wait可以让两者都运行到完成:

(trap 'kill 0' SIGINT; sleep 4 & sleep 2 & wait)

如何:

prog1 & prog2 && fg

这将:

prog1开始。 将其发送到后台，但继续打印其输出。 启动prog2，并将其放在前台，因此可以使用ctrl-c关闭它。 当你关闭prog2时，你将返回到prog1的前台，所以你也可以用ctrl-c关闭它。