等待ExecutorService所有任务完成的最简单方法是什么?我的任务主要是计算性的，所以我只想运行大量的作业——每个核心上都有一个。现在我的设置是这样的:
ExecutorService es = Executors.newFixedThreadPool(2);
for (DataTable singleTable : uniquePhrases) {
es.execute(new ComputeDTask(singleTable));
}
try{
es.wait();
}
catch (InterruptedException e){
e.printStackTrace();
}
ComputeDTask实现了runnable。这似乎正确地执行了任务，但代码在wait()时崩溃，并出现IllegalMonitorStateException。这是奇怪的，因为我玩了一些玩具的例子，它似乎工作。
uniquePhrases包含数万个元素。我应该用另一种方法吗?我在寻找一些尽可能简单的东西
如果您希望等待所有任务完成，请使用关机方法而不是等待。然后在后面加上awaitterminate。
此外，您还可以使用Runtime。availableProcessors来获取硬件线程的数量，以便正确地初始化线程池。
如果你想等待执行器服务完成执行，调用shutdown()，然后调用awaitterminate (units, unitType)，例如awaitterminate (1, MINUTE)。ExecutorService不会在它自己的监视器上阻塞，所以你不能使用wait等。
如果您的目标不是等待ExecutorService中的所有任务完成，而是等待特定批次的任务完成，那么您可以使用CompletionService——具体地说，ExecutorCompletionService。
其思想是创建一个包装Executor的ExecutorCompletionService，通过CompletionService提交一些已知数量的任务，然后使用take()(阻塞)或poll()(不阻塞)从完成队列中提取相同数量的结果。一旦绘制了与提交的任务相对应的所有预期结果，就知道它们都完成了。
让我再说一遍，因为从接口上看不太明显:你必须知道有多少东西放入CompletionService，才能知道有多少东西要取出来。这对take()方法尤其重要:调用它一次太多次，它将阻塞您的调用线程，直到其他线程向同一CompletionService提交另一个作业。
在《Java并发实践》一书中有一些例子展示了如何使用CompletionService。
你可以在一定的时间间隔内等待任务完成:
int maxSecondsPerComputeDTask = 20;
try {
while (!es.awaitTermination(uniquePhrases.size() * maxSecondsPerComputeDTask, TimeUnit.SECONDS)) {
// consider giving up with a 'break' statement under certain conditions
}
} catch (InterruptedException e) {
throw new RuntimeException(e);
}
或者您可以使用ExecutorService.submit(Runnable)并收集它返回的Future对象，然后依次对每个对象调用get()以等待它们完成。
ExecutorService es = Executors.newFixedThreadPool(2);
Collection<Future<?>> futures = new LinkedList<<Future<?>>();
for (DataTable singleTable : uniquePhrases) {
futures.add(es.submit(new ComputeDTask(singleTable)));
}
for (Future<?> future : futures) {
try {
future.get();
} catch (InterruptedException e) {
throw new RuntimeException(e);
} catch (ExecutionException e) {
throw new RuntimeException(e);
}
}
正确处理InterruptedException非常重要。它可以让您或库的用户安全地结束一个漫长的进程。
最简单的方法是使用ExecutorService.invokeAll()，它可以在一行程序中执行您想要的操作。用您的话说，您需要修改或包装ComputeDTask以实现Callable<>，这可以为您提供更大的灵活性。可能在您的应用程序中有一个有意义的Callable.call()实现，但如果不使用Executors.callable()，这里有一种包装它的方法。
ExecutorService es = Executors.newFixedThreadPool(2);
List<Callable<Object>> todo = new ArrayList<Callable<Object>>(singleTable.size());
for (DataTable singleTable: uniquePhrases) {
todo.add(Executors.callable(new ComputeDTask(singleTable)));
}
List<Future<Object>> answers = es.invokeAll(todo);
正如其他人指出的那样，如果合适的话，您可以使用invokeAll()的超时版本。在这个例子中，answers将包含一堆返回null的future(参见Executors.callable()的定义)。可能您想做的是稍微重构一下，这样就可以得到一个有用的答案，或者对底层ComputeDTask的引用，但从您的示例中我无法判断。
如果不清楚，请注意，在所有任务完成之前，invokeAll()不会返回。(也就是说，如果被问到，答案集合中的所有future都会报告. isdone()。)这避免了所有的手动关机，等待终止等…并允许您在需要的情况下，在多个周期中巧妙地重用这个ExecutorService。
关于SO有几个相关的问题:
如何等待所有线程完成 从java线程返回值 invokeAll()不愿意接受一个Collection<Callable<t>> 我需要同步吗?
这些都不是严格意义上的问题，但它们确实为人们认为应该如何使用Executor/ExecutorService提供了一点色彩。
我还有一种情况，我有一组文档要爬取。我从一个应该被处理的初始“种子”文档开始，该文档包含到其他也应该被处理的文档的链接，等等。
在我的主程序中，我只想写如下所示的东西，其中Crawler控制了一堆线程。
Crawler c = new Crawler();
c.schedule(seedDocument);
c.waitUntilCompletion()
如果我想在一棵树上导航，同样的情况也会发生;我将插入根节点，每个节点的处理器将根据需要向队列中添加子节点，一堆线程将处理树中的所有节点，直到没有更多的节点为止。
我在JVM中找不到任何东西，我觉得这有点令人惊讶。所以我写了一个类ThreadPool，一个可以直接使用或子类添加适合域的方法，例如schedule(Document)。希望能有所帮助!
ThreadPool Javadoc | Maven
我将等待执行程序以您认为适合任务完成的指定超时终止。
try {
//do stuff here
exe.execute(thread);
} finally {
exe.shutdown();
}
boolean result = exe.awaitTermination(4, TimeUnit.HOURS);
if (!result)
{
LOGGER.error("It took more than 4 hour for the executor to stop, this shouldn't be the normal behaviour.");
}
在集合中添加所有线程并使用invokeAll提交。 如果您可以使用ExecutorService的invokeAll方法，那么JVM在所有线程完成之前不会进行下一行。
这里有一个很好的例子: 通过ExecutorService调用所有
只使用
latch = new CountDownLatch(noThreads)
在每个线程中
latch.countDown();
作为屏障
latch.await();
听起来好像你需要ForkJoinPool并使用全局池来执行任务。
public static void main(String[] args) {
// the default `commonPool` should be sufficient for many cases.
ForkJoinPool pool = ForkJoinPool.commonPool();
// The root of your task that may spawn other tasks.
// Make sure it submits the additional tasks to the same executor that it is in.
Runnable rootTask = new YourTask(pool);
pool.execute(rootTask);
pool.awaitQuiescence(...);
// that's it.
}
美在泳池里。awaitQuiescence方法将阻塞利用调用者的线程来执行它的任务，然后当它真的为空时返回。
IllegalMonitorStateException的根本原因:
抛出该异常，表示线程试图等待对象的监视器，或通知其他线程等待对象的监视器而不拥有指定的监视器。
在代码中，您刚刚在ExecutorService上调用了wait()，但没有拥有锁。
下面的代码将修复IllegalMonitorStateException
try
{
synchronized(es){
es.wait(); // Add some condition before you call wait()
}
}
遵循以下方法中的一种来等待所有已提交给ExecutorService的任务的完成。
Iterate through all Future tasks from submit on ExecutorService and check the status with blocking call get() on Future object Using invokeAll on ExecutorService Using CountDownLatch Using ForkJoinPool or newWorkStealingPool of Executors(since java 8) Shutdown the pool as recommended in oracle documentation page void shutdownAndAwaitTermination(ExecutorService pool) { pool.shutdown(); // Disable new tasks from being submitted try { // Wait a while for existing tasks to terminate if (!pool.awaitTermination(60, TimeUnit.SECONDS)) { pool.shutdownNow(); // Cancel currently executing tasks // Wait a while for tasks to respond to being cancelled if (!pool.awaitTermination(60, TimeUnit.SECONDS)) System.err.println("Pool did not terminate"); } } catch (InterruptedException ie) { // (Re-)Cancel if current thread also interrupted pool.shutdownNow(); // Preserve interrupt status Thread.currentThread().interrupt(); } If you want to gracefully wait for all tasks for completion when you are using option 5 instead of options 1 to 4, change if (!pool.awaitTermination(60, TimeUnit.SECONDS)) { to a while(condition) which checks for every 1 minute.
将你的任务提交到Runner中，然后像这样调用waitTillDone()方法等待:
Runner runner = Runner.runner(2);
for (DataTable singleTable : uniquePhrases) {
runner.run(new ComputeDTask(singleTable));
}
// blocks until all tasks are finished (or failed)
runner.waitTillDone();
runner.shutdown();
要使用它，添加以下gradle/maven依赖:
更多详细信息请查看这里:https://github.com/MatejTymes/JavaFixes或这里:http://matejtymes.blogspot.com/2016/04/executor-that-notifies-you-when-task.html
您可以使用ExecutorService。它将执行所有任务并等待所有线程完成它们的任务。
这是完整的javadoc
您还可以使用此方法的重载版本来指定超时时间。
下面是ExecutorService.invokeAll的示例代码
public class Test {
public static void main(String[] args) throws InterruptedException, ExecutionException {
ExecutorService service = Executors.newFixedThreadPool(3);
List<Callable<String>> taskList = new ArrayList<>();
taskList.add(new Task1());
taskList.add(new Task2());
List<Future<String>> results = service.invokeAll(taskList);
for (Future<String> f : results) {
System.out.println(f.get());
}
}
}
class Task1 implements Callable<String> {
@Override
public String call() throws Exception {
try {
Thread.sleep(2000);
return "Task 1 done";
} catch (Exception e) {
e.printStackTrace();
return " error in task1";
}
}
}
class Task2 implements Callable<String> {
@Override
public String call() throws Exception {
try {
Thread.sleep(3000);
return "Task 2 done";
} catch (Exception e) {
e.printStackTrace();
return " error in task2";
}
}
}
这个怎么样?
Object lock = new Object();
CountDownLatch cdl = new CountDownLatch(threadNum);
for (int i = 0; i < threadNum; i++) {
executorService.execute(() -> {
synchronized (lock) {
cdl.countDown();
try {
lock.wait();
} catch (InterruptedException e) {
Thread.currentThread().interrupt();
}
}
});
}
cdl.await();
synchronized (lock) {
lock.notifyAll();
}
如果您没有向ExecutorService添加新任务，这可能会等待所有当前任务完成
有几种方法。
您可以调用第一个ExecutorService。shutdown，然后ExecutorService。返回:
如果该执行程序终止，则为True;如果超时，则为false 在终止之前
So:
有一个叫awaitterminate的函数，但是必须有一个超时 它提供了。这并不能保证当它返回全部时 任务早就完成了。有办法实现这个目标吗?
你只需要在循环中调用awaitterminate。
使用awaitTermination:
这个实现的完整示例:
public class WaitForAllToEnd {
public static void main(String[] args) throws InterruptedException {
final int total_threads = 4;
ExecutorService executor = Executors.newFixedThreadPool(total_threads);
for(int i = 0; i < total_threads; i++){
executor.execute(parallelWork(100 + i * 100));
}
int count = 0;
// This is the relevant part
// Chose the delay most appropriate for your use case
executor.shutdown();
while (!executor.awaitTermination(100, TimeUnit.MILLISECONDS)) {
System.out.println("Waiting "+ count);
count++;
}
}
private static Runnable parallelWork(long sleepMillis) {
return () -> {
try {
Thread.sleep(sleepMillis);
} catch (InterruptedException e) {
// Do Something
}
System.out.println("I am Thread : " + Thread.currentThread().getId());
};
}
}
使用CountDownLatch:
另一种选择是创建CountDownLatch，其计数等于并行任务的数量。每个线程调用countDownLatch.countDown();，而主线程调用countDownLatch.await();。
这个实现的完整示例:
public class WaitForAllToEnd {
public static void main(String[] args) throws InterruptedException {
final int total_threads = 4;
CountDownLatch countDownLatch = new CountDownLatch(total_threads);
ExecutorService executor = Executors.newFixedThreadPool(total_threads);
for(int i = 0; i < total_threads; i++){
executor.execute(parallelWork(100 + i * 100, countDownLatch));
}
countDownLatch.await();
System.out.println("Exit");
executor.shutdown();
}
private static Runnable parallelWork(long sleepMillis, CountDownLatch countDownLatch) {
return () -> {
try {
Thread.sleep(sleepMillis);
} catch (InterruptedException e) {
// Do Something
}
System.out.println("I am Thread : " + Thread.currentThread().getId());
countDownLatch.countDown();
};
}
}
使用CyclicBarrier:
另一种方法是使用循环屏障
public class WaitForAllToEnd {
public static void main(String[] args) throws InterruptedException, BrokenBarrierException {
final int total_threads = 4;
CyclicBarrier barrier = new CyclicBarrier(total_threads+ 1);
ExecutorService executor = Executors.newFixedThreadPool(total_threads);
for(int i = 0; i < total_threads; i++){
executor.execute(parallelWork(100 + i * 100, barrier));
}
barrier.await();
System.out.println("Exit");
executor.shutdown();
}
private static Runnable parallelWork(long sleepMillis, CyclicBarrier barrier) {
return () -> {
try {
Thread.sleep(sleepMillis);
} catch (InterruptedException e) {
// Do Something
}
System.out.println("I am Thread : " + Thread.currentThread().getId());
try {
barrier.await();
} catch (InterruptedException | BrokenBarrierException e) {
// Do something
}
};
}
}
还有其他方法，但这些方法需要对您的初始需求进行更改，即:
当任务提交时，如何等待所有任务完成 使用ExecutorService.execute()。
